Regrese
Přihlásit se
Regrese (10/10) · 15:08

Kovariance a regresní přímka Kovariance, variance a sklon regresní přímky

Navazuje na Pravděpodobnostní rozdělení.
V tomto videu vám chci představit pojem kovariance 2 náhodných proměnných. Kovariance Je definována jako očekávaná hodnota součinu odchylek jednotlivých náhodných proměnných od jejich střední hodnoty nebo od jejich očekávaných hodnot. Zapišme si to. Nejprve vezmeme X, použiji jinou barvu. Je to očekávaná hodnota náhodné proměnné mínus očekávaná hodnota X. Můžete se na to dívat jako na průměr X. Násobíme - a teď pracujeme s náhodnou proměnnou Y - vzdáleností Y od očekávané hodnoty neboli od průměru Y. Zatím to moc nedává moc smysl, můžete si to ošahat tak, že sem budete dosazovat různé hodnoty, ale vlastně to říká, jak se ty hodnoty mění spolu. Pro každý datový bod bereme X a Y. Pro každý bod v souboru patří k sobě vždy jeho souřadnice X a Y. Vložíme do tohoto vzorce Dejme tomu, že X je nad průměrem Y a Y je pod průměrem Y Tak řekněme, že ve výběru máme bod. Jedna hodnota náhodných proměnných vybraná z rozsahu jeiich hodnot, vybrali jsme hodnoty X = 1 a Y = 3, A předem víme, že E[X] je 0. A dejme tomu, že E[Y] = 4. A co za těchto předpokladů dostáváme? Neznáme celou kovarianci. Máme jen jednu výběrovou. hodnotu náhodné proměnné. Co tu dostáváme? Máme tu jedno záporné znaménko - nemusíme počítat. celou očekávanou hodnotu. Chci spočítat jen to, co je uvnitř očekávané hodnoty. Máme 1-0. Budeme mít 1 krát 3-4 krát -1. Takže 1krát -1 je -1. Co nám to říká? Pro tento výběr tj. pro tyto náhodné hodnoty X a Y, to ukazuje, že když jsme vybrali hodnoty náhodných veličin X a Y, X bylo nad svojí očekávanou hodnotou a současně Y bylo pod svojí očekávanou hodnotou. Dejme tomu, že to platí pro celý souubor. Pak dává smysl, že mezi hodnotami je negativní kovariance. Stoupne-li první hodnota nahoru, druhá klesne. Když první klesne, jde druhá nahoru. Kdyby rostly současně, byla by mezi nimi pozitivní kovariance. Když obě současně klesají a to, do jaké míry se projevuje současně ukazuje na míru kovariance. To snad usnadňuje intuitivně pochopit, co kovariance říká. Důležitější věc, kterou však má video ukázat, je propojit tento vzorec, definici kovariance, se vším, vším, co jsme dělali při výpočtu regrese metodou nejmenších čtverců. Je to vlastně zábavné si v těchto souvislostech, matematicky ukázat užitečnost definice kovariance. Myslím si, že k tomu vede do značné míry to, jak se objevuje v regresi. Jsou to všechno věci, kterou již známe. Jen si je ukazujeme jinak. V celém videu si tuto definice kovariance přepíšeme. Bude to táž hodnota jako očekávaná hodnota -- Jen zde vynásobím tyto dva dvojčleny -- to je očekávaná hodnota naší náhodné proměnné krát náhodná proměnná Y. minus - nejprve vezmu X - tj. plus X krát -E[Y] Tak to máme - X krát E[Y] Záporné znaménko je z tohoto záporného znaménka tady. A pak tu máme - E[X] krát Y Použijeme dvakrát distribuční zákon. A tak tu konečně máme -E[X] krát -E[Y] A záporná znaménka se vyruší. Dostáváme plus E[X] krát E[Y], A to je samozřejmě očekávaná hodnota toho všeho. Nyní to zkusme přepsat. Očekávaná hodnota součtu a rozdílu skupiny náhodných proměnných je součet nebo rozdíl jejich očekávaných hodnot. tak to bude to samé -- Uvědomme si, že v řadě kontextů se na očekávanou hodnotu můžeme dívat jako na arigtmetický průměr. Nebo jde-li o spojité rozložení, lze ji chápat jako pravděpodostmi vážený součet nebo integrál. V každém případě jsme to, myslím, již viděli. Tak to přepišme. Je to rovno očekávané hodnotě náhodných proměnných X a Y krát Y. Budu to dál psát barevně. A pak tu minus X krát E[Y] Je to tedy - E[X krát E[Y]]. Používejme správné barvy. Pak tu budeme mít -E[E[X] krát Y]. S těmi vnořenými očekávanými hodnotami je to opravdu matoucí. Ale můžeme se na to dívat tak, že ty členi výrazu, které již mají očekávanou hodnotu, jsou vlastně čísla. Obvykle je z očekávané hodnoty vyjmeme, protože očekávaná hodnota očekávané hodnoty je totéž jako očekávaná hodnota. Napíšeme si to to sem, abychomi si to připomínali. Očekávaná hodnota očekávané hodnoty X bude očekávaná hodnota X. Díváme-li se na to takto, můžeme to chápat jako průměr náhodné proměnné v daném výběru. Je tedy známá veličina. Je charakteristikou populace. Její očekávaná hodnotou bude ona sama. Je-li výběrový průměr nebo očekávaná hodnota X rovna 5 tak je to stejné jako kdybychom řekli očekávaná hodnota je 5. Očekávaná hodnota 5 bude 5. Doufám, že se tomu dá rozumět. Použijeme to za okamžik. Jsme skoro hotovi. Spočetli jsme očekávanou hodnotu tohohle a zbývá poslední člen. To je očekávaná hodnota tohoto. A tady můžeme použít vlastnost - napíšu to sem. A tak očekávaná hodnota E[X] krát E[Y]. Zkusme to zjednodušit. Tak tohle bude očekávaná hodnota součinu těchto náhodných proměnnných. Nechám to tak, jak to je. Takže očekávaná hodnota XY. Co jsme to tu dostali? Máme tu očekávanou hodnotu X krát - a znovu zopakujeme to, co už jsme a znovu zopakujeme, co už jsme si řekli, bude to číslo E[Y]. Můžeme hovytknout ven. Kdyby to byla očekávaná hodnot 3X, bylo by to totéž jako 3 krát E[X]. Můžeme to přepsat jako E[Y] krát E[X]. Vidíme to, když jej vytkneme z očekávané hodnoty ven . Tak takhle. A pak tu máme minus - Tady je to stejné. E[X] můžeme vytknout ven. Minus E[X] krát E[Y]. S těmi E všude tady to začíná být trochu matoucí. A pak konečně dostáváme očekávanou hodnotu těhle dvou očekávaných hodnot. Bude to součin těhle dvou očekávaných hodnot. Bude to tedy E[X] krát E[Y]. Co to tedy zde máme? Dostáváme E[Y] krát E[X] A pak odečítáme E[X] krát E[Y]. To je přesně totéž. A bude to -- dvakrát to odečítáme a jednou to tu máme. A všechno je to totéž. To je E[Y]?E[X]. Tohle je také E[Y]?E[X] jen v jiných barvách. A tohle je E[Y]?E[X]. Odečítáme to dvakrát a pak to přičítáme. Jinak se na to můžeme dívat tak, že tyto dva členi se vzájemně vyruší. Co nám tu pak zbyde? Máme tu kovarianci těchto dvou náhodných proměnných X a Y, která je rovna očekávané hodnotě -- Použiji znovu svoje barvy, protože tohle je konečný výsledek. E[XY] - E[Y]E[X]. Víme--li, jaká je pravděpodobnostní rozložení nebo hustota těchto dvou náhodných proměnných, nebo máme-li k dispozici celou populaci, z níž děláme náš výběr, když bereme tyto výběrové hodnoty když bereme tyto výběrové hodnoty, můžeme očekávané hodnoty vypočíst. Ale dejme tomu, že máme k dispozici jen výběr těchto náhodných hodnot. Jak je můžeme odhadnout? K odhadu máme jen množinu datových bodů - souřadnic - snad začínáte vidět, jaký to má vztah k regresi. Očekávanou hodnotu XY můžeme aproximovat průměrem výběru součinů X a Y. Vezmeme každou dvojici hodnot X a Y vynásobíme je a vezmeme průměrnou hodnotu těchto součinů. Bude to součin X a Y. Pak tu hodnotu zde, E[Y], lze aproximovat průměrem výběru Y. A E[X] můžeme aproximovat průměrem výběru X. Tak čím lze aproximovat kovarianci dvou náhodných proměnných? To, co tu máme napsáno, je průměr jejich součinů z našeho výběru. Minus průměr našeho vyběru Y krát průměr našeho výběru X. A to by nám mělo připadat trochu známé. Co to je? Je to čitatel, který jsme používali k výpočtu sklonu regresní přímky. Přepíšu ten výraz sem, abychom si to připomněli. Byl to průměr součinů našich datových bodů x a y, minus průměr hodnot y krát průměr hodnot x když to vše spočteme je to průměr čtverců X, lze to také vidět, jako průměr x krát hodnoty x, nebo můžete napsat čtverce x sem a odečíst průměr čtverců X. Takhle jsme počítali sklon regresní přímky. Snad je lepší se na to dívat tak, že naše regresní přímka, která se zakládá na bodech vybraných z celé populace možných bodů, aproximuje sklon naší regresní přímky. Všimněme si tohoto zápisu. který se vyskytuje v řadě knih. Nechci, aby vás to mátlo. Aproximujeme regresní přímku populace regresní přímkou výběru, Tohle zde je odhad kovariance X a Y. A co je to tady? Jak jsem právě řekl, mohli bychom to snadno zapsat jako průměr hodnot x krát x - a to je totéž jako x na druhou minus průměr x krát průměr x. Je to tak? To je průměr čtverců x. Co je to? Můžeme se na to dívat jako na kovarianci X a X. Už jsme to viděli. Již jsem vám to ukázal jsem v jednom hodně předchozím videu, když jsme se učili, co to je. Kovariance náhodné proměnné se sebou samou je vlastně rozptyl této náhodné proměnné. Můžete si to ověřit sami. Změníme-li toto Y na X., dostáváme (X-E[X])?(X-E[X]). Neboli očekávaná hodnota X-E[X] na druhou, což je definice rozptylu. Jinak se na to můžeme dívat jako na sklon regresní přímky. můžeme to vidět jako kovarianci dvou náhodných proměnných ku varianci X. Můžeme se na to dívat jako na nezávislou náhodnou proměnnou. To tady je sklon naší regresní přímky. V každém případě si myslím, že je to zajímavé. A chci. abyste viděli spojitosti mezi různými částmi statistiky a chci vám ukázat, že skutečně vzájemně souvisí.
video