Regrese
Přihlásit se
Regrese (6/10) · 10:54

Minimalizování čtvercové chyby regresní přímky (část 3) Pokračujeme v hledání parametrů takové přímky, pro kterou platí, že součet čtverců vzdáleností všech bodů od této přímky je nejmenší možný.

Navazuje na Pravděpodobnostní rozdělení.
- Takže kde jsme skončili... Vyjádřili jsme si pro n bodů čtvercovou chybu regresní přímky. A tento výraz jsme zjednodušili. Pak jsme si to nakreslili. Tento výraz by nejspíš byla nějaká plocha. Odpovídalo by to ploše ve trojdimenzionálním prostoru. Čtvercová chyba regresní přímky bude odpovídat bodům na této ploše pro každé m a každé b. Naším cílem je najít takové hodnoty m a b, tedy takové parametry přímky, pro které by tato čtvercová chyba byla minimální. Způsob, jak to udělat, je najít bod, kde bude parciální derivace čtvercové chyby podle m rovna 0. A parciální derivace podle b bude také rovna 0. Sklon bude nulový vzhledem k m. Tedy sklon v tomto směru bude nulový. Nakreslím to stejnou barvou. Sklon v tomto směru, což odpovídá parciální derivaci podle m, bude nulový. Nebude zde žádný růst ani pokles. A parciální derivace podle b bude taky nulová. Sklon bude tedy nulový. Sklon v tomto směru bude taky roven 0. A tento bod odpovídá hledanému minimu. Takže musíme najít tato m a b. Musíme najít parciální derivaci tohoto výrazu podle m. Parciální derivaci tohoto výrazu podle m. První člen výrazu neobsahuje žádné m. Z pohledu proměnné m je to konstanta. Jen pro připomenutí: parciální derivace jsou totéž jako běžné derivace, avšak všechny proměnné s výjimkou těch, podle kterých děláme parciální derivaci, jsou považovány za konstanty. Takže v tomto výrazu považujeme všechna x, y, b, n za konstanty. Jediná proměnná, kterou uvažujeme, je m, protože děláme parciální derivaci podle m. Tohle je konstanta. Tady žádné m není. A co tenhle člen výrazu? Derivujeme podle m. Derivace tohoto podle m. Budou to tedy koeficienty u m. Takže mínus 2 krát n krát průměr xy. To je parciální derivace podle m. Tenhle člen žádné m neobsahuje. Takže při derivování podle m je to konstanta. Takže parciální derivace tohoto členu podle m je rovna 0. Tenhle člen tady, to máme n krát průměr (x na druhou) krát (m na druhou). Takže to bude... mluvíme o parciální derivaci podle m. Bude to tedy 2 krát n krát průměr (x na druhou) krát m. Derivace (m na druhou) se rovná 2m. A pak tu bude tento koeficient. V tomto členu výrazu je také m. Podívejme se na to. Všechno ostatní je pouze koeficient tohoto m. Takže derivace podle m je 2bn krát průměr x. Pokud bych zderivoval dejme tomu 3m, byl by výsledek 3. Je to jen koeficient u m. A konečne, tohle je při derivování podle m konstanta. Takže jako by to tu nebylo. Tohle je tedy parciální derivace podle m. To je to, co jsem tu napsal. A chceme, aby se to rovnalo 0. Teď uděláme totéž pro b. Ještě jednou, tento člen je opět konstanta, pokud derivujeme podle b. Žádné b tu totiž není. Žádné b tu není. Parciální derivace každého z těchto prvních dvou členů podle b se rovnají 0. Tady budeme mít -2n krát průměr y. protože to jsou koeficienty u b. Takže parciální derivace podle b se bude rovnat -2n krát průměr y. V dalším členu žádné b není. Ale tady už nějaké b máme. Takže tu budeme mít 2mn krát průměr x. 2mn krát průměr x. Tohle je totiž koeficient u b. Nepíšu to popořadě, ale tohle jsou všechno konstanty z pohledu b. Jsou to koeficienty před b. Parciální derivace tohoto členu podle b bude tedy rovna právě těmto koeficientům. A konečně, parciální derivace tohoto členu podle b bude 2nb. Nebo vlastně (2nb na první). 2bn je paricální derivace posledního členu podle b. Chceme, aby se to rovnalo 0. Vypadá to docela složitě. Ale chceme jen vypočítat m a b. Máme tady tudíž 2 rovnice o 2 neznámých. Máme tady neznámou m a neznámou b. Abychom tyto rovnice zjednodušili, můžeme obě strany obou rovnic vydělit 2n. 0 je totiž dělitelná čímkoli. Bude to prostě 0. Vydělme první rovnici výrazem 2n. Podívejme se, co dostaneme. Pokud vydělím první rovnici výrazem 2n, dostanu 1. Tohle půjde pryč a tohle taky. Zůstane nám pouze (-průměr xy) plus (m) krát průměr (x na druhou) plus b krát (průměr x) se rovná 0. Tohle zbude v první rovnici po vydělení obou stran výrazem 2n. Druhý výraz bude... tohle půjde pryč. Dělíme výrazem 2n. ne výrazem (-2n). Když to vydělíme 2n, tohle půjde pryč, tohle taky a tohle taky. Zůstane nám pouze (- průměr y) plus (m) krát (průměr x) plus (b) se rovná 0. Takže pokud najdeme m a b, které jsou řešením této soustavy rovnic, najdeme parametetry přímky takové, že čtvercová chyba bude minimální. Mohli bychom to vyřešit, jak jsme zvyklí. Ale chci to tady přepsat, protože je zajímavé se podívat, co to opravdu znamená. Přičteme průměr xy k oběma stranám této první rovnice. Takže přičteme průměr xy k oběma stranám první rovnice. Co dostaneme? Dostaneme m krát (průměr x na druhou) plus b krát (průměr x) se rovná... tohle se odečte, takže se to rovná průměr xy. To byla první rovnice. A teď druhá rovnice: přičtěme průměr y k oběma stranám této rovnice. Když to udělám, tohle se odečte. A zůstane nám "m"... napíšu to modře. Chci ukázat, že je to ta samá rovnice. Zůstane nám m krát (průměr x) plus b se rovná (průměr y). A teď bych chtěl obě tyto rovnice přepsat do podoby mx plus b. Ale to už tu vlastně máme. Vidíte, že naše nejlepší přímka (s nejmenší čtvercovou chybou) bude y = mx + b. Hledáme teď m a b, ale vidíme, že m a b, které budou řešením této soustavy rovnic, budou zároveň m a b v této nejlepší přímce. Z toho plyne, že nejlepší přímka obsahuje bod... to lze vyčíst ze druhé rovnice... obsahuje bod bod... raději to napíšu takto... Souřadnice bodu průměr x, průměr y leží na této přímce. A vidíte to tady. Pokud sem při hledání nejlepších parametrů m a b dosadíte průměr x, dostanete průměr y. Tohle je zajímavé. Tahle nejlepší přímka... nezapomínejme, co se vlastně snažíme udělat... nejlepší přímka bude obsahovat bod, zakresím to nějakou jinou barvou, bude obsahovat bod, jehož souřadnice x bude průměr všech x, a souřadnice y bude průměr všech y. Tohle je vážně zajímavé. Dává to ale smysl. Alespoň tak nějak intuitivně. Teď přejděme k další věci. Podívejme se na to ještě takto... Snažím se, aby bylo jasnější, jak vyřešit tuto soustavu. Bylo by možné ji vyřešit řadou způsobů. Ale chci, abyste pochopili, co tu vlastně děláme. Jaký další bod leží na této přímce? Když máte totiž dva body, můžete jednoznačně určit rovnici přímky. Další bod... chceme, aby toto bylo vyjádřeno jako (mx plus b). Takže vydělme obě strany rovnice tímto členem, vydělme to průměrem x. Když to uděláme, dostaneme m krát (průměr x na druhou) děleno (průměr x) plus b se rovná (průměr xy) děleno (průměr x). Takže když to napíšete takto, je to ta samá rovnice, pouze jsme vydělili obě strany průměrem x. Tak dostaneme další zajímavý bod, který leží na nejlepší přímce. Alespoň z pohledu čtvercových vzdáleností. Další bod, který leží na nejlepší přímce, bude mít tyto souřadnice: souřadnice x bude tohle: průměr x na druhou děleno průměr x. Souřadnice y bude průměr xy děleno průměrem x. Zamyslete se nad tím. Každopádně oba tyto body leží na této nejlepší přímce. Oba tyto body leží na nejlepší přímce, kde za nejlepší přímku považujeme takovou přímku, která minimalizuje čtvercovou vzdálenost. Jsou na přímce, která minimalizuje čtvercovou vzdálenost. V dalším videu budeme pokračovat. Stává se z toho pomalu sága o 6 či 7 videích. Snažíme se v ní najít rovnici nejlepší přímky. Ale tohle je zajímavé. Exituje řada různých věcí v matematice, nad kterými tu můžeme uvažovat. V dalším videu použijeme tyto informace. Mohli jsme tuto soustavu rovnic prostě vyřešit klasickým způsobem. Ale můžeme ji také vyřešit s použitím těchto infromací, a najít tak m a b. Možná to udělám oběma způsoby. Uvidím, jakou budu mít náladu :) -
video