Strojové učení je odvětví umělé inteligence, které se zaměřuje na vývoj algoritmů a statistických modelů, které se mohou učit z dat a předpovídat je. Lineární regrese je také typem algoritmu strojového učení, konkrétněji a algoritmus strojového učení pod dohledem který se učí z označených datových sad a mapuje datové body k nejoptimalizovanějším lineárním funkcím. které lze použít pro predikci nových datových sad.

Nejprve bychom měli vědět, co jsou to supervidované algoritmy strojového učení. Je to typ strojového učení, kde se algoritmus učí z označených dat. Označená data znamenají datovou sadu, jejíž příslušná cílová hodnota je již známa. Učení pod dohledem má dva typy:

• Klasifikace : Předpovídá třídu datové sady na základě nezávislé vstupní proměnné. Třída je kategorické nebo diskrétní hodnoty. jako obraz zvířete je kočka nebo pes?
• Regrese : Předpovídá spojité výstupní proměnné na základě nezávislé vstupní proměnné. jako je předpověď cen domů na základě různých parametrů, jako je stáří domu, vzdálenost od hlavní silnice, umístění, oblast atd.

Zde budeme diskutovat o jednom z nejjednodušších typů regrese, tj. Lineární regrese.

Obsah

• Co je lineární regrese?
• Typy lineární regrese
• Jaká je nejlepší řada Fit?
• Nákladová funkce pro lineární regresi
• Předpoklady jednoduché lineární regrese
• Předpoklady vícenásobné lineární regrese
• Metriky hodnocení pro lineární regresi
• Implementace lineární regrese v Pythonu
• Regularizační techniky pro lineární modely
• Aplikace lineární regrese
• Výhody a nevýhody lineární regrese
• Lineární regrese – často kladené otázky (FAQ)

Co je lineární regrese?

Lineární regrese je druh strojové učení pod dohledem algoritmus, který počítá lineární vztah mezi závisle proměnnou a jedním nebo více nezávislými rysy přizpůsobením lineární rovnice pozorovaným datům.

Pokud existuje pouze jeden nezávislý prvek, nazývá se to Jednoduchá lineární regrese , a pokud existuje více než jeden prvek, je známý jako Vícenásobná lineární regrese .

Podobně, když existuje pouze jedna závislá proměnná, bere se v úvahu Jednorozměrná lineární regrese , zatímco když existuje více než jedna závislá proměnná, je známá jako Vícerozměrná regrese .

jak získat emotikony jablka na android

Proč je lineární regrese důležitá?

Interpretovatelnost lineární regrese je pozoruhodná síla. Rovnice modelu poskytuje jasné koeficienty, které objasňují dopad každé nezávislé proměnné na závislou proměnnou, což usnadňuje hlubší pochopení základní dynamiky. Jeho jednoduchost je ctností, protože lineární regrese je transparentní, snadno implementovatelná a slouží jako základní koncept pro složitější algoritmy.

Lineární regrese není pouze prediktivním nástrojem; tvoří základ pro různé pokročilé modely. Techniky jako regularizace a podpůrné vektorové stroje čerpají inspiraci z lineární regrese a rozšiřují její užitečnost. Lineární regrese je navíc základním kamenem testování předpokladů a umožňuje výzkumníkům ověřit klíčové předpoklady o datech.

Typy lineární regrese

Existují dva hlavní typy lineární regrese:

Jednoduchá lineární regrese

Toto je nejjednodušší forma lineární regrese a zahrnuje pouze jednu nezávislou proměnnou a jednu závisle proměnnou. Rovnice pro jednoduchou lineární regresi je:
y=eta_{0}+eta_{1}X
kde:

• Y je závislá proměnná
• X je nezávislá proměnná
• β0 je zachycení
• β1 je sklon

Vícenásobná lineární regrese

To zahrnuje více než jednu nezávislou proměnnou a jednu závisle proměnnou. Rovnice pro vícenásobnou lineární regresi je:
y=eta_{0}+eta_{1}X+eta_{2}X+………eta_{n}X
kde:

• Y je závislá proměnná
• X1, X2, …, Xp jsou nezávislé proměnné
• β0 je zachycení
• β1, β2, …, βn jsou sklony

Cílem algoritmu je najít nejlepší Fit řada rovnice, která dokáže předpovídat hodnoty na základě nezávislých proměnných.

V regresi je přítomna sada záznamů s hodnotami X a Y a tyto hodnoty se používají k naučení funkce, takže pokud chcete předpovědět Y z neznámého X, lze tuto naučenou funkci použít. V regresi musíme najít hodnotu Y, takže je vyžadována funkce, která předpovídá spojité Y v případě regrese dané X jako nezávislé rysy.

Jaká je nejlepší řada Fit?

Naším primárním cílem při použití lineární regrese je najít nejvhodnější linii, což znamená, že chyba mezi předpokládanými a skutečnými hodnotami by měla být minimální. Nejméně chyb bude v nejlépe padnoucí řadě.

Nejlepší rovnice Fit Line poskytuje přímku, která představuje vztah mezi závislými a nezávislými proměnnými. Sklon čáry udává, jak moc se mění závislá proměnná při jednotkové změně v nezávislé proměnné (proměnných).

Lineární regrese

Zde se Y nazývá závislá nebo cílová proměnná a X se nazývá nezávislá proměnná známá také jako prediktor Y. Existuje mnoho typů funkcí nebo modulů, které lze použít pro regresi. Lineární funkce je nejjednodušším typem funkce. Zde může být X jeden prvek nebo více prvků představujících problém.

Lineární regrese provádí úlohu předpovědět hodnotu závislé proměnné (y) na základě dané nezávisle proměnné (x)). Proto je název lineární regrese. Na obrázku výše X (vstup) je pracovní zkušenost a Y (výstup) je plat osoby. Regresní přímka je pro náš model nejvhodnější.

K výpočtu nejlepších hodnot využíváme nákladovou funkci, abychom získali nejvhodnější křivku, protože různé hodnoty vah nebo koeficientu čar vedou k různým regresním přímkám.

Hypotézní funkce v lineární regresi

Jak jsme již dříve předpokládali, že naším nezávislým rysem je zkušenost, tj. X a příslušný plat Y je závislá proměnná. Předpokládejme, že existuje lineární vztah mezi X a Y, pak lze plat předpovědět pomocí:

hat{Y} = heta_1 + heta_2X

NEBO

hat{y}_i = heta_1 + heta_2x_i

Tady,

• y_i epsilon Y ;; (i= 1,2, cdots , n) jsou štítky k datům (učení pod dohledem)
• x_i epsilon X ;; (i= 1,2, cdots , n) jsou vstupní nezávislá tréninková data (jednorozměrná – jedna vstupní proměnná (parametr))
• hat{y_i} epsilon hat{Y} ;; (i= 1,2, cdots , n) jsou předpokládané hodnoty.

Model získá nejlepší křivku regrese nalezením nejlepšího θ₁a θ₂hodnoty.

• i ₁ : zachytit
• i ₂ : koeficient x

Jakmile najdeme to nejlepší θ₁a θ₂hodnot, získáme nejvhodnější řadu. Takže když konečně použijeme náš model pro predikci, předpoví hodnotu y pro vstupní hodnotu x.

Jak aktualizovat θ ₁ a θ ₂ hodnoty, abyste získali nejvhodnější řadu?

Aby bylo dosaženo co nejlépe vyhovující regresní přímky, je cílem modelu předpovědět cílovou hodnotuhat{Y} tak, že rozdíl chyb mezi předpokládanou hodnotouhat{Y} a skutečná hodnota Y je minimální. Je tedy velmi důležité aktualizovat θ₁a θ₂hodnoty, abyste dosáhli nejlepší hodnoty, která minimalizuje chybu mezi předpokládanou hodnotou y (pred) a skutečnou hodnotou y (y).

minimizefrac{1}{n}sum_{i=1}^{n}(hat{y_i}-y_i)^2

Nákladová funkce pro lineární regresi

The nákladová funkce nebo ztrátová funkce není nic jiného než chyba nebo rozdíl mezi předpokládanou hodnotouhat{Y} a skutečnou hodnotu Y.

V lineární regresi je Střední kvadratická chyba (MSE) je použita nákladová funkce, která vypočítává průměr čtvercových chyb mezi předpokládanými hodnotamihat{y}_i a skutečné hodnoty{y}_i . Účelem je určit optimální hodnoty pro zachycení heta_1 a koeficient vstupního znaku heta_2 poskytnutí nejvhodnější čáry pro dané datové body. Lineární rovnice vyjadřující tento vztah jehat{y}_i = heta_1 + heta_2x_i .

Funkci MSE lze vypočítat takto:

ext{Cost function}(J) = frac{1}{n}sum_{n}^{i}(hat{y_i}-y_i)^2

Pomocí funkce MSE se použije iterativní proces sestupu gradientu k aktualizaci hodnot heta_1 & heta_2 . To zajišťuje, že hodnota MSE konverguje ke globálním minimům, což znamená nejpřesnější přizpůsobení lineární regresní přímky souboru dat.

Tento proces zahrnuje průběžné nastavování parametrů ( heta_1) a ( heta_2) na základě gradientů vypočítaných z MSE. Konečným výsledkem je lineární regresní přímka, která minimalizuje celkové čtvercové rozdíly mezi předpokládanými a skutečnými hodnotami a poskytuje optimální reprezentaci základního vztahu v datech.

Gradient sestup pro lineární regresi

Lineární regresní model lze trénovat pomocí optimalizačního algoritmu gradientní sestup iterativní úpravou parametrů modelu za účelem snížení střední kvadratická chyba (MSE) modelu na trénovací datové sadě. Chcete-li aktualizovat θ₁a θ₂hodnoty za účelem snížení funkce Cost (minimalizace hodnoty RMSE) a dosažení nejvhodnější linie, kterou model používá Gradient Descent. Myšlenka je začít s náhodným θ₁a θ₂hodnoty a poté iterativně aktualizovat hodnoty, až dosáhnete minimálních nákladů.

Gradient není nic jiného než derivace, která definuje účinky na výstupy funkce s malou variací ve vstupech.

co je build-essential ubuntu

Rozlišme nákladovou funkci (J) s ohledem na heta_1

egin {aligned} {J}’_{ heta_1} &=frac{partial J( heta_1, heta_2)}{partial heta_1} &= frac{partial}{partial heta_1} left[frac{1}{n} left(sum_{i=1}^{n}(hat{y}_i-y_i)^2 ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(frac{partial}{partial heta_1}(hat{y}_i-y_i) ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(frac{partial}{partial heta_1}( heta_1 + heta_2x_i-y_i) ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(1+0-0 ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}(hat{y}_i-y_i) left(2 ight ) ight] &= frac{2}{n}sum_{i=1}^{n}(hat{y}_i-y_i) end {aligned}

Rozlišme nákladovou funkci (J) s ohledem na heta_2

egin {aligned} {J}’_{ heta_2} &=frac{partial J( heta_1, heta_2)}{partial heta_2} &= frac{partial}{partial heta_2} left[frac{1}{n} left(sum_{i=1}^{n}(hat{y}_i-y_i)^2 ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(frac{partial}{partial heta_2}(hat{y}_i-y_i) ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(frac{partial}{partial heta_2}( heta_1 + heta_2x_i-y_i) ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(0+x_i-0 ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}(hat{y}_i-y_i) left(2x_i ight ) ight] &= frac{2}{n}sum_{i=1}^{n}(hat{y}_i-y_i)cdot x_i end {aligned}

Cílem lineární regrese je nalezení koeficientů lineární rovnice, které nejlépe odpovídají tréninkovým datům. Pohybem ve směru záporného gradientu střední kvadratické chyby vzhledem ke koeficientům lze koeficienty měnit. A příslušný průsečík a koeficient X bude ifalpha je rychlost učení.

Gradientní sestup

egin{aligned} heta_1 &= heta_1 – alpha left( {J}’_{ heta_1} ight) &= heta_1 -alpha left( frac{2}{n}sum_{i=1}^{n}(hat{y}_i-y_i) ight) end{aligned} egin{aligned} heta_2 &= heta_2 – alpha left({J}’_{ heta_2} ight) &= heta_2 – alpha left(frac{2}{n}sum_{i=1}^{n}(hat{y}_i-y_i)cdot x_i ight) end{aligned}

Předpoklady jednoduché lineární regrese

Lineární regrese je mocným nástrojem pro pochopení a predikci chování proměnné, musí však splňovat několik podmínek, aby byla přesná a spolehlivá řešení.

1. Linearita : Nezávislé a závislé proměnné mají mezi sebou lineární vztah. To znamená, že změny v závislé proměnné následují změny v nezávislé proměnné (proměnných) lineárním způsobem. To znamená, že by měla existovat přímka, kterou lze nakreslit datovými body. Pokud vztah není lineární, pak lineární regrese nebude přesný model.
   
2. Nezávislost : Pozorování v souboru dat jsou na sobě nezávislá. To znamená, že hodnota závislé proměnné pro jedno sledování nezávisí na hodnotě závislé proměnné pro jiné sledování. Pokud nejsou pozorování nezávislá, pak lineární regrese nebude přesným modelem.
3. Homoscedasticita : Na všech úrovních nezávisle proměnné (proměnných) je rozptyl chyb konstantní. To znamená, že množství nezávislé proměnné (proměnných) nemá žádný vliv na rozptyl chyb. Pokud rozptyl reziduí není konstantní, pak lineární regrese nebude přesný model.
   

   Homoscedasticita v lineární regresi

4. Normálnost : Zbytky by měly být normálně rozloženy. To znamená, že zbytky by měly sledovat křivku ve tvaru zvonu. Pokud rezidua nejsou normálně rozdělena, pak lineární regrese nebude přesný model.

Předpoklady vícenásobné lineární regrese

Pro vícenásobnou lineární regresi platí všechny čtyři předpoklady jednoduché lineární regrese. Kromě toho níže uvádíme několik dalších:

1. Žádná multikolinearita : Mezi nezávislými proměnnými není vysoká korelace. To naznačuje, že mezi nezávislými proměnnými existuje malá nebo žádná korelace. K multikolinearitě dochází, když dvě nebo více nezávislých proměnných spolu vysoce korelují, což může ztěžovat stanovení individuálního účinku každé proměnné na závisle proměnnou. Pokud existuje multikolinearita, pak vícenásobná lineární regrese nebude přesný model.
2. Aditivita: Model předpokládá, že vliv změn v prediktorové proměnné na proměnnou odezvy je konzistentní bez ohledu na hodnoty ostatních proměnných. Tento předpoklad implikuje, že neexistuje žádná interakce mezi proměnnými v jejich účincích na závisle proměnnou.
3. Výběr funkcí: Při vícenásobné lineární regresi je nezbytné pečlivě vybrat nezávislé proměnné, které budou zahrnuty do modelu. Zahrnutí irelevantních nebo nadbytečných proměnných může vést k nadměrnému přizpůsobení a zkomplikovat interpretaci modelu.
4. Převybavení: Přepasování nastává, když model odpovídá trénovacím datům příliš těsně, zachycuje šum nebo náhodné výkyvy, které nepředstavují skutečný základní vztah mezi proměnnými. To může vést ke špatnému výkonu zobecnění na nových, neviditelných datech.

Multikolinearita

Multikolinearita je statistický jev, ke kterému dochází, když jsou dvě nebo více nezávislých proměnných ve vícenásobném regresním modelu vysoce korelované, což ztěžuje posouzení individuálních účinků každé proměnné na závislou proměnnou.

Detekce multikolinearity zahrnuje dvě techniky:

• Korelační matice: Zkoumání korelační matice mezi nezávislými proměnnými je běžný způsob detekce multikolinearity. Vysoké korelace (blízké 1 nebo -1) indikují potenciální multikolinearitu.
• VIF (faktor variační inflace): VIF je míra, která kvantifikuje, jak moc se zvýší rozptyl odhadovaného regresního koeficientu, pokud jsou vaše prediktory korelovány. Vysoký VIF (typicky nad 10) naznačuje multikolinearitu.

Metriky hodnocení pro lineární regresi

Různé hodnotící opatření lze použít k určení síly jakéhokoli lineárního regresního modelu. Tyto hodnotící metriky často udávají, jak dobře model produkuje pozorované výstupy.

Nejběžnější měření jsou:

Střední kvadratická chyba (MSE)

Střední kvadratická chyba (MSE) je vyhodnocovací metrika, která vypočítává průměr druhých mocnin rozdílů mezi skutečnými a předpokládanými hodnotami pro všechny datové body. Rozdíl je umocněn, aby se zajistilo, že se negativní a pozitivní rozdíly navzájem nevyruší.

MSE = frac{1}{n}sum_{i=1}^{n}left ( y_i – widehat{y_{i}} ight )^2

Tady,

• n je počet datových bodů.
• a_ije skutečná nebo pozorovaná hodnota pro i^čtdatový bod.
• widehat{y_{i}} je předpokládaná hodnota pro i^čtdatový bod.

MSE je způsob, jak kvantifikovat přesnost předpovědí modelu. MSE je citlivý na odlehlé hodnoty, protože velké chyby významně přispívají k celkovému skóre.

Střední absolutní chyba (MAE)

Střední absolutní chyba je vyhodnocovací metrika používaná k výpočtu přesnosti regresního modelu. MAE měří průměrný absolutní rozdíl mezi předpokládanými hodnotami a skutečnými hodnotami.

Matematicky je MAE vyjádřeno jako:

MAE =frac{1}{n} sum_{i=1}^{n}|Y_i – widehat{Y_i}|

Tady,

• n je počet pozorování
• A_ipředstavuje skutečné hodnoty.
• widehat{Y_i} představuje předpokládané hodnoty

Nižší hodnota MAE indikuje lepší výkon modelu. Není citlivý na odlehlé hodnoty, protože považujeme za absolutní rozdíly.

Root Mean Squared Error (RMSE)

Druhá odmocnina rozptylu reziduí je Root Mean Squared Error . Popisuje, jak dobře se pozorované datové body shodují s očekávanými hodnotami, nebo jak se model absolutně shoduje s daty.

V matematickém zápisu to lze vyjádřit jako:
RMSE=sqrt{frac{RSS}{n}}=sqrtfrac{{{sum_{i=2}^{n}(y^{actual}_{i}}- y_{i}^{predicted})^2}}{n}
Namísto dělení celého počtu datových bodů v modelu počtem stupňů volnosti je třeba vydělit součet druhých mocnin zbytků, abychom získali nezkreslený odhad. Potom se toto číslo označuje jako zbytková standardní chyba (RSE).

V matematickém zápisu to lze vyjádřit jako:
RMSE=sqrt{frac{RSS}{n}}=sqrtfrac{{{sum_{i=2}^{n}(y^{actual}_{i}}- y_{i}^{predicted})^2}}{(n-2)}

RSME není tak dobrá metrika jako R-squared. Root Mean Squared Error může kolísat, když se jednotky proměnných liší, protože její hodnota závisí na jednotkách proměnných (nejedná se o normalizované měření).

Koeficient determinace (R-kvadrát)

R-Squared je statistika, která udává, jak velkou variaci může vyvinutý model vysvětlit nebo zachytit. Je vždy v rozsahu 0 až 1. Obecně platí, že čím lépe model odpovídá datům, tím větší je číslo R na druhou.
V matematickém zápisu to lze vyjádřit jako:
R^{2}=1-(^{frac{RSS}{TSS}})

Freddie mercury

• Zbytkový součet čtverců (RSS): The součet čtverců rezidua pro každý datový bod v grafu nebo datech je známý jako zbytkový součet čtverců nebo RSS. Je to měření rozdílu mezi výstupem, který byl pozorován, a tím, co se očekávalo.
  RSS=sum_{i=2}^{n}(y_{i}-b_{0}-b_{1}x_{i})^{2}
• Celkový součet čtverců (TSS): Součet chyb datových bodů z průměru proměnné odpovědi je známý jako celkový součet čtverců nebo TSS.
  TSS= sum_{}^{}(y-overline{y_{i}})^2

R-kvadratická metrika je mírou podílu rozptylu v závislé proměnné, která je vysvětlena jako nezávislé proměnné v modelu.

Upravená R-Squared Error

Upraveno R²měří podíl rozptylu v závislé proměnné, který je vysvětlen nezávislými proměnnými v regresním modelu. Upravený R-čtverec zohledňuje počet prediktorů v modelu a penalizuje model za zahrnutí irelevantních prediktorů, které významně nepřispívají k vysvětlení rozptylu v závislých proměnných.

Matematicky upraveno R²se vyjadřuje jako:

Adjusted , R^2 = 1 – (frac{(1-R^2).(n-1)}{n-k-1})

Tady,

• n je počet pozorování
• k je počet prediktorů v modelu
• R²je koeficient determinace

Upravený R-square pomáhá předcházet nadměrnému vybavení. Penalizuje model dalšími prediktory, které významně nepřispívají k vysvětlení rozptylu v závislé proměnné.

Implementace lineární regrese v Pythonu

Importujte potřebné knihovny:

Načtěte datovou sadu a oddělte vstupní a cílové proměnné

Zde je odkaz na datovou sadu: Odkaz na datovou sadu

Sestavte model lineární regrese a vykreslete regresní přímku

kroky:

• Při dopředném šíření je lineární regresní funkce Y=mx+c aplikována počátečním přiřazením náhodné hodnoty parametru (m & c).
• Napsali jsme funkci k nalezení nákladové funkce, tj. průměru