Regresioni linear

Në statistikë, regresioni linear është një model që tregon lidhjen midis një variabël e varur dhe një ose më shumë variablave regresore ose të pavarurura . Kur ka një variabël të pavarur, ky quhet regresion linear i thjeshtë.Kur ka dy ose më shumë variabla të pavarura, quhet regresion linear i shumëfishtë . Ky koncept nuk është i njejtë, i cili përdoret për të parashikuar variabla të varura të korreluara të shumëfishta njëkohësisht, në vend të një variabli të vetëm të varur.

Në regresionin linear, marrëdhëniet modelohen duke përdorur funksione parashikuese lineare, parametrat e panjohur të modelit të të cilave vlerësohen nga të dhënat . Më së shpeshti, mesatarja e kushtëzuar e përgjigjes duke pasur parasysh vlerat e variablave shpjeguese (ose parashikuesve) supozohet të jetë një funksion afin i atyre vlerave; më rrallë, përdoret mediana e kushtëzuar ose ndonjë kuantil tjetër. Ashtu si të gjitha format e analizës së regresionit, regresioni linear fokusohet në shpërndarjen e probabilitetit të kushtëzuar të përgjigjes duke pasur parasysh vlerat e parashikuesve, dhe jo të shpërndarjes së përbashkët të probabilitetit të të gjitha këtyre variablave, e cila trajtohet në analizën shumëvariabël .

Regresioni linear është gjithashtu një lloj algoritmi i të mësuarit makinerik, më saktësisht një algoritëm i mbikëqyrur, i cili mëson nga të dhënat e etiketuara dhe i lidh pikat e të dhënave me funksionet lineare të optimizuara që mund të përdoren për të parashikuar në të dhëna të reja

Regresioni linear ka qenë forma e parë i analizës së regresionit që është studiua në mënyrë rigoroze dhe u përdor gjerësisht në praktikë. Kjo ndodh sepse modelet që varen në mënyrë lineare nga parametrat e tyre të panjohur janë më të thjeshta për t'u përshtatur sesa modelet me lidhje jo-lineare me parametrat e tyre,si dhe sepse vetitë statistikore të vlerësuesve të tillë janë më të thjeshta për t'u përcaktuar.

Regresioni linear ka përdorime praktike të shumta. Shumica e aplikimeve futen në njërën nga dy kategoritë e mëposhtme:

• Nëse qëllimi është të minimizohet gabimi, pra varianca në parashikim , regresioni linear mund të përdoret për të përshtatur një model parashikues me një grup të dhënash të vëzhguara të vlerave të përgjigjes dhe variablave shpjeguese. Pas zhvillimit të një modeli të tillë, nëse mblidhen vlera të reja të variablave shpjeguese pa një vlerë shoqëruese të përgjigjes, modeli i përshtatur mund të përdoret për të parashikuar vlerën e përgjigjes.
• Nëse qëllimi është të shpjegohet ndryshimi në variablën e përgjigjes që mund t’i atribuohet ndryshimit në variablat shpjeguese, analiza e regresionit linear mund të përdoret për të vlerësuar forcën e lidhjes midis përgjigjes dhe variablave shpjeguese. Në veçanti, kjo mund të ndihmojë për të përcaktuar nëse disa variabla shpjeguese nuk kanë fare marrëdhënie lineare me përgjigjen, ose për të identifikuar se cilat nëngrupe të variablave shpjeguese mund të përmbajnë informacion të tepërt lidhur me përgjigjen.

Modelet e regresionit linear shpesh përshtaten duke përdorur metodën e katrorëve më të vegjël, por ka edhe mënyra të tjera për ta bërë këtë. Për shembull, mund të minimizohet “mungesa e përshtatjes” duke përdorur norma të tjera, si në regresionin e devijimeve më të vogla absolute, ose mund të minimizohet një version i penalizuar i funksionit të kostos së katrorëve më të vegjël, si në regresionin ridge (ku ndëshkohet norma L2) dhe lasso (ku ndëshkohet norma L1).

Përdorimi i Gabimit Mesatar Katror (MSE) në një grup të dhënash që ka shumë vlera jashtëzakonisht të mëdha mund të bëjë që modeli t’i përshtatet më shumë këtyre vlerave ekstreme sesa të dhënave të tjera, për shkak se MSE i jep rëndësi më të madhe gabimeve të mëdha. Prandaj, nëse të dhënat kanë shumë vlera ekstreme, është më mirë të përdoren funksione kosto më të qëndrueshme ndaj outliers.

Gjithashtu, metoda e katrorëve më të vegjël mund të përdoret edhe për modele jo-lineare. Kështu, megjithëse termat “katrorë më të vegjël” dhe “model linear” shpesh lidhen, ata nuk janë sinonime.

Formulimi

Në regresionin linear, vëzhgimet ( e kuqe ) supozohet të jenë rezultat i devijimeve të rastësishme ( jeshile ) nga një marrëdhënie themelore ( blu ) midis një variabli të varur ( y ) dhe një variabli të pavarur ( x ).

Duke pasur parasysh një grup të dhënash $\{y_{i},\,x_{i1},\ldots ,x_{ip}\}_{i=1}^{n}$ me

n njësitë statistikore, një model regresioni linear supozon se marrëdhënia midis variablit të varur y dhe vektorit të regresorëve x është lineare.

Kjo marrëdhënie përfaqësohet edhe me një term gabimi ε, i cili është një variabël rastësore e pavëzhguar që shton “zhurmë” në marrëdhënien midis y dhe regresorëve.

Në këtë mënyrë, modeli linear mund të shkruhet si:$$y_{i}=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}=\mathbf {x} _{i}^{\mathsf {T}}{\boldsymbol {\beta }}+\varepsilon _{i},\qquad i=1,\ldots ,n,$$ ku ^T tregon transpozimin, kështu që x _i ^Tβ është prodhimi i brendshëm midis vektorëve x _i dhe β .

Shpesh këto ekuacione n mund të grumbullohen së bashku, dhe shkruhen në simbolizimin matricor si

$\mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\,$

ku

$\mathbf {y} ={\begin{bmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{bmatrix}},\quad$

$\mathbf {X} ={\begin{bmatrix}\mathbf {x} _{1}^{\mathsf {T}}\\\mathbf {x} _{2}^{\mathsf {T}}\\\vdots \\\mathbf {x} _{n}^{\mathsf {T}}\end{bmatrix}}={\begin{bmatrix}1&x_{11}&\cdots &x_{1p}\\1&x_{21}&\cdots &x_{2p}\\\vdots &\vdots &\ddots &\vdots \\1&x_{n1}&\cdots &x_{np}\end{bmatrix}},$

${\boldsymbol {\beta }}={\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\\\vdots \\\beta _{p}\end{bmatrix}},\quad {\boldsymbol {\varepsilon }}={\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{n}\end{bmatrix}}.$

Notacioni dhe terminologjia

• $\mathbf {y}$ është një vektpr i vlerave të vëzhguara $y_{i}\ (i=1,\ldots ,n)$ të variablës që quhet regresand, variabël endogjene, variabël përgjigjeje, variabël target, variabël e matur, variabël kriter,ose variabël e varur Kjo variabël ndonjëherë quhet edhe variabla e parashikuar, por kjo nuk duhet ngatërruar me vlerat e parashikuara, të cilat shënohen me ${\hat {y}}$. Zgjedhja se cili variabël në një grup të dhënash trajtohet si i varur dhe se cilat si të pavarur mund të bazohet në supozimin se vlera e një variabli ndikohet ose shkaktohet nga variablat e tjerë. Në raste tjera, arsyeja mund të jetë thjesht operative-dmth. zgjedhet një variabël për t'u modeluar në varësi të të tjerëve, pa pasur domosdoshmërisht ndonjë suposim kauzal.
• $\mathbf {X}$ mund të shihet si një matricë me rreshta-vektorë 𝑥ᵢ∙ ose me kolonat 𝑥∙ⱼ, të cilat njihen si regresorë, variabla ekzogjene, variabla shpjeguese, kovariabla, variabla hyrëse, variabla parashikuese, ose variabla të pavarura (që nuk duhet ngatërruar me konceptin e “variablave të pavarur” në kuptimin probabilistik). Matrica 𝑋 ndonjëherë quhet matrica e dizajnit (design matrix).
  • Zakonisht, si një nga regresorët përfshihet edhe një konstantë. Në veçanti, 𝑥ᵢ₀ = 1 për 𝑖 = 1, …, 𝑛. Elementi përkatës i β quhet intercept. Shumë procedura statistikore për modelet lineare kërkojnë që intercept-i të jetë i pranishëm, kështu që shpesh përfshihet edhe kur konsideratat teorike sugjerojnë që vlera e tij duhet të jetë zero.
  • Ndonjëherë një nga regresorët mund të jetë një funksion jolinear i një regresori tjetër ose i vetë të dhënave, si në regresionin polinomial ose regresionin e segmentuar. Modeli mbetet linear për sa kohë që është linear në vektorin e parametrave β.
  • Vlerat xᵢⱼ mund të shihen si vlera të vëzhguara të një variabli të rastësishëm Xⱼ, ose si vlera fikse të zgjedhura përpara vëzhgimit të variablës së varur. Të dy interpretimet janë të vlefshme në varësi të rastit dhe zakonisht çojnë në të njëjtat metoda vlerësimi; megjithatë, për analizat asimptotike përdoren qasje të ndryshme në secilën situatë.
• ${\boldsymbol {\beta }}$ është një vektor parametrash me dimension (p + 1), ku β₀ është termi i intercept-it (nëse modeli e përfshin atë — përndryshe β është me dimension p). Elementet e këtij vektori njihen si efekte ose koeficientë regresioni (edhe pse termi i dytë ndonjëherë i referohet vetëm vlerësimeve të tyre). Në regresionin linear të thjeshtë, p = 1, dhe koeficienti quhet pjerrësia e regresionit (slope). Vlerësimi statistikor dhe inferenca në regresionin linear përqendrohet te β. Elementet e këtij vektori interpretohen si derivatet parciale të variablës së varur sipas variablave të pavarur.
• ${\boldsymbol {\varepsilon }}$ është një vektor me vlerat 𝜀𝑖. Kjo pjesë e modelit quhet termin i gabimit, termin i shqetësimit, ose nganjëherë zhurmë, në kontrast me “sinjalin” e ofruar nga pjesa tjetër e modelit. Kjo variabël përfshin të gjithë faktorët e tjerë që ndikojnë në variablën e varur y, përveç regresorëve x. Marrëdhënia ndërmjet termit të gabimit dhe regresorëve, për shembull korrelacioni mes tyre, është një element kyç në formulimin e një modeli linear regresioni, pasi ajo përcakton metodën e duhur të vlerësimit

Përshtatja e një modeli linear në një grup të dhënash të caktuar zakonisht kërkon vlerësimin e koeficientëve të regresionit. ${\boldsymbol {\beta }}$ të tillë që termi i gabimit ${\boldsymbol {\varepsilon }}=\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}$ të jetë sa më i vogël. Një qasje e zakonshme është të minimizohet shuma e katrorëve të gabimeve, e shënuar si $\|{\boldsymbol {\varepsilon }}\|_{2}^{2}$ që shërben si një masë e madhësisë së gabimit për t’u minimizuar gjatë përshtatjes së modelit.

Shembull

Merrni parasysh një situatë ku një top i vogël hidhet lart dhe më pas masim lartësitë hi​ në momente të ndryshme në kohë ti​.

Sipas ligjeve të fizikës, duke injoruar rezistencën e ajrit, marrëdhënia midis lartësisë dhe kohës mund të modelohet si:

$h_{i}=\beta _{1}t_{i}+\beta _{2}t_{i}^{2}+\varepsilon _{i},$

Këtu, β1​ përcakton shpejtësinë fillestare të topit, β2​ është proporcionale me gravitetin standard, dhe εi​ përfaqëson gabimet e matjes. Regresioni linear mund të përdoret për të vlerësuar vlerat e β1​ dhe β2​ nga të dhënat e matura.

Ky model është jo-linear në kohë, por linear në parametrat β1​ dhe β2​. Nëse marrim regresorët:

_x i = ( x _{i 1}, x _{i 2} ) = ( t _i, t _i ² ), atëherë modeli mund të shkruhet në formën standard të regresionit linear

$h_{i}=\mathbf {x} _{i}^{\mathsf {T}}{\boldsymbol {\beta }}+\varepsilon _{i}.$

Supozime

Modelet standarde të regresionit linear, të përshtatura me teknikat standarde të vlerësimit, bëjnë disa supozime mbi variablat parashikuese, variablin e përgjigjes dhe marrëdhënien midis tyre. Janë zhvilluar shumë zgjerime që lejojnë që secila prej këtyre supozimeve të zbutet (pra të bëhet më e dobët) dhe në disa raste edhe të eliminohet plotësisht.

Në përgjithësi, këto zgjerime e bëjnë procesin e vlerësimit më kompleks dhe më kohëzgjatës, dhe shpesh kërkojnë më shumë të dhëna për të prodhuar një model po aq të saktë.

Shembull i një regresioni polinomial kub, i cili është një lloj regresioni linear. Edhe pse regresioni polinomial i përshtat një model kurbe të dhënave, si një problem vlerësimi statistikor ai është linear, në kuptimin që funksioni i regresionit E( y | x ) është linear në parametrat e panjohur që vlerësohen nga të dhënat . Për këtë arsye, regresioni polinomial konsiderohet të jetë një rast i veçantë i regresionit linear të shumëfishtë .

Më poshtë janë supozimet kryesore të bëra nga modelet standarde të regresionit linear me teknikat standarde të vlerësimit (p.sh., metoda e zakonshme e katrorëve më të vegjël):

• Ekzogjeniteti i dobët: Kjo në thelb do të thotë se variablat parashikuese x mund të trajtohen si vlera fikse, dhe jo si variablave të rastësishme. Praktikisht, supozohet që këto variabla janë pa gabime, domethënë nuk janë të kontaminuara nga gabime matjeje.Edhe pse ky supozim nuk është gjithmonë realist në shumë situata praktike, heqja e tij çon në modele më komplekse, ku gabimet në variabla duhet të trajtohen në mënyrë të veçantë.
• Lineariteti do të thotë që mesatarja e variablit të përgjigjes është një kombinim linear i parametrave (koeficientëve të regresionit) dhe variablave parashikuese. Ky supozim është shumë më pak kufizues sesa duket në fillim. Duke marrë parasysh që variablat parashikuese trajtohen si vlera fikse, lineariteti është në të vërtetë vetëm një kufizim mbi parametrat. Vetë variablat parashikuese mund të transformohen në mënyrë arbitrare, dhe mund të shtohen kopje të shumta të të njëjtit variabël themelor, secila e transformuar ndryshe. Kjo teknikë përdoret, për shembull, në regresioninpolinomial l, i cili përdor regresionin linear për të përshtatur variablin e përgjigjes si një funksion polinomial të një variabli parashikues, deri në një shkallë të caktuar. Me këtë fleksibilitet të madh, modelet si regresioni polinomial shpesh kanë "shumë fuqi" dhe mund të tentojnë të mbipërshtatin të dhënat. Si rezultat, zakonisht përdoret një lloj rregullimi për të parandaluar zgjidhje të paarsyeshme që dalin nga procesi i vlerësimit.Shembuj të zakonshëm janë regresioni i kreshtës dhe regresioni lasso. Mund të përdoret edhe regresioni linear Bayesian, i cili nga natyra është pak a shumë imun ndaj problemit të mbipërshtatjes. Në fakt, regresioni i kreshtës dhe regresioni lasso mund të shihen si raste të veçanta të regresionit linear Bayesian, me lloje të veçanta të shpërndarjeve paraprake të vendosura mbi koeficientët e regresionit.

• 

  Vizualizimi i heteroskedasticitetit në një grafik shpërndarjeje kundrejt 100 vlerave të përshtatura rastësisht duke përdorur Matlab

  Varianca konstante (e njohur edhe si homoskedasticitet) do të thotë që varianca e gabimeve nuk varet nga vlerat e variablave parashikues. Me fjalë të tjera, ndryshueshmëria e përgjigjeve për vlera fikse të parashikuesve është e njëjtë, pavarësisht se sa të mëdha ose të vogla janë përgjigjet. Në praktikë, ky supozim shpesh nuk mbahet. Për shembull, një person me të ardhura të parashikuara 100,000 dollarë mund të ketë të ardhura reale rreth 80,000–120,000 dollarë (devijim standard rreth 20,000), ndërsa një person me të ardhura të parashikuara 10,000 dollarë nuk ka të ngjarë të ketë të njëjtin devijim prej 20,000, sepse kjo do të sillte të ardhura negative. Në shumë raste, varianca ose devijimi standard duhet të jetë proporcional me mesataren, jo konstant. Mungesa e homoskedasticitetit quhet heteroskedasticitet. Për ta kontrolluar, mund të shqyrtohet një grafik i mbetjeve kundrejt vlerave të parashikuara ose secilit parashikues për të parë nëse përhapja ndryshon. Një grafik i mbetjeve absolute ose të katrorizuara gjithashtu mund të tregojë një trend ose lakim. Mund të përdoren edhe teste formale të heteroskedasticitetit. Prania e heteroskedasticitetit çon në një vlerësim mesatar të variancës që nuk merr parasysh strukturën e vërtetë, duke bërë që:
  • vlerësimet e parametrave dhe gabimet standarde të jenë më pak të sakta,
  • testet dhe intervalet e besueshmërisë të jenë mashtruese,
  • gabimi mesatar i katrorizuar për modelin të jetë i gabuar. Teknika të ndryshme mund ta trajtojnë heteroskedasticitetin, duke përfshirë katrorët më të vegjël të ponderuar dhe përdorimin e gabimeve standarde të konsistente. Regresioni linear Bayesian mund të përdoret gjithashtu kur varianca supozohet të jetë funksion i mesatares. Në disa raste, problemi mund të zgjidhet edhe duke transformuar variablin e përgjigjes, si për shembull duke përdorur logaritmin e tij, që nënkupton një shpërndarje normale logaritmike në vend të një shpërndarjeje normale.

Për të kontrolluar shkeljet e supozimeve të linearitetit, variancës konstante dhe pavarësisë së gabimeve brenda një modeli regresioni linear, mbetjet zakonisht paraqiten grafikisht kundrejt vlerave të parashikuara (ose secilit prej parashikuesve individualë). Një shpërndarje në dukje e rastësishme e pikave rreth vijës së mesit horizontale në 0 është ideale, por nuk mund të përjashtojë lloje të caktuara shkeljesh, siç është autokorrelacioni në gabime ose korrelacioni i tyre me një ose më shumë kovariante.

• Pavarësia e gabimeve . Kjo supozon se gabimet e variablave të përgjigjes nuk janë të korreluara me njëra-tjetrën. Pavarësia statistikore është një kusht më i fortë sesa mungesa e thjeshtë e korrelacionit dhe shpesh nuk është e nevojshme, megjithatë mund të përdoret nëse dihet që është e vlefshme. Disa metoda, si metoda e përgjithësuar e katrorëve më të vegjël, janë të afta të trajtojnë gabimet e korreluara, megjithëse zakonisht kërkojnë shumë më tepër të dhëna, përveç nëse përdoret një lloj rregullimi për të paragjykuar modelin drejt supozimit të gabimeve të pakorreluara. Regresioni linear Bayesian është një mënyrë e përgjithshme për të trajtuar këtë çështje.
• Mungesa e multikolinearitetit perfekt në parashikuesit. Për metodat standarde të vlerësimit të katrorëve më të vegjël, matrica e projektimit X duhet të ketë renditjen e plotë të kolonës p; përndryshe ekziston multikolinearitet perfekt në variablat parashikues, që do të thotë se ekziston një marrëdhënie lineare midis dy ose më shumë variablave parashikues. Kjo mund të shkaktohet nga dyfishimi aksidental i një variabli në të dhëna, përdorimi i një transformimi linear të një variabli së bashku me origjinalin (p.sh., të njëjtat matje të temperaturës të shprehura në Fahrenheit dhe Celsius), ose përfshirja e një kombinimi linear të variablave të ndryshëm në model, siç është mesatarja e tyre. Multikolineariteti mund të ndodhë gjithashtu nëse ka shumë pak të dhëna në krahasim me numrin e parametrave që duhen vlerësuar (p.sh., më pak pika të dhënash sesa koeficientët e regresionit). Shkeljet e afërta të këtij supozimi, kur parashikuesit janë shumë të lidhur, por jo në mënyrë të përsosur, mund të zvogëlojnë saktësinë e vlerësimeve të parametrave. Në rastin e multikolinearitetit perfekt, vektori i parametrit β nuk është i identifikueshëm dhe nuk ka një zgjidhje unike. Në këtë rast, vetëm disa nga parametrat mund të identifikohen, domethënë vlerat e tyre mund të vlerësohen vetëm brenda një nënhapësire lineare të hapësirës së plotë të parametrave R^p . Janë zhvilluar metoda për përshtatjen e modeleve lineare me multikolinearitet, disa prej të cilave kërkojnë supozime shtesë siç është "rrallësia e efekteve" - që një pjesë e madhe e efekteve janë saktësisht zero. Vini re se algoritmet e përsëritura më të kushtueshme në llogaritje për vlerësimin e parametrave, të tilla si ato të përdorura në modelet lineare të përgjithësuara, nuk vuajnë nga ky problem.

Shkeljet e këtyre supozimeve mund të çojnë në vlerësime të paragjykuara të β, gabime standarde të paragjykuara, intervale besimi të pabesueshme dhe teste domethënieje jo të sakta. Përveç këtyre supozimeve, disa veti të tjera statistikore të të dhënave ndikojnë ndjeshëm në performancën e metodave të ndryshme të vlerësimit:

• Marrëdhënia statistikore midis termave të gabimit dhe regresorëve është shumë e rëndësishme për të përcaktuar nëse një procedurë vlerësimi ka vetitë e dëshiruara, si p.sh. të qenit i paanshëm dhe konsistent.
• Rregullimi, ose shpërndarja e probabilitetit të variablave parashikuese x, ka një ndikim të madh në saktësinë e vlerësimeve të β . Marrja e mostrave dhe hartimi i eksperimenteve janë nënfusha shumë të zhvilluara të statistikës që ofrojnë udhëzime për mbledhjen e të dhënave në një mënyrë të tillë që të arrihet një vlerësim i saktë i β .

Interpretim

Setet e të dhënave në kuartetin e Anscombe-it janë projektuar të kenë afërsisht të njëjtën vijë regresioni linear (si dhe mesatare pothuajse identike, devijime standarde dhe korrelacione), por grafikisht janë shumë të ndryshme. Kjo ilustron grackat e mbështetjes vetëm në një model të përshtatur për të kuptuar marrëdhënien midis variablave.

Një model i përshtatur i regresionit linear mund të përdoret për të identifikuar marrëdhënien midis një variabli të vetëm parashikues x_j​ dhe variablit të përgjigjes y, kur të gjithë variablat e tjerë parashikues në model mbahen të fiksuar. Në mënyrë specifike, interpretimi i β_j është ndryshimi i pritur në y për një ndryshim një-njësor në x _j kur kovariablat e tjerë mbahen të fiksuar - domethënë, vlera e pritur e derivatit të pjesshëm të y në lidhje me x _j . Kjo nganjëherë quhet efekti unik i x _j në y . Në të kundërt, efekti marxhinal i x _j në y mund të vlerësohet duke përdorur një koeficient korrelacioni ose një model të thjeshtë regresioni linear që lidh vetëm x _j me y ; ky efekt është derivati total i y në lidhje me x _j .

Duhet të tregohet kujdes gjatë interpretimit të rezultateve të regresionit, pasi disa nga regresorët mund të mos lejojnë ndryshime margjinale (siç janë variablat artificiale ose termi i ndërprerjes), ndërsa të tjerët nuk mund të mbahen të fiksuar (kujtoni shembullin nga hyrja: do të ishte e pamundur të "mbahej t _{i i} fiksuar" dhe në të njëjtën kohë të ndryshohej vlera e t _i ² ).

Është e mundur që efekti unik të jetë pothuajse zero edhe kur efekti marxhinal është i madh. Kjo mund të implikoj që ndonjë kovariant tjetër kap të gjithë informacionin në x _j, kështu që pasi ajo variabël të jetë në model, nuk ka kontribut të x _j në ndryshimin në y . Anasjelltas, efekti unik i x _j mund të jetë i madh ndërsa efekti i tij marxhinal është pothuajse zero. Kjo do të ndodhte nëse kovariantët e tjerë shpjegonin një pjesë të madhe të ndryshimit të y, por ato kryesisht e shpjegojnë ndryshimin në një mënyrë që është plotësuese me atë që kapet nga x _j . Në këtë rast, përfshirja e variablave të tjerë në model zvogëlon pjesën e ndryshueshmërisë së y që nuk lidhet me x _j, duke forcuar kështu marrëdhënien e dukshme me x _j .

Kuptimi i shprehjes "i mbajtur i fiksuar" mund të varet nga mënyra se si vendosen vlerat e variablave parashikuese. Nëse eksperimentuesi cakton drejtpërdrejt vlerat e variablave parashikuese sipas një modeli studimi, krahasimet e interesit mund të korrespondojnë fjalë për fjalë me krahasimet midis njësive, të cilat janë "mbajtur të fiksuara" nga eksperimentuesi. Nga ana tjetër, shprehja "i mbajtur i fiksuar" mund t'i referohet një përzgjedhjeje që ndodh gjatë analizës së të dhënave. Në këtë rast, ne "mbajmë një variabël të fiksuar" duke kufizuar vëmendjen tonë në nëngrupet e të dhënave që kanë të njëjtën vlerë për variablin parashikues të dhënë. Ky është interpretimi i vetëm i shprehjes "i mbajtur i fiksuar" që mund të përdoret në një studim vëzhgues.

Nocioni i një "efekti unik" është i dobishëm kur studiohet një sistem kompleks ku shumë komponentë të ndërlidhur ndikojnë në variablin e përgjigjes. Në disa raste, ai mund të interpretohet fjalë për fjalë si efekti shkakor i një ndërhyrjeje që lidhet me vlerën e një variabli parashikues. Megjithatë, është argumentuar se në shumë situata, analiza e regresionit të shumëfishtë nuk mund të sqarojë marrëdhëniet midis variablave parashikues dhe variablit të përgjigjes, kur parashikuesit janë të lidhur me njëri-tjetrin dhe nuk caktohen sipas një modeli studimi

Zgjerimet

Janë zhvilluar shumë zgjerime të regresionit linear, të cilat lejojnë që disa ose të gjitha supozimet themelore të modelit bazë të zbuten.

Regresioni linear i thjeshtë dhe i shumëfishtë

Shembull i regresionit të thjeshtë linear, i cili ka një ndryshore të pavarur

Rasti më i thjeshtë i një variabli të vetëm parashikues skalare x dhe një variabël të vetme përgjigjeje skalar y njihet si regresion linear i thjeshtë. Kur ky model zgjerohet për të përfshirë disa variabla parashikues dhe/ose variabla me vlerë vektoriale (të shënuara me X të madh), kjo formë quhet regresion linear i shumëfishtë, i njohur edhe si regresion linear me shumë variabla (pa u ngatërruar me regresionin linear multivariat).

Regresioni linear i shumëfishtë përfaqëson një zgjerim të regresionit linear të thjeshtë për situatat ku kemi më shumë se një ndryshore të pavarur. Ai konsiderohet si një rast i veçantë i modeleve lineare të përgjithshme, i kufizuar vetëm në një ndryshore të varur. Forma themelore e modelit të regresionit linear të shumëfishtë është:

$Y_{i}=\beta _{0}+\beta _{1}X_{i1}+\beta _{2}X_{i2}+\ldots +\beta _{p}X_{ip}+\epsilon _{i}$

për çdo vrojtim ${\textstyle i=1,\ldots ,n}$ .

Në formulën e mësipërme ne marrim në konsideratë n vëzhgime të një variabli të varur dhe p variabla të pavarura. Kështu, Yi _është vëzhgimi i i ^- të i variablit të varur, Xij është vëzhgimi i i ^{-të i} variablit të pavarur j = 1, 2, ..., p . Vlerat β _j përfaqësojnë parametrat që duhen vlerësuar, dhe ε _i është gabimi normal i i ^-të i pavarur me ndarje identike.

Në regresionin linear multivariat më të përgjithshëm, për secilën prej variablave të varura kur m > 1 ekziston një ekuacion i ngjashëm me atë të mësipërmin. Këto variabla ndajnë të njëjtin grup ndryshoresh shpjeguese, prandaj modelet e tyre vlerësohen në mënyrë të njëkohshme me njëra-tjetrën.

$Y_{ij}=\beta _{0j}+\beta _{1j}X_{i1}+\beta _{2j}X_{i2}+\ldots +\beta _{pj}X_{ip}+\epsilon _{ij}$

për të gjitha vrojtimet e indeksuara si i = 1, ..., n dhe për të gjitha variablat e varura të indeksuara si j = 1, ... , m .

Shumica e modeleve të regresionit që përdoren në praktikë përfshijnë disa variabla parashikues, prandaj edhe shpjegimet bazë të regresionit linear zakonisht paraqiten duke u mbështetur te modeli i regresionit të shumëfishtë. Duhet theksuar se edhe në këto situata variabli i përgjigjes y mbetet një madhësi skalar. Nga ana tjetër, termi regresion linear multivariat përdoret kur variabla e varur y paraqitet si vektor, pra kur kemi të bëjmë me një version më të përgjithshëm të regresionit linear.

Modele lineare të përgjithshme

Modeli linear i përgjithshëm merr në konsideratë situatën kur variabli i përgjigjes nuk është një skalar (për secilin vëzhgim) por një vektor, y _i . Lineariteti i kushtëzuar i $E(\mathbf {y} \mid \mathbf {x} _{i})=\mathbf {x} _{i}^{\mathsf {T}}B$ supozohet ende, me një matricë B që zëvendëson vektorin β të modelit klasik të regresionit linear. Janë krijuar variante multivariat të metodës së zakonshme të katrorëve më të vegjël (OLS) si edhe të katrorëve më të vegjël të përgjithësuar (GLS). Termi “modele lineare të përgjithshme” përdoret gjithashtu për t’iu referuar “modeleve lineare multivariat”. Megjithatë, këto nuk duhet të ngatërrohen me modelet lineare shumëvariabël, të cilat njihen edhe si “modele lineare të shumëfishta”.

Modele heteroskedastike

Janë krijuar modele të ndryshme që lejojnë heteroskedasticitetin, d.m.th. gabimet për variabla të ndryshme përgjigjeje mund të kenë varianca të ndryshme. Për shembull, metoda e katrorëve të peshëzuar është një qasje për të vlerësuar modelet e regresionit linear në situata kur variablat e përgjigjes mund të kenë varianca të ndryshme të gabimit dhe madje edhe gabime të korreluara mes tyre. (Shih gjithashtu metodën e katrorëve të peshëzuar linearë dhe metodën e përgjithshme të katrorëve më të vegjël.) Gabimet standarde të përshtatura për heteroskedasticitetin përfaqësojnë një teknikë të përmirësuar, e cila përdoret kur gabimet nuk janë të korreluara, por mund të kenë variancë jo të njëtrajtshme.

Modele lineare të përgjithësuara

Modeli linear i përgjithësuar (GLM) paraqet një kornizë të gjerë për modelimin e variablave të përgjigjes që kanë kufizime të caktuara ose që marrin vlera diskrete. Ky model përdoret, për shembull, në situatat e mëposhtme:

• kur duam të modelojmë madhësi pozitive (si çmimet ose popullatat) që mund të variojnë në një interval shumë të gjerë — raste që përshkruhen më mirë përmes një shpërndarje të shtrembëruar, si shpërndarja logaritmike-normale ose shpërndarja Poisson . (Megjithatë, GLM-të zakonisht nuk aplikohen drejtpërdrejt për të dhëna me shpërndarje log-normale; në këto raste, variabli i përgjigjes zakonisht transformohet me funksionin logaritmik.)
• kur duam të modelojmë të dhëna kategorike, si për shembull zgjedhjen e një kandidati në një votim. Këto të dhëna përshkruhen më mirë me një shpërndarje Bernoulli / shpërndarje binomiale për zgjedhje binare, ose me një shpërndarje kategorike ose multinomiale për zgjedhje me shumë opsione, ku ka një numër të caktuar alternativash që nuk mund të renditen në mënyrë kuptimplote.
• kur modelohen të dhëna rendore, si për shembull vlerësimet në një shkallë nga 0 në 5. Rezultatet mund të renditen sipas radhës, por vetë madhësia e numrit nuk ka domethënie absolute. Për shembull, një vlerësim 4 nuk do të thotë domosdoshmërisht “dy herë më i mirë” se një vlerësim 2; ai thjesht tregon se është më i lartë se 2 ose 3, por nuk është aq i lartë sa 5.

Modelet lineare të përgjithësuara mundësojnë përdorimin e një funksioni lidhjeje të përgjithshëm, g, i cili lidhet mesataren e variablave të përgjigjes me parashikuesit:$E(Y)=g^{-1}(XB)$.

Funksioni i lidhjes zakonisht zgjidhet në përputhje me shpërndarjen e variablave të përgjigjes dhe shërben për të transformuar diapazonin linear të parashikuesve, $(-\infty ,\infty )$, në intervalin e përshtatshëm të variablës së përgjigjes.

Disa shembuj të zakonshëm të GLM-ve janë:

• Regresioni i Poisson-it për të dhënat e numërimit.
• Regresioni logjistik dhe regresioni probit për të dhënat binare.
• Regresioni logjistik multinomial dhe regresioni probit multinomial për të dhënat kategorike.
• Regresioni logit i renditur dhe regresioni probit i renditur për të dhënat ordinale.

Modelet me një indeks të vetëm lejojnë një shkallë të caktuar jolineariteti në lidhjen midis x dhe y, duke mbajtur gjithmonë rolin qendror të parashikuesit linear, β′x, ashtu si në modelin klasik të regresionit linear. Në kushte të caktuara, thjesht aplikimi i OLS mbi të dhënat nga një model me një indeks të vetëm mund të japë vlerësime të qëndrueshme për β, deri në një konstantë proporcionaliteti.

Modele lineare hierarkike

Modelet lineare hierarkike (ose regresioni shumënivelësh ) i organizojnë të dhënat në një hierarki regresionesh, për shembull ku A është e regresuar në B dhe B është e regresuar në C. Shpesh përdoret aty ku variablat me interes kanë një strukturë hierarkike natyrore, si në statistikat arsimore, ku nxënësit janë të vendosur në klasa, klasat janë të vendosura në shkolla dhe shkollat janë të vendosura në një grupim administrativ, siç është një distrikt shkollor. Variabli i përgjigjes mund të jetë një masë e arritjeve të nxënësve, siç është një rezultat testi, dhe kovariacione të ndryshme do të mblidheshin në nivelin e klasës, shkollës dhe distriktit shkollor.

Gabimet në variabla

Modelet e gabimeve në variabla (ose "modelet e gabimit të matjes") zgjerojnë modelin tradicional të regresionit linear për të lejuar që variablat parashikuese X të vërehen me gabim. Ky gabim bën që vlerësuesit standardë të β të bëhen të paragjykuar. Në përgjithësi, forma e paragjykimit është një dobësim, që do të thotë se efektet janë të paragjykuara drejt zeros.

Efektet e grupit

Në një model regresioni linear të shumëfishtë

$y=\beta _{0}+\beta _{1}x_{1}+\cdots +\beta _{p}x_{p}+\varepsilon ,$

parametër $\beta _{j}$ e variablit parashikues $x_{j}$ përfaqëson efektin individual të $x_{j}$ Ka një interpretim si ndryshimi i pritur në variablin e përgjigjes $y$ kur $x_{j}$ rritet me një njësi me variablat e tjerë parashikues që mbahen konstante. Kur $x_{j}$ është i lidhur fort me variabla të tjerë parashikues, është e pamundur që $x_{j}$ mund të rritet me një njësi me variabla të tjerë të mbajtur konstant. Në këtë rast, interpretimi i $\beta _{j}$ bëhet problematike pasi bazohet në një kusht të pamundur dhe efekti i $x_{j}$ nuk mund të vlerësohet në mënyrë të izoluar.

Për një grup variablash parashikuese, le të themi, $\{x_{1},x_{2},\dots ,x_{q}\}$, një efekt grupi $\xi (\mathbf {w} )$ përcaktohet si një kombinim linear i parametrave të tyre

$\xi (\mathbf {w} )=w_{1}\beta _{1}+w_{2}\beta _{2}+\dots +w_{q}\beta _{q},$

ku $\mathbf {w} =(w_{1},w_{2},\dots ,w_{q})^{\intercal }$ është një vektor peshe që kënaq ${\textstyle \sum _{j=1}^{q}|w_{j}|=1}$ Për shkak të kufizimit në ${w_{j}}$, $\xi (\mathbf {w} )$ referohet edhe si një efekt grupi i normalizuar. Një efekt grupi $\xi (\mathbf {w} )$ ka një interpretim si ndryshimi i pritur në $y$ kur variablat në grup $x_{1},x_{2},\dots ,x_{q}$ ndryshim sipas sasisë $w_{1},w_{2},\dots ,w_{q}$, përkatësisht, në të njëjtën kohë me variabla të tjerë (jo në grup) të mbajtur konstant. Ai përgjithëson efektin individual të një variabli në një grup variablash në atë ( $i$ ) nëse $q=1$, atëherë efekti i grupit reduktohet në një efekt individual, dhe ( $ii$ ) nëse $w_{i}=1$ dhe $w_{j}=0$ për $j\neq i$, atëherë efekti i grupit gjithashtu reduktohet në një efekt individual. Një efekt grupi $\xi (\mathbf {w} )$ thuhet se është kuptimplotë nëse ndryshimet themelore të njëkohshme të $q$ variablat $(x_{1},x_{2},\dots ,x_{q})^{\intercal }$ është e mundshme.

Efektet në grup ofrojnë një mjet për të studiuar ndikimin kolektiv të variablave parashikuese të lidhura fort në modelet e regresionit linear. Efektet individuale të variablave të tilla nuk janë të përcaktuara mirë pasi parametrat e tyre nuk kanë interpretime të mira. Për më tepër, kur madhësia e mostrës nuk është e madhe, asnjë nga parametrat e tyre nuk mund të vlerësohet me saktësi nga regresioni i katrorëve më të vegjël për shkak të problemit të multikolinearitetit . Megjithatë, ekzistojnë efekte domethënëse në grup që kanë interpretime të mira dhe mund të vlerësohen me saktësi nga regresioni i katrorëve më të vegjël. Një mënyrë e thjeshtë për të identifikuar këto efekte domethënëse në grup është të përdoret një rregullim i të gjitha korrelacioneve pozitive (APC) të variablave të lidhura fort sipas të cilave korrelacionet në çifte midis këtyre variablave janë të gjitha pozitive, dhe të standardizohen të gjitha. $p$ variabla parashikuese në model në mënyrë që të gjitha të kenë mesatare zero dhe gjatësi një. Për ta ilustruar këtë, supozojmë se $\{x_{1},x_{2},\dots ,x_{q}\}$ është një grup variablash të lidhura fort në një rregullim APC dhe se ato nuk janë të lidhura fort me variablat parashikuese jashtë grupit. Le të $y'$ të jesh në qendër $y$ dhe $x_{j}'$ të jetë i standardizuar $x_{j}$ Pastaj, modeli i standardizuar i regresionit linear është

$y'=\beta _{1}'x_{1}'+\cdots +\beta _{p}'x_{p}'+\varepsilon .$

Parametrat $\beta _{j}$ në modelin origjinal, duke përfshirë $\beta _{0}$, janë funksione të thjeshta të $\beta _{j}'$ në modelin e standardizuar. Standardizimi i variablave nuk i ndryshon korrelacionet e tyre, kështu që $\{x_{1}',x_{2}',\dots ,x_{q}'\}$ është një grup variablash të lidhura fort në një rregullim APC dhe ato nuk janë të lidhura fort me variabla të tjerë parashikues në modelin e standardizuar. Një efekt grupi i $\{x_{1}',x_{2}',\dots ,x_{q}'\}$ është

$\xi '(\mathbf {w} )=w_{1}\beta _{1}'+w_{2}\beta _{2}'+\dots +w_{q}\beta _{q}',$

dhe vlerësuesi i tij linear i paanshëm me variancë minimale është

${\hat {\xi }}'(\mathbf {w} )=w_{1}{\hat {\beta }}_{1}'+w_{2}{\hat {\beta }}_{2}'+\dots +w_{q}{\hat {\beta }}_{q}',$

ku ${\hat {\beta }}_{j}'$ është vlerësuesi i katrorëve më të vegjël i $\beta _{j}'$ Në veçanti, efekti mesatar i grupit të $q$ variablat e standardizuara janë

$\xi _{A}={\frac {1}{q}}(\beta _{1}'+\beta _{2}'+\dots +\beta _{q}'),$

e cila ka një interpretim si ndryshimi i pritur në $y'$ kur të gjithë $x_{j}'$ në grupin me korrelacion të fortë rritet me $(1/q)$ të një njësie në të njëjtën kohë me variablat jashtë grupit të mbajtura konstante. Me korrelacione të forta pozitive dhe në njësi të standardizuara, variablat në grup janë afërsisht të barabarta, kështu që ka të ngjarë që ato të rriten në të njëjtën kohë dhe në sasi të ngjashme. Kështu, efekti mesatar i grupit $\xi _{A}$ është një efekt kuptimplotë. Mund të vlerësohet me saktësi nga vlerësuesi i tij linear i paanshëm me variancë minimale ${\textstyle {\hat {\xi }}_{A}={\frac {1}{q}}({\hat {\beta }}_{1}'+{\hat {\beta }}_{2}'+\dots +{\hat {\beta }}_{q}')}$, edhe kur individualisht asnjë nga $\beta _{j}'$ mund të vlerësohet me saktësi nga ${\hat {\beta }}_{j}'$ .

Jo të gjitha efektet e grupit janë kuptimplote ose mund të vlerësohen me saktësi. Për shembull, $\beta _{1}'$ është një efekt grupi special me pesha $w_{1}=1$ dhe $w_{j}=0$ për $j\neq 1$, por nuk mund të vlerësohet me saktësi nga ${\hat {\beta }}'_{1}$ Gjithashtu nuk është një efekt kuptimplotë. Në përgjithësi, për një grup $q$ variabla parashikues të korreluar fort në një rregullim APC në modelin e standardizuar, efektet e grupit vektorët e peshave të të cilave $\mathbf {w}$ janë në ose afër qendrës së simpleksit ${\textstyle \sum _{j=1}^{q}w_{j}=1}$ ( $w_{j}\geq 0$ ) janë kuptimplotë dhe mund të vlerësohen me saktësi nga vlerësuesit e tyre linearë të paanshëm me variancë minimale. Efektet me vektorë peshe larg qendrës nuk janë kuptimplotë pasi vektorë të tillë peshe përfaqësojnë ndryshime të njëkohshme të variablave që shkelin korrelacionet e forta pozitive të variablave të standardizuara në një rregullim APC. Si të tilla, ato nuk janë të mundshme. Këto efekte gjithashtu nuk mund të vlerësohen me saktësi.

Zbatimet e efekteve të grupit përfshijnë (1) vlerësimin dhe nxjerrjen e përfundimeve për efektet domethënëse të grupit në variablin e përgjigjes, (2) testimin për "rëndësinë e grupit" të $q$ variablave nëpërmjet testimit $H_{0}:\xi _{A}=0$ kundrejt $H_{1}:\xi _{A}\neq 0$, dhe (3) karakterizimin e rajonit të hapësirës së variablave parashikuese mbi të cilën parashikimet nga modeli i vlerësuar me metodën e katrorëve më të vegjël janë të sakta.

Një efekt grupi i variablave origjinale $\{x_{1},x_{2},\dots ,x_{q}\}$ mund të shprehet si një konstante shumëzuar me një efekt grupi të variablave të standardizuara $\{x_{1}',x_{2}',\dots ,x_{q}'\}$ E para është kuptimplotë kur e dyta është. Kështu, efektet domethënëse të grupit të variablave origjinale mund të gjenden përmes efekteve domethënëse të grupit të variablave të standardizuara.

Të tjerë

Në teorinë Dempster-Shafer, ose në veçanti në një funksion besimi linear, një model regresioni linear mund të përfaqësohet si një matricë pjesërisht e përfshirë, e cila mund të kombinohet me matrica të ngjashme që përfaqësojnë vëzhgime dhe shpërndarje të tjera normale të supozuara dhe ekuacione gjendjeje. Kombinimi i matricave të përfshirë ose të pa përfshirë ofron një metodë alternative për vlerësimin e modeleve të regresionit linear.

Metodat e vlerësimit

Një numër i madh procedurash janë zhvilluar për vlerësimin e parametrave dhe nxjerrjen e përfundimeve në regresionin linear. Këto metoda ndryshojnë në thjeshtësinë llogaritëse të algoritmeve, praninë e një zgjidhjeje me formë të mbyllur, qëndrueshmërinë në lidhje me shpërndarjet me bisht të rëndë dhe supozimet teorike të nevojshme për të validuar vetitë statistikore të dëshirueshme, të tilla si qëndrueshmëria dhe efikasiteti asimptotik.

Disa nga teknikat më të zakonshme të vlerësimit për regresionin linear janë përmbledhur më poshtë.

Vlerësimi i katrorëve më të vegjël dhe teknikat përkatëse

Ilustrimi i vitit 1886 i Francis Galton mbi korrelacionin midis gjatësive të të rriturve dhe prindërve të tyre. Vëzhgimi se gjatësitë e fëmijëve të rritur tentonin të devijonin më pak nga gjatësia mesatare sesa prindërit e tyre sugjeroi konceptin e " regresionit drejt mesatares ", duke i dhënë regresionit emrin e tij. "Lokusi i pikave tangjenciale horizontale" që kalon nëpër pikat më të majta dhe më të djathta në elipsë (e cila është një kurbë niveli e shpërndarjes normale bivariate të vlerësuar nga të dhënat) është vlerësimi OLS i regresionit të gjatësive të prindërve në gjatësitë e fëmijëve, ndërsa "lokusi i pikave tangjenciale vertikale" është vlerësimi OLS i regresionit të gjatësive të fëmijëve në gjatësitë e prindërve. Boshti kryesor i elipsës është vlerësimi TLS .

Duke supozuar se variablat e pavarura janë ${\vec {x_{i}}}=\left[x_{1}^{i},x_{2}^{i},\ldots ,x_{m}^{i}\right]$ dhe parametrat e modelit janë ${\vec {\beta }}=\left[\beta _{0},\beta _{1},\ldots ,\beta _{m}\right]$, atëherë parashikimi i modelit do të ishte

$y_{i}\approx \beta _{0}+\sum _{j=1}^{m}\beta _{j}\times x_{j}^{i}$.

Nëse ${\vec {x_{i}}}$ është zgjeruar në ${\vec {x_{i}}}=\left[1,x_{1}^{i},x_{2}^{i},\ldots ,x_{m}^{i}\right]$ pastaj $y_{i}$ do të bëhej një prodhim pikash i parametrit dhe vektorëve të pavarur, dmth.

$y_{i}\approx \sum _{j=0}^{m}\beta _{j}\times x_{j}^{i}={\vec {\beta }}\cdot {\vec {x_{i}}}$.

Në konfigurimin e katrorëve më të vegjël, vektori i parametrit optimal përcaktohet si i tillë që minimizon shumën e humbjes mesatare në katror:

${\vec {\hat {\beta }}}={\underset {\vec {\beta }}{\mbox{arg min}}}\,L\left(D,{\vec {\beta }}\right)={\underset {\vec {\beta }}{\mbox{arg min}}}\sum _{i=1}^{n}\left({\vec {\beta }}\cdot {\vec {x_{i}}}-y_{i}\right)^{2}$

Tani duke vendosur variablat e pavarura dhe të varura në matrica $X$ dhe $Y$ përkatësisht, funksioni i humbjes mund të rishkruhet si:

${\begin{aligned}L\left(D,{\vec {\beta }}\right)&=\|X{\vec {\beta }}-Y\|^{2}\\&=\left(X{\vec {\beta }}-Y\right)^{\textsf {T}}\left(X{\vec {\beta }}-Y\right)\\&=Y^{\textsf {T}}Y-Y^{\textsf {T}}X{\vec {\beta }}-{\vec {\beta }}^{\textsf {T}}X^{\textsf {T}}Y+{\vec {\beta }}^{\textsf {T}}X^{\textsf {T}}X{\vec {\beta }}\end{aligned}}$

Meqenëse funksioni i humbjes është konveks, zgjidhja optimale shtrihet në gradientin zero. Gradienti i funksionit të humbjes është (duke përdorur konventën e paraqitjes së Emëruesit ):

${\begin{aligned}{\frac {\partial L\left(D,{\vec {\beta }}\right)}{\partial {\vec {\beta }}}}&={\frac {\partial \left(Y^{\textsf {T}}Y-Y^{\textsf {T}}X{\vec {\beta }}-{\vec {\beta }}^{\textsf {T}}X^{\textsf {T}}Y+{\vec {\beta }}^{\textsf {T}}X^{\textsf {T}}X{\vec {\beta }}\right)}{\partial {\vec {\beta }}}}\\&=-2X^{\textsf {T}}Y+2X^{\textsf {T}}X{\vec {\beta }}\end{aligned}}$

Vendosja e gradientit në zero prodhon parametrin optimal:

${\begin{aligned}-2X^{\textsf {T}}Y+2X^{\textsf {T}}X{\vec {\beta }}&=0\\\Rightarrow X^{\textsf {T}}X{\vec {\beta }}&=X^{\textsf {T}}Y\\\Rightarrow {\vec {\hat {\beta }}}&=\left(X^{\textsf {T}}X\right)^{-1}X^{\textsf {T}}Y\end{aligned}}$

Shënim: ${\hat {\beta }}$ Nëse matrica e përftuar mund të jetë me të vërtetë minimumi lokal, duhet të diferencohet edhe një herë për të përftuar matricën Hessiane dhe për të treguar se ajo është pozitive e përcaktuar. Kjo jepet nga teorema e Gauss-Markov .

Metodat lineare të katrorëve më të vegjël përfshijnë kryesisht:

• Katrorët më të vegjël të zakonshëm
• Katrorët më të vegjël të ponderuar
• Katrorë më të vegjël të përgjithësuar
• Përshtatja lineare e shabllonit

Vlerësimi i gjasës maksimale dhe teknikat përkatëse

Vlerësimi maksimal i gjasave

Vlerësimi i gjasës maksimale mund të kryhet kur dihet se shpërndarja e termave të gabimit i përket një familjeje të caktuar parametrike ƒ _θ të shpërndarjeve të probabilitetit . Kur f _θ është një shpërndarje normale me mesatare zero dhe variancë θ, vlerësimi që rezulton është identik me vlerësimin OLS. Vlerësimet GLS janë vlerësime të gjasës maksimale kur ε ndjek një shpërndarje normale shumëvariabël me një matricë kovariancë të njohur. Le ta shënojmë çdo pikë të të dhënave me $({\vec {x_{i}}},y_{i})$ dhe parametrat e regresionit si ${\vec {\beta }}$, dhe bashkësia e të gjitha të dhënave nga $D$ dhe funksioni i kostos nga $L(D,{\vec {\beta }})=\sum _{i}(y_{i}-{\vec {\beta }}\,\cdot \,{\vec {x_{i}}})^{2}$ .

Siç tregohet më poshtë, i njëjti parametër optimal që minimizon $L(D,{\vec {\beta }})$ arrin edhe probabilitetin maksimal. Këtu supozimi është se variabli i varur $y$ është një ndryshore e rastësishme që ndjek një shpërndarje Gaussiane, ku devijimi standard është i fiksuar dhe mesatarja është një kombinim linear i ${\vec {x}}$ : ${\begin{aligned}H(D,{\vec {\beta }})&=\prod _{i=1}^{n}Pr(y_{i}|{\vec {x_{i}}}\,\,;{\vec {\beta }},\sigma )\\&=\prod _{i=1}^{n}{\frac {1}{{\sqrt {2\pi }}\sigma }}\exp \left(-{\frac {\left(y_{i}-{\vec {\beta }}\,\cdot \,{\vec {x_{i}}}\right)^{2}}{2\sigma ^{2}}}\right)\end{aligned}}$

Tani, duhet të kërkojmë një parametër që maksimizon këtë funksion të gjasës. Meqenëse funksioni logaritmik është në rritje të rreptë, në vend që ta maksimizojmë këtë funksion, mund ta maksimizojmë edhe logaritmin e tij dhe të gjejmë parametrin optimal në këtë mënyrë.

${\begin{aligned}I(D,{\vec {\beta }})&=\log \prod _{i=1}^{n}Pr(y_{i}|{\vec {x_{i}}}\,\,;{\vec {\beta }},\sigma )\\&=\log \prod _{i=1}^{n}{\frac {1}{{\sqrt {2\pi }}\sigma }}\exp \left(-{\frac {\left(y_{i}-{\vec {\beta }}\,\cdot \,{\vec {x_{i}}}\right)^{2}}{2\sigma ^{2}}}\right)\\&=n\log {\frac {1}{{\sqrt {2\pi }}\sigma }}-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}\left(y_{i}-{\vec {\beta }}\,\cdot \,{\vec {x_{i}}}\right)^{2}\end{aligned}}$

Parametri optimal është pra i barabartë me:

${\begin{aligned}{\underset {\vec {\beta }}{\mbox{arg max}}}\,I(D,{\vec {\beta }})&={\underset {\vec {\beta }}{\mbox{arg max}}}\left(n\log {\frac {1}{{\sqrt {2\pi }}\sigma }}-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}\left(y_{i}-{\vec {\beta }}\,\cdot \,{\vec {x_{i}}}\right)^{2}\right)\\&={\underset {\vec {\beta }}{\mbox{arg min}}}\sum _{i=1}^{n}\left(y_{i}-{\vec {\beta }}\,\cdot \,{\vec {x_{i}}}\right)^{2}\\&={\underset {\vec {\beta }}{\mbox{arg min}}}\,L(D,{\vec {\beta }})\\&={\vec {\hat {\beta }}}\end{aligned}}$

Në këtë mënyrë, parametri që maksimizon $H(D,{\vec {\beta }})$ është i njëjtë me atë që minimizon $L(D,{\vec {\beta }})$ Kjo do të thotë që në regresionin linear, rezultati i metodës së katrorëve më të vegjël është i njëjtë me rezultatin e metodës së vlerësimit të gjasës maksimale.

Regresioni i rregulluar

Regresioni Ridgedhe forma të tjera të vlerësimit të penalizuar, siç është regresioni Lasso, fusin qëllimisht paragjykim në vlerësimin e β në mënyrë që të zvogëlojnë ndryshueshmërinë e vlerësimit. Vlerësimet që rezultojnë në përgjithësi kanë gabim mesatar katror më të ulët se vlerësimet OLS, veçanërisht kur është i pranishëm multikolineariteti ose kur mbipërshtatja është problem. Ato përdoren përgjithësisht kur qëllimi është të parashikohet vlera e variablit të përgjigjes y për vlerat e parashikuesve x që nuk janë vëzhguar ende. Këto metoda nuk përdoren aq shpesh kur qëllimi është nxjerrja e përfundimeve, pasi është e vështirë të llogaritet paragjykimi.

Devijimi më i Vogël Absolut

Regresioni i devijimit më të vogël absolut (LAD) është një teknikë vlerësimi e fuqishme në atë që është më pak e ndjeshme ndaj pranisë së vlerave të jashtëzakonshme sesa OLS (por është më pak efikase se OLS kur nuk ka vlera të jashtëzakonshme). Është ekuivalent me vlerësimin e gjasës maksimale sipas një modeli shpërndarjeje Laplas për ε .

Vlerësim Adaptiv

Nëse supozojmë se termat e gabimit janë të pavarur nga regresorët, $\varepsilon _{i}\perp \mathbf {x} _{i}$, atëherë vlerësuesi optimal është MLE me 2 hapa, ku hapi i parë përdoret për të vlerësuar në mënyrë jo parametrike shpërndarjen e termit të gabimit.

Teknika të tjera vlerësimi

Krahasimi i vlerësuesit Theil-Sen (i zi) dhe regresionit linear të thjeshtë (blu) për një grup pikash me vlera të jashtëzakonshme

• Regresioni linear Bayesian zbaton kornizën e statistikave Bayesian në regresionin linear. (Shih gjithashtu regresionin linear shumëvariabël Bayesian .) Në veçanti, koeficientët e regresionit β supozohet të jenë variabla të rastësishëm me një shpërndarje paraprake të specifikuar. Shpërndarja paraprake mund të paragjykojë zgjidhjet për koeficientët e regresionit, në një mënyrë të ngjashme (por më të përgjithshme se) regresioni i kreshtës ose regresioni lasso . Përveç kësaj, procesi i vlerësimit Bayesian nuk prodhon një vlerësim të vetëm pikësor për vlerat "më të mira" të koeficientëve të regresionit, por një shpërndarje të tërë posteriore, duke përshkruar plotësisht pasigurinë që rrethon sasinë. Kjo mund të përdoret për të vlerësuar koeficientët "më të mirë" duke përdorur mesataren, modën, medianën, çdo kuantil (shih regresionin kuantil ) ose çdo funksion tjetër të shpërndarjes posteriore.
• Regresioni kuantil përqendrohet në kuantilet e kushtëzuara të y duke pasur parasysh X-in, në vend të mesatares së kushtëzuar të y duke pasur parasysh X-in . Regresioni linear kuantil modelon një kuantil të veçantë të kushtëzuar, për shembull medianën e kushtëzuar, si një funksion linear β ^T x të parashikuesve.
• Modelet e përziera përdoren gjerësisht për të analizuar marrëdhëniet e regresionit linear që përfshijnë të dhëna të varura kur varësitë kanë një strukturë të njohur. Zbatimet e zakonshme të modeleve të përziera përfshijnë analizën e të dhënave që përfshijnë matje të përsëritura, të tilla si të dhënat gjatësore ose të dhënat e marra nga marrja e mostrave në grup. Ato përgjithësisht përshtaten si modele parametrike, duke përdorur gjasat maksimale ose vlerësimin Bayesian. Në rastin kur gabimet modelohen si variabla normale të rastësishme, ekziston një lidhje e ngushtë midis modeleve të përziera dhe katrorëve më të vegjël të përgjithësuar. Vlerësimi i efekteve fikse është një qasje alternative për të analizuar këtë lloj të dhënash.
• Regresioni i komponentëve kryesorë (PCR) përdoret kur numri i variablave parashikues është i madh, ose kur ekzistojnë korrelacione të forta midis variablave parashikues. Kjo procedurë me dy faza së pari zvogëlon variablat parashikues duke përdorur analizën e komponentëve kryesorë, dhe më pas përdor variablat e reduktuara në një përshtatje regresioni OLS. Ndërsa shpesh funksionon mirë në praktikë, nuk ka asnjë arsye teorike të përgjithshme që funksioni linear më informues i variablave parashikues duhet të qëndrojë midis komponentëve kryesorë dominues të shpërndarjes shumëvariabël të variablave parashikues. Regresioni i pjesshëm i katrorëve më të vegjël është zgjerimi i metodës PCR i cili nuk vuan nga mangësia e përmendur.
• Regresioni me këndin më të vogël është një procedurë vlerësimi për modelet e regresionit linear që është zhvilluar për të trajtuar vektorë kovariantësh me dimensione të larta, potencialisht me më shumë kovariante sesa vëzhgime.
• Vlerësuesi Theil-Sen është një teknikë e thjeshtë vlerësimi e fuqishme që zgjedh pjerrësinë e vijës së përshtatjes si medianën e pjerrtësive të vijave përmes çifteve të pikave të mostrës. Ai ka veti të ngjashme të efikasitetit statistikor me regresionin e thjeshtë linear, por është shumë më pak i ndjeshëm ndaj vlerave të jashtëzakonshme.
• Janë prezantuar teknika të tjera të fuqishme vlerësimi, duke përfshirë qasjen e mesatares së shkurtuar α, dhe vlerësuesit L-, M-, S- dhe R.

Aplikacionet

Regresioni linear përdoret gjerësisht në shkencat biologjike, të sjelljes dhe shoqërore për të përshkruar marrëdhëniet e mundshme midis variablave. Ai renditet si një nga mjetet më të rëndësishme të përdorura në këto disiplina.

Vija e trendit

Një vijë trendi përfaqëson një trend, lëvizjen afatgjatë në të dhënat e serive kohore pasi komponentët e tjerë janë marrë në konsideratë. Ajo tregon nëse një grup i caktuar të dhënash (p.sh. PBB-ja, çmimet e naftës ose çmimet e aksioneve) është rritur ose ulur gjatë periudhës kohore. Një vijë trendi mund të vizatohet thjesht me sy përmes një grupi pikash të dhënash, por më saktë pozicioni dhe pjerrësia e tyre llogariten duke përdorur teknika statistikore si regresioni linear. Vijat e trendit zakonisht janë vija të drejta, megjithëse disa variacione përdorin polinome të shkallës më të lartë në varësi të shkallës së lakimit të dëshiruar në vijë.

Vijat e trendit përdoren ndonjëherë në analizat e biznesit për të treguar ndryshimet në të dhëna me kalimin e kohës. Kjo ka avantazhin e thjeshtësisë. Vijat e trendit përdoren shpesh për të argumentuar se një veprim ose ngjarje e caktuar (siç është trajnimi ose një fushatë reklamuese) shkaktoi ndryshime të vëzhguara në një moment në kohë. Kjo është një teknikë e thjeshtë dhe nuk kërkon një grup kontrolli, dizajn eksperimental ose një teknikë të sofistikuar analize. Megjithatë, ajo vuan nga mungesa e vlefshmërisë shkencore në rastet kur ndryshime të tjera të mundshme mund të ndikojnë në të dhëna.

Epidemiologjia

Provat e hershme që lidhin pirjen e duhanit me vdekshmërinë dhe morbiditetin erdhën nga studimet vëzhguese që përdorin analizën e regresionit. Për të zvogëluar korrelacionet e rreme kur analizojnë të dhënat vëzhguese, studiuesit zakonisht përfshijnë disa variabla në modelet e tyre të regresionit përveç variablit me interes parësor. Për shembull, në një model regresioni në të cilin pirja e duhanit është variabli i pavarur me interes parësor dhe variabli i varur është jetëgjatësia e matur në vite, studiuesit mund të përfshijnë arsimin dhe të ardhurat si variabla shtesë të pavarura, për të siguruar që çdo efekt i vëzhguar i pirjes së duhanit në jetëgjatësi nuk është për shkak të atyre faktorëve të tjerë socio-ekonomikë . Megjithatë, nuk është kurrë e mundur të përfshihen të gjitha variablat e mundshme ngatërruese në një analizë empirike. Për shembull, një gjen hipotetik mund të rrisë vdekshmërinë dhe gjithashtu të bëjë që njerëzit të pinë më shumë duhan. Për këtë arsye, provat e kontrolluara të rastësishme shpesh janë në gjendje të gjenerojnë prova më bindëse të marrëdhënieve shkakësore sesa mund të merren duke përdorur analizat e regresionit të të dhënave vëzhguese. Kur eksperimentet e kontrolluara nuk janë të realizueshme, variantet e analizës së regresionit, siç është regresioni i variablave instrumentale, mund të përdoren për të provuar të vlerësojnë marrëdhëniet shkakësore nga të dhënat vëzhguese.

Financë

Modeli i çmimit të aseteve kapitale përdor regresionin linear, si dhe konceptin e betës për të analizuar dhe përcaktuar sasinë e rrezikut sistematik të një investimi. Kjo vjen direkt nga koeficienti beta i modelit të regresionit linear që lidh kthimin e investimit me kthimin e të gjitha aseteve me risk.

Ekonomi

Regresioni linear është mjeti empirik mbizotërues në ekonomi . Për shembull, përdoret për të parashikuar shpenzimet e konsumit, shpenzimet për investime fikse, investimet në inventar, blerjet e eksporteve të një vendi, shpenzimet për importe, kërkesën për të mbajtur asete likuide, kërkesën për punë, dhe ofertën e punës .

Shkenca mjedisore

Regresioni linear gjen zbatim në një gamë të gjerë aplikimesh të shkencës mjedisore, siç janë përdorimi i tokës, sëmundjet infektive, dhe ndotja e ajrit . Për shembull, regresioni linear mund të përdoret për të parashikuar efektet në ndryshim të ndotjes nga makinat. Një shembull i dukshëm i këtij zbatimi në sëmundjet infektive është strategjia e rrafshimit të kurbës, e theksuar në fillim të pandemisë COVID-19, ku zyrtarët e shëndetit publik u morën me të dhëna të pakta mbi individët e infektuar dhe modele të sofistikuara të transmetimit të sëmundjeve për të karakterizuar përhapjen e COVID-19.

Shkenca e ndërtimit

Regresioni linear përdoret zakonisht në studimet në fushën e shkencës së ndërtimit për të nxjerrë karakteristikat e banorëve të ndërtesës. Në një studim në fushën e rehatisë termike, shkencëtarët e ndërtimit zakonisht u kërkojnë banorëve votat e ndjesisë termike, të cilat variojnë nga -3 (ndjesia e të ftohtit) në 0 (neutral) deri në +3 (ndjesia e të nxehtit), dhe matin të dhënat e temperaturës përreth banorëve. Një temperaturë neutrale ose e rehatisë mund të llogaritet bazuar në një regresion linear midis votës së ndjesisë termike dhe temperaturës së brendshme, dhe vendosjen e votës së ndjesisë termike si zero. Megjithatë, ka pasur një debat mbi drejtimin e regresionit: regresioni i votave të ndjesisë termike (boshti y) kundrejt temperaturës së brendshme (boshti x) ose e kundërta: regresioni i temperaturës së brendshme (boshti y) kundrejt votave të ndjesisë termike (boshti x).

Mësimi makinerik

Regresioni linear luan një rol të rëndësishëm në nënfushën e inteligjencës artificiale të njohur si mësim makinerik . Algoritmi i regresionit linear është një nga algoritmet themelore të mbikëqyrura të mësimit makinerik për shkak të thjeshtësisë së tij relative dhe vetive të njohura.

Histori

Isak Njutonit i njihet merita për shpikjen e "një teknike të caktuar të njohur sot si analiza e regresionit linear " në punën e tij mbi ekuinokset në vitin 1700, dhe shkroi të parin nga dy ekuacionet normale të metodës së zakonshme të katrorëve më të vegjël . Regresioni linear i katrorëve më të vegjël, si një mjet për të gjetur një përshtatje të mirë lineare të përafërt me një grup pikash, u krye nga Legendre (1805) dhe Gauss (1809) për parashikimin e lëvizjes planetare. Quetelet ishte përgjegjës për ta bërë procedurën të njohur dhe për përdorimin e saj gjerësisht në shkencat shoqërore.