Informacioni i Fisherit

Në statistikën matematikore, informacioni i Fisherit (nganjëherë i quajtur thjesht informacion ) është një mënyrë për të matur sasinë e informacionit që një ndryshore e rastësishme e vëzhgueshme $X$ mbart për një parametër të panjohur $\vartheta$ të një shpërndarjeje që modelon $X$. Formalisht, është varianca e rezultatit, ose pritja matematike e informacionit të vëzhguar .

Roli i informacionit të Fisherit në teorinë asimptotike të vlerësimit të përgjasisë maksimale u theksua nga statisticieni Ronald Fisher (pas disa rezultateve fillestare nga Francis Ysidro Edgeworth ). Matrica e informacionit Fisher përdoret për të llogaritur matricat e kovariancës të lidhura me vlerësimet e përgjasisë maksimale . Mund të përdoret gjithashtu në formulimin e statistikave të testimit, siç është testi Wald .

Sistemet statistikore të natyrës shkencore (fizike, biologjike, etj.) funksionet e përgjasisë të së cilave i binden invariancës së zhvendosjes, është treguar se i binden informacionit maksimal të Fisherit. Niveli i maksimumit varet nga natyra e kufizimeve të sistemit.

Përkufizimi

Informacioni i Fisherit është një mënyrë për të matur sasinë e informacionit që një ndryshore e rastit e vëzhgueshme $X$ mbart një parametër të panjohur $\theta$ mbi të cilën probabiliteti i $X$ varet. Le $f(X;\theta )$ të jetë funksioni i dendësisë së probabilitetit (ose funksioni i masës së probabilitetit ) për $X$ të kushtëzuara nga vlera e $\theta$ . Ai përshkruan probabilitetin që ne të vëzhgojmë një rezultat të caktuar $X$, duke pasur parasysh një vlerë të njohur të $\theta$ . Nëse $f$ është me kulm të mprehtë në lidhje me ndryshimet në $\theta$, është e lehtë të tregohet vlera "e saktë" e $\theta$ nga të dhënat, ose në mënyrë të njëvlershme, që e dhëna $X$ jep shumë informacion në lidhje me parametrin $\theta$ . Nëse $f$ është i sheshtë dhe i shtrirë, atëherë do të duheshin shumë popullime të $X$ për të vlerësuar vlerën e tanishme "të vërtetë" të $\theta$ që do të përftoheshin duke përdorur të gjithë popullatën që po ekzaminohet. Kjo sugjeron studimin e një lloj variance në lidhje me $\theta$ .

Formalisht, derivati i pjesshëm në lidhje me $\theta$ i logaritmit natyror të funksionit të përgjasisë quhet pikë . Në kushte të caktuara rregullsie, nëse $\theta$ është parametri i vërtetë (d.m.th $X$ në fakt shpërndahet si $f(X;\theta )$ ), mund të tregohet se vlera e pritur ( momenti i parë ) i rezultatit, e vlerësuar me vlerën e vërtetë të parametrit $\theta$, është 0:

${\begin{aligned}\operatorname {E} \left[\left.{\frac {\partial }{\partial \theta }}\log f(X;\theta )\,\,\right|\,\,\theta \right]={}&\int _{\mathbb {R} }{\frac {{\frac {\partial }{\partial \theta }}f(x;\theta )}{f(x;\theta )}}f(x;\theta )\,dx\\[6pt]={}&{\frac {\partial }{\partial \theta }}\int _{\mathbb {R} }f(x;\theta )\,dx\\[6pt]={}&{\frac {\partial }{\partial \theta }}1\\[6pt]={}&0.\end{aligned}}$

Informacioni Fisher është përcaktuar të jetë varianca e rezultatit:

${\mathcal {I}}(\theta )=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}\,\,\right|\,\,\theta \right]=\int _{\mathbb {R} }\left({\frac {\partial }{\partial \theta }}\log f(x;\theta )\right)^{2}f(x;\theta )\,dx,$

Vini re se $0\leq {\mathcal {I}}(\theta )$ . Një ndryshore e rastit që përmban informacion të lartë Fisher nënkupton që vlera absolute e pikësimit/rezultatit është shpesh e lartë. Informacioni Fisher nuk është një funksion i një vëzhgimi të veçantë, pasi ndryshorja e rastit $X$ është vlerësuar mesatarisht.

Nëse $\log f(x;\theta )$ është dy herë i diferencueshëm në lidhje me $\theta$, dhe në kushte të caktuara rregullsie, atëherë informacioni i Fisherut mund të shkruhet gjithashtu si

${\mathcal {I}}(\theta )=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )\,\,\right|\,\,\theta \right],$

meqënëse

${\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )={\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}-\left({\frac {{\frac {\partial }{\partial \theta }}f(X;\theta )}{f(X;\theta )}}\right)^{2}={\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}-\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}$

dhe

$\operatorname {E} \left[\left.{\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}\,\,\right|\,\,\theta \right]={\frac {\partial ^{2}}{\partial \theta ^{2}}}\int _{\mathbb {R} }f(x;\theta )\,dx=0.$