Jump to content

Kufiri Cramér–Rao

Nga Wikipedia, enciklopedia e lirë
Ilustrimi i kufirit Cramer-Rao: nuk ka asnjë vlerësues të paanshëm që është në gjendje të vlerësojë parametrin (2-dimensional) me më pak variancë se lidhja Cramer-Rao, e ilustruar si elipsë e devijimit standard .

teorinë e vlerësimit dhe statistikë, kufiri Cramér–Rao ( CRB ) lidhet me vlerësimin e një parametri përcaktues (fiks, megjithëse i panjohur). Rezultati është emërtuar për nder të Harald Cramérit dhe C. R. Raos, [1] [2] [3] por gjithashtu është nxjerrë në mënyrë të pavarur nga Maurice Fréchet, [4] Georges Darmois, [5] dhe nga Alexander Aitken dhe Harold Silverstone . [6] [7] Njihet gjithashtu si kufiri i poshtëm Fréchet-Cramér–Rao ose Fréchet-Darmois-Cramér-Rao. Ai pohon se saktësia e çdo vlerësuesi të paanshëm është e shumta sainformacioni i Fisherit ; ose (në mënyrë të njëvlerëshme) reciprokja e informacionit Fisher është një kufi më i ulët në variancën e tij.

Një vlerësues i paanshëm që e arrin këtë kufi thuhet se është (plotësisht) efikas . Një zgjidhje e tillë arrin gabimin në katror të mesataruar më të ulët të mundshëm midis të gjitha metodave të paanshme, dhe për këtë arsye është vlerësuesi minimal i variancës së paanshme (VMVP). Megjithatë, në disa raste, nuk ekziston asnjë teknikë e paanshme që arrin kufirin. Kjo mund të ndodhë ose nëse për çdo vlerësues të paanshëm, ekziston një tjetër me një variancë rreptësisht më të vogël, ose nëse ekziston një vlerësues MVU, por varianca e tij është rreptësisht më e madhe se anasjellta e informacionit Fisher.

Kufiri Cramér–Rao mund të përdoret gjithashtu për të kufizuar variancën e vlerësuesve biased të paragjykimit të dhënë. Në disa raste, një qasje e njëanshme mund të rezultojë në një variancë dhe një gabim mesatar në katror që janë below kufirin e poshtëm të paanshëm Cramér–Rao; shih zhvendosjen e vlerësuesit .

Rasti skalar i paanshëm

[Redakto | Redakto nëpërmjet kodit]

Supozoni është një parametër i panjohur përcaktues i cili duhet vlerësuar nga vëzhgimet (matjet) e pavarura të , secila nga një shpërndarje sipas disa funksioneve të densitetit të probabilitetit . Varianca e çdo vlerësuesi të paanshëm e më pas kufizohet [8] nga ana reciproke e informacionit Fisher  :

ku informacioni i Fisherit është përcaktuar nga

dhe është logaritmi natyror i funksionit të gjasave për një kampion të vetëm dhe tregon vlerën e pritur në lidhje me densitetin e . Nëse nuk tregohet, në atë që vijon, pritshmëria merret në lidhje me .

Nëse është dy herë i diferencueshëm dhe ekzistojnë kushte të caktuara të rregullsisë, atëherë informacioni i Fisherit mund të përcaktohet gjithashtu si më poshtë: [9]

Efikasiteti i një vlerësuesi të paanshëm mat sa afër është varianca e këtij vlerësuesi me këtë kufi të poshtëm; efikasiteti i vlerësuesit përcaktohet si

ose variancën minimale të mundshme për një vlerësues të paanshëm pjesëtuar me variancën e tij të tanishme. Pra, kufiri i poshtëm Cramér–Rao jep

.

Rasti i përgjithshëm skalar

[Redakto | Redakto nëpërmjet kodit]

Një formë më e përgjithshme e kufirit mund të merret duke marrë parasysh një vlerësues të njëanshëm , pritshmëria e të cilit nuk është por një funksion i këtij parametri, të themi, . Prandaj në përgjithësi nuk është e barabartë me 0. Në këtë rast, kufiri jepet nga

ku është derivat i (nga ), dhe është informacioni i Fisherit i përcaktuar më sipër.

Rasti me shumë variacione

[Redakto | Redakto nëpërmjet kodit]

Zgjerimi i lidhjes Cramér–Rao në disa parametra, përcaktoni një vektor kolone parametri

me funksionin e densitetit të probabilitetit që plotëson dy kushtet e rregullsisë më poshtë.

Matrica e informacionit Fisher është a matricë me element përcaktuar si

Le të jetë një vlerësues i çdo funksioni vektorial të parametrave, , dhe shënoni vektorin e tij të pritjes nga . Lidhja Cramér-Rao më pas thotë se matrica e kovariancës kënaq

,

ku

  • Mosbarazimi i matricës kuptohet se matrica është e gjysmëpërcaktuar pozitive, dhe
  • është matrica jakobiane e së cilës elementi jepet nga .


Nëse është një vlerësues i paanshëm i (dmth, ), atëherë kufiri Cramér–Rao reduktohet në

Kushtet e rregullsisë

[Redakto | Redakto nëpërmjet kodit]

Kufiri mbështetet në dy kushte të dobëta rregullsie mbi funksionin e densitetit të probabilitetit, , dhe vlerësuesin  :

  • Informacioni i Fisherit është gjithmonë i përcaktuar; në mënyrë të barabartë, për të gjitha sikurse ,
  • Veprimet e integrimit në lidhje me dhe diferencimi në lidhje me mund të ndërrohen në pritshmërinë e  ; kjo eshte, 

Një provë e pavarur për rastin e përgjithshëm skalar

[Redakto | Redakto nëpërmjet kodit]

Supozojmë se është një vlerësues me pritshmëri (bazuar në vëzhgimet ), pra atë . Qëllimi është që ta vërtetojmë këtë për të gjithë ,

Le të jetë një ndryshore e rastit me funksion të densitetit të probabilitetit . Këtu është një statistikë, e cila përdoret si vlerësues për . Përcaktoni si rezultat :

ku rregulli i zinxhirit përdoret në barazinë përfundimtare të mësipërme. Pastaj pritshmëria e , shkruar , është zero. Kjo është për shkak se:

ku derivati integral dhe i pjesshëm kanë këmbyer vendet (justifikohet me kushtin e dytë të rregullsisë).


Nëse marrim parasysh kovariancën e dhe , ne kemi , sepse . Duke e zgjeruar këtë shprehje kemi

përsëri sepse veprimet e integrimit dhe diferencimit ndërrohen (kushti i dytë).

Mosbarazimi Cauchy–Schwarz tregon këtë:

prandaj

që vërteton propozimin.

Shpërndarja normale me shumë variacione

[Redakto | Redakto nëpërmjet kodit]

Për rastin e një shpërndarje normale <i id="mwATI">d</i> -variate

matrica e informacionit të Fisherit ka elemente [10]

ku "tr" është gjurma .

Për shembull, le të jetë një shembull i vëzhgime të pavarura me mesatare të panjohur dhe variancën e njohur .

Pastaj informacioni i Fisher është një skalar i dhënë nga

dhe kështu kufiri Cramér–Rao jepet si

Variancë normale me mesataren e njohur

[Redakto | Redakto nëpërmjet kodit]

Supozoni se X është një ndryshore e rastit e shpërndarë normalisht me mesataren e njohur dhe variancë të panjohur . Merrni parasysh statistikën e mëposhtme:

Atëherë T është i paanshëm për , si . Cila është varianca e T ?

(barazia e dytë rrjedh drejtpërdrejt nga përkufizimi i variancës). Termi i parë është momenti i katërt në lidhje me mesataren dhe ka vlerë  ; i dyti është katrori i variancës, ose . Kështu

Tani, cili është informacioni i Fisher në vëzhgime. Kujtojmë se rezultati përkufizohet si

ku është funksioni i përgjasisë . Kështu në këtë rast,

ku barazia e dytë është nga llogaritja elementare. Kështu, informacioni në një vëzhgim të vetëm është vetëm minus pritshmëria e derivatit të , ose

Kështu informacioni në një mostër të vëzhgimet e pavarura janë të drejta herë kjo, ose

Kufiri Cramér–Rao thotë se

Në këtë rast, mosbarazimi është i ngopur (barazia arrihet), duke treguar se vlerësuesi është efikas .

Megjithatë, ne mund të arrijmë një gabim mesatar më të ulët në katror duke përdorur një vlerësues të njëanshëm. Vlerësuesi

padyshim ka një variancë më të vogël, që është në fakt

Anshmëria e tij është

pra gabimi mesatar i tij në katror është

që është më pak se ajo që vlerësuesit e paanshëm mund të arrijnë sipas kufirit Cramér–Rao.

  1. ^ Cramér, Harald (1946). Mathematical Methods of Statistics. Princeton, NJ: Princeton Univ. Press. ISBN 0-691-08004-6. OCLC 185436716. {{cite book}}: Mungon ose është bosh parametri |language= (Ndihmë!)
  2. ^ Rao, Calyampudi Radakrishna (1945). "Information and the accuracy attainable in the estimation of statistical parameters". Bulletin of the Calcutta Mathematical Society. Calcutta Mathematical Society. 37: 81–89. MR 0015748. {{cite journal}}: Mungon ose është bosh parametri |language= (Ndihmë!)
  3. ^ Rao, Calyampudi Radakrishna (1994). S. Das Gupta (red.). Selected Papers of C. R. Rao. New York: Wiley. ISBN 978-0-470-22091-7. OCLC 174244259. {{cite book}}: Mungon ose është bosh parametri |language= (Ndihmë!)
  4. ^ Fréchet, Maurice (1943). "Sur l'extension de certaines évaluations statistiques au cas de petits échantillons". Rev. Inst. Int. Statist. 11 (3/4): 182–205. doi:10.2307/1401114. JSTOR 1401114. {{cite journal}}: Mungon ose është bosh parametri |language= (Ndihmë!)
  5. ^ Darmois, Georges (1945). "Sur les limites de la dispersion de certaines estimations". Rev. Int. Inst. Statist. 13 (1/4): 9–15. doi:10.2307/1400974. JSTOR 1400974. {{cite journal}}: Mungon ose është bosh parametri |language= (Ndihmë!)
  6. ^ Aitken, A. C.; Silverstone, H. (1942). "XV.—On the Estimation of Statistical Parameters". Proceedings of the Royal Society of Edinburgh Section A: Mathematics (në anglisht). 61 (2): 186–194. doi:10.1017/S008045410000618X. ISSN 2053-5902.
  7. ^ Shenton, L. R. (1970). "The so-called Cramer–Rao inequality". The American Statistician. 24 (2): 36. JSTOR 2681931. {{cite journal}}: Mungon ose është bosh parametri |language= (Ndihmë!)
  8. ^ Nielsen, Frank (2013). "Cramér-Rao Lower Bound and Information Geometry". Connected at Infinity II. Texts and Readings in Mathematics. Vëll. 67. Hindustan Book Agency, Gurgaon. fq. 18-37. doi:10.1007/978-93-86279-56-9_2. ISBN 978-93-80250-51-9. {{cite book}}: Mungon ose është bosh parametri |language= (Ndihmë!)
  9. ^ Suba Rao. "Lectures on statistical inference" (PDF). Arkivuar nga origjinali (PDF) më 2020-09-26. Marrë më 2020-05-24. {{cite web}}: Mungon ose është bosh parametri |language= (Ndihmë!)
  10. ^ Kay, S. M. (1993). Fundamentals of Statistical Signal Processing: Estimation Theory. Prentice Hall. fq. 47. ISBN 0-13-042268-1. {{cite book}}: Mungon ose është bosh parametri |language= (Ndihmë!)