Në teorinë e informacionit, entropia e një ndryshoreje të rastit është niveli mesatar i "informacionit", "befasisë" ose "pasigurisë" i natyrshëm për rezultatet e mundshme të ndryshores. Jepet një ndryshore e rastit diskrete , e cila merr vlera në bashkësinë dhe shpërndahet sipas :
ku tregon shumën mbi vlerat e mundshme të ndryshores. Zgjedhja e bazës për , logaritmi, ndryshon për zbatime të ndryshme. Baza 2 jep njësinë e biteve (ose " shannons "), ndërsa baza e jep "njësi natyrore" nat, dhe baza 10 jep njësi "dits", "bans" ose " hartleys ". Një përkufizim i njëvlershëm i entropisë është vlera e pritur e vetë-informimit të një ndryshoreje. [1]
Koncepti i entropisë së informacionit u prezantua nga Claude Shannon në punimin e tij të vitit 1948 " A Mathematical Teory of Communication ", [2][3] dhe referohet gjithashtu si entropia Shannon .
Entropia në teorinë e informacionit është drejtpërdrejt analoge me entropinë në termodinamikën statistikore . Analogjia rezulton kur vlerat e ndryshores së rastësishme përcaktojnë energjitë e mikrogjendjeve, kështu që formula e Gibbs-it për entropinë është zyrtarisht identike me formulën e Shannon-it. Entropia ka lidhje me fusha të tjera të matematikës si kombinatorika dhe mësimi makinerik . Përkufizimi mund të rrjedhë nga një grup aksiomash që vërtetojnë se entropia duhet të jetë një masë se sa informative është rezultati mesatar i një ndryshoreje. Për një ndryshore të rastit të vazhdueshme, entropia diferenciale është analoge me entropinë.
I emëruar sipas teoremës Η të Boltzmann-it, Shannon përcaktoi entropinë (gërma e madhe greke eta ) të një ndryshoreje diskrete tërastit., e cila merr vlera në alfabet dhe shpërndahet sipas sikurse :
Merrni parasysh hedhjen e një monedhe me probabilitete të njohura, jo domosdoshmërisht të ndershme, për të dalë kokë ose pil; ky mund të modelohet si një proces Bernoulli .
Entropia e rezultatit të panjohur të hedhjes tjetër të monedhës maksimizohet nëse monedha është e ndershme (d.m.th., nëse koka dhe pili kanë të dyja probabilitet të barabartë 1/2). Kjo është situata e pasigurisë maksimale pasi është më e vështirë të parashikohet rezultati i hedhjes së radhës; rezultati i çdo hedhjeje të monedhës jep një pjesë të plotë të informacionit. Kjo është për shkak se
Megjithatë, nëse e dimë se monedha nuk është e drejtë, por del lart ose bisht me probabilitete p dhe q, ku p ≠ q, atëherë ka më pak pasiguri. Sa herë që hidhet, njëra anë ka më shumë gjasa të dalë lart se tjetra. Pasiguria e reduktuar matet në një entropi më të ulët: mesatarisht çdo hedhje e monedhës jep më pak se një pjesë të plotë të informacionit. Për shembull, nëse p = 0.7, atëherë
^ abThomas M. Cover; Joy A. Thomas (1991). Elements of Information Theory. Hoboken, New Jersey: Wiley. ISBN978-0-471-24195-9. {{cite book}}: Mungon ose është bosh parametri |language= (Ndihmë!)Gabim referencash: Invalid <ref> tag; name "cover1991" defined multiple times with different content