Informo-teorio

De Wikipedio
Irez ad: pilotado, serchez

Informo-teorio interesas pri sistemo di komuniko e di lia efiko. La nociono di sistemo di komuniko esinta larja, ol esas mem di l'informoteorio.

Ca teorio originis de la verki da Claude Shannon, qua konsideresas lua kreinto, pro sua artiklo A Mathematical Theory of Communications publikigita en 1948.

Inter l'importanta branchi, on povas citar :

Exempli pri informo[redaktar | redaktar fonto]

Informo or informeso indikas, inter ensemblo di eventi, un o multi posibla eventi.

Tale, l'informo diminutas la necerteso. En decido-teorio, on konsideras mem ke ol ne apelendas informo ke to qua esas posible di havas efekto sur nia decidi (poke di kozi en jurnalo esas a ta konto di informi ..).

Unesma exemplo[redaktar | redaktar fonto]

Sive fonto povinta produktar di integra tensioni di 1 a 10 volti e recepciono qua mezuros ta fluo. Ante la sendo di elektra fluo per la fonto, la recepciono ne havas ideo de la tensiono qua esos livrar per la fonto.

En revancho, foye la fluo emisita e recepcionita, la ne-certeso sur la fluo emisita diminutas. L’informo-teorio konsideras ke le recepciono posedas ne-certeso di10 standi.

Duesma exemplo[redaktar | redaktar fonto]

Libraro posedas granda nombro di labori, di revui, di libri e di vorto-libri. Ni serchas kompleta kurso sur la informo-teorio. Tota unesme, ol esas logika ke ni ne trovesos ta dokumentaro en verki di arti o literaturo; ni venas do obtenar neformala informeso qua diminutos nia tempo por inquestar.

Neperfekta informeso[redaktar | redaktar fonto]

Sive realizisto do me amas du filmo pri tri. kritikisto ke me konocas bona kritikegas sua lasta filmo e me savas ke me partigas mezavalore l’analizi di ta kritikisto quar foye pri kin. Ta kritikon me deskonsilos di irar vidar la filmo? To esas ibe la centrala questiono di bayesiala infero, qua quantesas anke en biteti.

Atencez a ne konfundar[redaktar | redaktar fonto]

Oportas min di biteti per skribar ‘’hundo’’ ke ‘’mamifero’’. Tamen l’indiko ‘’Medoro esas hundo’’ kontenas bona ‘’plu’’ d’informo ke l’indiko ‘’Medoro esas mamifero’’: la kontenita di semantikala informo di sendajo dependas di kontexto. En fakto, to esas la paro sendajo + kontexto qua konstituas la vera porto di informo, e nul tempe la sendajo sole (videz Paradoxo di kompresilo).

mezuro dil quanteso di informo[redaktar | redaktar fonto]

Quanteso di informo : elementala kazo[redaktar | redaktar fonto]

Konsideras N buxi numerizita de 1 til N. Individuo A havas celita segun la chanco un objekto en un di ta buxi. Individuo B devas truvar la numero dil buxo ube esas celita l’objekto. Per ica, il havas la yuro di pozar di questioni a l’individuo A a qua il-ca devas respondar sen nientio per YES o NO. Ma omna questiono pozita reprezentas kusto a pagar per l’individuo B (per exemplo un euro). Individuo C savas en kel buxo esas celita l’objekto. Il havas la posiblo di vendar ta informo a l’individuo B. B acepteros ta vendo-kontrato ke se la preco di C esas infra od egala a mezavalora kosto ke B devrus spensar per truvar la buxo en pozar di questioni a A. L’informo detenita per C havas do certa preco. Ta preco reprezentas la quanto di informo per la konoco di la bona buxo : to esas la mezavalora nombro di questioni a pozar per identigar ta buxo. Ni notas lu I.

Exemplo:

Kad N = 1, I = 0. To esas sole un buxo. Irga questiono esas necesa.

Kad N = 2, I = 1. On demandas se la bona buxo esas la buxo n°1. La respondo Yes o No determinas lore sen ambigueso kel esas la sercha buxo.

Kad N = 4, I = 2. On demandas se la buxo permisas lors d’eliminar du di buxi ed ol suficas di lasta questiono per truvar kel esas la bona buxo per du.

Kad N = 2k, I = k. On skribas la numeri di buxi en bazo 2. Li numeri havas ad-maxime k binara cifri, e per omnu di rango di ta cifri, on demandas se la sercha buxo posedas la cifro 0 o la cifro 1. En k questioni, on havas determinas omna binara cifri del bona buxo. To rivenas anke a pozar k questioni, omna questiono havinta per skopo di divisar sequence la nombro di konsiderita buxi per 2 (metodo di dikotomio).

On esas do amenita a pozar I = log(N), ube log esas la logaritmo en bazo 2, ma ta figuro ne produktas su ke en la kazo di N equiprobabla evenementi.

Quanteso di informo relata a evenemento[redaktar | redaktar fonto]

Supozas nun ke la buxi sive kolorita, e ke to esas n reda buxi. Supozas anke ke C savas ke la buxo ube esas celita l’objekto esas reda. Qual esas la preco di ta informo? Sen ta informo, le preco a pagar ne esas pluse ke log(n). La preco dil informo ‘’la sercha buxo esas reda’’ esas do log(N) - log(n) = log N/n.

On definas tale la quanteso di informo kom kreskanta funciono di kom :

  • la nombro di posibla evenementi
  • la kardinala di sub-ensemblo delimita per l’informo.

Por mezurar ta quanteso d’informo, on pozas :

esas expresas en biteto (o logon, uneso introdukta per Shannon, di qua, en la fakti, biteto esas devenita sinonimo), o bona en nat se on uzas la naturala logaritmo vice di logaritmo di bazo 2.

Ta defino justifikas su nam ol volas la sequa propraji :

  1. L'informo esas inkluzite en 0 e ∞.
  2. Un evenemento nam poko di probableso reprezentas multo di informo, (exemplo: « nivas en januaro » kontenas multo min d’informo ke « nivas en agosto » se nur ke on sive en la norda misfero)
  3. L'informo devas esar adicionala.

Remarko : kande on dispozar di multa informi, la quanteso di blokala informo ne esas la sumo di quanteso d’informo. To esas devita a la prezenteso di logaritmo. Videz anke: reciproka informo, komuna informo a du sendaji, qua, en l’idajo, explikas ta « sub-adicionala » dil informo.


Entropio, formulo di Shannon[redaktar | redaktar fonto]

Supozas nun ke la buxi sive di diversa kolori : n1 buxi de koloro C1, n2 buxi de koloro C2, ..., nk buxi de koloro Ck, kon n1 + n2 + ... + nk = N. La persono C savas di qual koloro esas la sercha buxo. Qual esas la preco di ta informo?

L'informo « la buxo esas di koloro C1 » valoras log N/n1, e ta eventualajo havas probableso n1/N. L'informo « la buxo esas di koloro C2 » valoras log N/n2, e ta eventualajo havas probableso n2/N...

La mezavaloro preco di l’informo esas do n1/N log N/n1 + n2/N log N/n2 + ... + nk/N log N/nk. Plu ordinare, se on konsideras k disjunta evenementi di rispektiva probableso p1, p2, ..., pk kun p1 + p2 + ... + pk = 1, lore la quanteso di informo korespondinta a ta distributo di probableso esas p1 log 1/p1 + ... + pk log 1/pk. Ta quanto apelar su entropio del distributo di probableso.

L'entropio permisas do di mezurar la quanteso di mezavaloro informo di ensemblo di evenementi (en partikulara di sendaji) e di mezurar sua necerteso. On notas li  :

kun l’asocia probableso a l’aparo di l’evenemento .

Kodexaja di l’informo[redaktar | redaktar fonto]

On konsideras sequence di simboli. Omna simbolo povas prenar du valori s1 e s2 kun di probablesi rispektive p1 = 0,8 e p2 = 0,2. La quanto d’informo kontenas en simbolo esas p1 log 1/p1 + p2 log 1/p2 ≈ 0,7219. Se omna simbolo esas nedependanta di segun, lore sendajo di N simboli kontenas en mezavalora quanto d’informo egala a 0,72N. Se la simbolo s1 esas kodexita 0 e la simbolo s2 esas kodexita 1, lore la sendajo havas longua di N, to qua esas perdo per raporto ala quanto di informo ke ol portas.

Shannon-teorii enuncas ke esas neposibla trovar kodexo do la mezavalora longuo sive infra a 0,72N, ma ke ol esas posibla di kodexar la sendajo di fasono a ta ke la kodexa sendajo havas mezavalore longua anke proxim ke volas di 0,72N kande N augmentas.

Per exemplo, on rigrupas la simboli tri per tri e on kodexas li kom sive :

simboli a kodexar probableso di trio kodexita di trio longua di kodexo
s1s1s1 0.83 = 0.512 0 1
s1s1s2 0.82 ¥ 0.2 = 0.128 100 3
s1s2s1 0.82 ¥ 0.2 = 0.128 101 3
s2s1s1 0.82 ¥ 0.2 = 0.128 110 3
s1s2s2 0.22 ¥ 0.8 = 0.032 11100 5
s2s1s2 0.22 ¥ 0.8 = 0.032 11101 5
s2s2s1 0.22 ¥ 0.8 = 0.032 11110 5
s2s2s2 0.23 = 0.008 11111 5

La sendajo s1s1s1s1s1s2s2s2s1 esos kodexi 010011110.

La mezavaloro longua di kodexo di sendajo di N simboli esas :

Videz anke[redaktar | redaktar fonto]

Referi[redaktar | redaktar fonto]