Informo-teorio

De Wikipedio
Irez ad: pilotado, serchez

Informo-teorio interesas pri sistemo di komuniko e di lia efiko. La nociono di sistemo di komuniko esinta larja, ol esas mem di l'informoteorio.

Ta domeno truvas sua cientala origino kon Claude Shannon qua esas poko la patro fondanto per sua artiklo A Mathematical Theory of Communications publikigita en 1948.

Inter l'importanta branchi, on povas citar :

Exempli di informo[redaktar | edit source]

Informo or informeso indikas, inter ensemblo di eventi, un o multi posibla eventi.

Tale, l'informo diminutas la necerteso. En decido-teorio, on konsideras mem ke ol ne apelendas informo ke to qua esas posible di havas efekto sur nia decidi (poke di kozi en jurnalo esas a ta konto di informi ..).

Prima exemplo[redaktar | edit source]

Sive fonto povinta produktar di integra tensioni di 1 a 10 volti e recepciono qua mezuros ta fluo. Ante la sendo di elektra fluo per la fonto, la recepciono ne havas ideo de la tensiono qua esos livrar per la fonto.

En revancho, foye la fluo emisita e recepcionita, la ne-certeso sur la fluo emisita diminutas. L’informo-teorio konsideras ke le recepciono posedas ne-certeso di10 standi.

Duesma exemplo[redaktar | edit source]

Libraro posedas granda nombro di labori, di revui, di libri e di vorto-libri. Ni serchas kompleta kurso sur la informo-teorio. Tota unesme, ol esas logika ke ni ne truvos ta dokumentaro en di verko di arti o di literaturo; ni venas do d’obtenar informa informeso qua diminutos nia tempo di inquestar.

Neperfekta informeso[redaktar | edit source]

Sive realizisto do me amas du filmo pri tri. kritikisto ke me konocas bona kritikegas sua lasta filmo e me savas ke me partigas en mez-valoro l’analizi di ta kritikisto quar foye pri kin. Ta kritikon me deskonsilos di irar vidar la filmo? To esas ibe la centrala questiono di bayesiala infero, qua quantesas anke en biteti.

Atencez a ne konfundar[redaktar | edit source]

Oportas min di biteti per skribar ‘’hundo’’ ke ‘’mamifero’’. Tamen l’indiko ‘’Medoro esas hundo’’ kontenas bona ‘’plu’’ d’informo ke l’indiko ‘’Medoro esas mamifero’’: la kontenita di semantikala informo di sendajo dependas di kontexto. En fakto, to esas la paro sendajo + kontexto qua konstituas la vera porto di informo, e nul tempe la sendajo sole (videz Paradoxo di kompresilo).

Mesuro dil quanteso di informo[redaktar | edit source]

Quanteso di informo : elementa kazo[redaktar | edit source]

Konsideras N boxi numerila di 1 a N. Individuo A havas celita segun la chanco un objekto en un di ta boxi. Individuo B devas truvar la numero dil boxo ube esas celita l’objekto. Per ica, il havas la yuro di pozar di questioni a l’individuo A a qua il-ca devas respondar sen nientio per YES o NO. Ma omna questiono pozita reprezentas kusto a pagar per l’individuo B (per exemplo un euro). Individuo C savas en kel boxo esas celita l’objekto. Il havas la posiblo di vendar ta informo a l’individuo B. B acepteros ta vendo-kontrato ke se la precio di C esas infra od egala a mez-valora kosto ke B devrus spensar per truvar la boxo en pozar di questioni a A. L’informo detenita per C havas do certa precio. Ta precio reprezentas la quanto di informo per la konoco di la bona boxo : to esas la mez-valora nombro di questioni a pozar per identigar ta boxo. Ni notas lu I.

Exemplo:

Kad N = 1, I = 0. To esas sole un boxo. Irga questiono esas necesa.

Kad N = 2, I = 1. On demandas se la bona boxo esas la boxo n°1. La respondo Yes o No determinas lore sen ambigueso kel esas la sercha boxo.

Kad N = 4, I = 2. On demandas se la boxo permisas lors d’eliminar du di boxi ed ol suficas di lasta questiono per truvar kel esas la bona boxo per du.

Kad N = 2k, I = k. On skribas la numeri di boxi en bazo 2. Li numeri havas ad-maxime k binara cifri, e per omnu di rango di ta cifri, on demandas se la sercha boxo posedas la cifro 0 o la cifro 1. En k questioni, on havas determinas tota la binara cifri del bona boxo. To rivenas anke a pozar k questioni, omna questiono havinta per skopo di divisar sequence la nombro di konsiderita boxi per 2 (metodo di dikotomio).

On esas do amenita a pozar I = log(N), ube log esas la logaritmo en bazo 2, ma ta figuro ne produktas su ke en la kazo di N equiprobabla evenementi.

Quanteso di informo relata a evenemento[redaktar | edit source]

Supozas nun ke la boxi sive kolorita, e ke to esas n reda boxi. Supozas anke ke C savas ke la boxo ube esas celita l’objekto esas reda. Qual esas la precio di ta informo? Sen ta informo, le precio a pagar ne esas pluse ke log(n). La precio dil informo ‘’la sercha boxo esas reda’’ esas do log(N) – log(n) = log N/n.

On definas tale la quanteso di informo kom kreskanta funciono di \frac{N}{n} kom :

Por mezurar ta quanteso d’informo, on pozas : I = log_{2}  \left (\frac{N}{n} \right)

I esas expresas en biteto (o logon, uneso introdukta per Shannon, di qua, en la fakti, biteto esas devenita sinonimo), o bona en nat se on uzas la naturala logaritmo vice di logaritmo di bazo 2.

Ta defino justifikas su nam ol volas la sequa propraji :

  1. L'informo esas inkluzite en 0 e ∞.
  2. Un evenemento nam poko di probableso reprezentas multo di informo, (exemplo: « nivas en januaro » kontenas multo min d’informo ke « nivas en agosto » se nur ke on sive en la norda hemisfero)
  3. L'informo devas esar adicionala.

Remarko : kande on dispozar di multa informi, la quanteso di blokala informo ne esas la sumo di quanteso d’informo. To esas devita a la prezenteso di logaritmo. Videz anke: reciproka informo, komuna informo a du sendaji, qua, en l’idajo, explikas ta « sub-adicionala » dil informo.


Entropio, formulo di Shannon[redaktar | edit source]

Supozas nun ke la boxi sive di diversa kolori : n1 boxi de koloro C1, n2 boxi de koloro C2, ..., nk boxi de koloro Ck, kon n1 + n2 + ... + nk = N. La persono C savas di qual koloro esas la sercha boxo. Qual esas la precio di ta informo?

L'informo « la boxo esas di koloro C1 » valoras log N/n1, e ta eventualajo havas probableso n1/N. L'informo « la boxo esas di koloro C2 » valoras log N/n2, e ta eventualajo havas probableso n2/N...

La mez-valoro precio di l’informo esas do n1/N log N/n1 + n2/N log N/n2 + ... + nk/N log N/nk. Plu generale, se on konsideras k disjunta evenementi di rispektiva probableso p1, p2, ..., pk kun p1 + p2 + ... + pk = 1, lore la quanteso di informo korespondinta a ta distributo di probableso esas p1 log 1/p1 + ... + pk log 1/pk. Ta quanto apelar su entropio del distributo di probableso.

L'entropio permisas do di mezurar la quanteso di mez-valoro informo di ensemblo di evenementi (en partikulara di sendaji) e di mezurar sua necerteso. On notas li H :

H \left (I \right) = - \sum_{i\in I} p_i \mathbf{log}_2\; p_i

kun p_i = \frac{n_i}{N} l’asocia probableso a l’aparo di l’evenemento i.

Kodexaja di l’informo[redaktar | edit source]

On konsideras sequence di simboli. Omna simbolo povas prenar du valori s1 e s2 kun di probablesi rispektive p1 = 0,8 e p2 = 0,2. La quanto d’informo kontenas en simbolo esas p1 log 1/p1 + p2 log 1/p2 ≈ 0,7219. Se omna simbolo esas nedependanta di segun, lore sendajo di N simboli kontenas en mez-valora quanto d’informo egala a 0,72N. Se la simbolo s1 esas kodexita 0 e la simbolo s2 esas kodexita 1, lore la sendajo havas longua di N, to qua esas perdo per raporto ala quanto di informo ke ol portas.

Shannon-teorii enuncas ke esas neposibla di truvar kodexo do la mez-valora longuo sive infra a 0,72N, ma ke ol esas posibla di kodexar la sendajo di fasono a ta ke la kodexa sendajo havas en mez-valoro longua anke proxim ke volas di 0,72N kande N augmentas.

Per exemplo, on rigrupas la simboli tri per tri e on kodexas li kom sive :

simboli a kodexar probableso di trio kodexita di trio longua di kodexo
s1s1s1 0.83 = 0.512 0 1
s1s1s2 0.82 ¥ 0.2 = 0.128 100 3
s1s2s1 0.82 ¥ 0.2 = 0.128 101 3
s2s1s1 0.82 ¥ 0.2 = 0.128 110 3
s1s2s2 0.22 ¥ 0.8 = 0.032 11100 5
s2s1s2 0.22 ¥ 0.8 = 0.032 11101 5
s2s2s1 0.22 ¥ 0.8 = 0.032 11110 5
s2s2s2 0.23 = 0.008 11111 5

La sendajo s1s1s1s1s1s2s2s2s1 esos kodexi 010011110.

La mez-valoro longua di kodexo di sendajo di N simboli esas :

{N \over 3}(0.512 + 3 \times 0.128 \times 3 + 3 \times 0.032 \times 5 + 0.008 \times 5) = 0,728N

Videz anke[redaktar | edit source]

Referi[redaktar | edit source]