Informazione

Teoria elementare delle probabilità

E = eventi favorevoli

S = spazio degli eventi = tutte le combinazioni possibili

Esempio 1°

Calcolare la probabilità che nel lancio di un dado a sei facce esca il numero 4

Soluzione:

E = 1 esito favorevole ( il n° 4 )

S = 6 sei eventi possibili ( 1, 2, 3, 4, 5, 6 )

Esempio 2°

Calcolare la probabilità che nel lancio di un dado a sei facce esca un numero pari

Soluzione:

E = 3 tre esiti favorevoli ( 2, 4, 6 )

S = 6 sei eventi possibili (1, 2, 3, 4, 5, 6 )

Esempio 3°

Calcolare la probabilità che nel lancio di un dado a sei facce esca un numero minore di 5

Soluzione:

E = 4 quattro esiti favorevoli ( 1, 2, 3, 4 )

S = 6 sei eventi possibili ( 1, 2, 3, 4, 5, 6 )

Teoria dell’informazione

L’informazione è legata al "grado di imprevedibilità" ossia alla aleatorietà dei simboli. Tanto più un simbolo è imprevedibile tanto più grande è il contenuto di informazione.
Si consideri un bit. Il suo valore può essere zero o uno. I casi possibili sono:

Bit Singolo

0

1

Siccome i due eventi: "il prossimo bit sarà uno zero" oppure "il prossimo bit sarà un uno" sono
equiprobabili. La probabilità che il prossimo bit sia zero o uno è del 50%: P = 1/2.
L’informazione contenuta in un bit è detta bit di informazione.
Se i bit sono due si hanno quattro casi possibili:

Dibit

0 0

0 1

1 0

1 1

Siccome i quattro eventi: "il prossimo dibit sarà 0 0" oppure "il prossimo dibit sarà 0 1"
oppure "il prossimo dibit sarà 1 0" oppure "il prossimo dibit sarà 1 1" sono equiprobabili,
ogni coppia ( dibit ) ha una probabilità del 25% di comparire nel messaggio ricevuto: P =1/4.
Se si ricevono due bit la capacità informativa del messaggio deve essere di due bit.
Se i bit sono tre si hanno otto casi possibili:

Tribit

0 0 0

0 0 1

0 1 0

0 1 1

1 0 0

1 0 1

1 1 0

1 1 1

La probabilità che arrivi uno dei tribit nel seguito del messaggio sarà del 12,5%: P = 1/8
Se si ricevono tre bit la capacità informativa del messaggio deve essere di tre bit.
Più in generale, se si indica con I il numero di bit di informazione si avrà:

I

P

1

2

2

4

3

8

4

16

I

Esempi:

1)

Si consideri il seguente messaggio ( evidentemente sconosciuto al ricevitore ) e si prendano i bit a uno a uno. Si ottiene un alfabeto formato da due simboli 0 e 1.

0 1 1 0 0 0 0 0

Si hanno otto bit totali, due uno e sei zeri. La probabilità che arrivi un uno sarà di due su otto. La probabilità che arrivi uno zero sarà di sei su otto. L’arrivo di un uno apporterà un contributo informativo I1 di:

L’arrivo di uno zero apporterà un contributo informativo I0 di:

2)

Si consideri il seguente messaggio e i bit presi a due a due. In questo caso si ha un alfabeto
formato da quattro simboli 00, 01, 10, 11.

00 01 11 10 11 11 00 01 01 11 11 11 Dodici simboli

Si ha la seguente situazione:

Dibit = Simbolo

Numero di occorrenze

Probabilità di

un simbolo

00

2

01

3

10

1

11

6

L’informazione apportata da ogni simbolo ( dibit ) vale:

Informazione media di un messaggio

Vedi  Media Pesata

Si è visto in precedenza che l’informazione associata ad un singolo simbolo è tanto più elevata quanto minore è la probabilità dell’arrivo di quel simbolo. Per calcolare l’informazione media si ragiona così:
Se un simbolo è poco probabile, contiene molta informazione ma, essendocene pochi nel messaggio conta poco nella media. Quindi poca probabilità significa elevata informazione associata al singolo simbolo, bassa informazione associata alla media dei simboli. Si definisce pertanto una informazione media pesata detta entropia ( H ) data da:

pn = Probabilità del singolo simbolo = Peso che tiene conto di quanto il singolo simbolo "pesa"

nella media.

Esempio:

In un messaggio formato da 200 caratteri ci siano 52 A, 30 B, 26 C, 24 D, 32 E, 36 F.
Le informazioni associate ai vari simboli saranno:

L’informazione media associata al messaggio vale:

Casi limite:

Se i simboli emessi sono tutti uguali ( e il ricevitore lo sa ) ad esempio cinque A, la probabilità di ogni simbolo sarà :

Il ricevitore non ha alcuna scelta poiché vi è la certezza che arriverà una A. L’informazione media
( entropia ) dovrà essere nulla ( i simboli tutti uguali non portano informazione ).

Se i simboli emessi hanno tutti la stessa probabilità di emissione il ricevitore ha la massima scelta e quindi la massima incertezza e quindi l’entropia sarà massima.

Ad esempio si supponga che vengano trasmessi i simboli CASA e CAVOLO e il messaggio è formato da 99 volte la parola CASA e una volta la parola CAVOLO. All’arrivo di CA il ricevitore ci può scommettere ( uno a novantanove ) che quasi di sicuro sarà l’inizio della parola CASA.

L’entropia del messaggio vale:

Se invece il messaggio è formato da 50 volte la parola CASA e 50 volte la parola CAVOLO, all’arrivo di CA il ricevitore " non sa più che pesci pigliare " si trova nella massima incertezza.
In questo caso l’entropia del messaggio vale:

In generale, se si hanno N simboli tutti equiprobabili, si avrà:

In conclusione: il valore massimo dell’entropia cioè dell’informazione media si ha quando gli N simboli sono equiprobabili e vale:

In questo caso non vi è nessun "spreco" di bit e si dice che la ridondanza R vale zero.

Si chiama ridondanza:

Se l’informazione media è nulla ( H = 0 ) à R = 1 = 100%, tutti i bit sono superflui
( non essenziali ) al fine della comprensione del messaggio.
Se H = HMAX à R = 0, tutti i bit emessi sono utili ai fini della comprensione del messaggio.
Se un simbolo è formato da ni bit, per calcolare la lunghezza media di un simbolo si ragiona come per l’informazione media.
Se un simbolo è formato da tanti bit contribuisce molto alla lunghezza media ma se ve ne sono pochi pesa poco su tutto il messaggio quindi indicando con L la lunghezza media pesata si ha:

pi = probabilità ( peso ) del simbolo i-esimo

ni = numero di bit del simbolo i-esimo

Un codice sarà tanto più efficace quanto più grande è il contenuto informativo medio ( H ) e quanto più piccola è la lunghezza media ( L ) dei simboli. Si chiama pertanto efficienza del codice:

Esempio:

Una sorgente può emettere 7 simboli differenti A, B, C , D, E, F e G caratterizzati dalle seguenti probabilità di emissione:

  1. Determinare il codice di Shannon-Fano

  2. Calcolare l’informazione media

  3. Calcolare la lunghezza media

  4. Calcolare l’efficienza del codice

Soluzione:

1)

Simbolo

Probabilità

 

Codifica

ni

D

0,25

0

0

0

0

 

00

2

A

0,125

1

1

0

010

3

B

0,125

1

011

3

C

0,125

1

1

1

1

0

0

0

100

3

E

0,125

1

101

3

F

0,125

1

1

0

110

3

G

0,125

1

111

3

2)

3)

4)

Informazione Esercizi