Informazione
Teoria elementare delle probabilità
E = eventi favorevoli
S = spazio degli eventi = tutte le combinazioni possibili
Esempio 1°
Calcolare la probabilità che nel lancio di un dado a sei facce esca il numero 4
Soluzione:
E = 1 esito favorevole ( il n° 4 )
S = 6 sei eventi possibili ( 1, 2, 3, 4, 5, 6 )
Esempio 2°
Calcolare la probabilità che nel lancio di un dado a sei facce esca un numero pari
Soluzione:
E = 3 tre esiti favorevoli ( 2, 4, 6 )
S = 6 sei eventi possibili (1, 2, 3, 4, 5, 6 )
Esempio 3°
Calcolare la probabilità che nel lancio di un dado a sei facce esca un numero minore di 5
Soluzione:
E = 4 quattro esiti favorevoli ( 1, 2, 3, 4 )
S = 6 sei eventi possibili ( 1, 2, 3, 4, 5, 6 )
Teoria dell’informazione
Bit Singolo |
0 1 |
Dibit |
0 0 0 1 1 0 1 1 |
Tribit |
0 0 0 0 0 1 0 1 0 0 1 1 1 0 0 1 0 1 1 1 0 1 1 1 |
I |
P |
|
1 |
2 |
|
2 |
4 |
|
3 |
8 |
|
4 |
16 |
|
I |
Esempi:
1)
Si consideri il seguente messaggio ( evidentemente sconosciuto al ricevitore ) e si prendano i bit a uno a uno. Si ottiene un alfabeto formato da due simboli 0 e 1.
0 1 1 0 0 0 0 0
L’arrivo di uno zero apporterà un contributo informativo I0 di:
2)
00 01 11 10 11 11 00 01 01 11 11 11 Dodici simboli
Si ha la seguente situazione:
Dibit = Simbolo |
Numero di occorrenze |
Probabilità di un simbolo |
00 |
2 |
|
01 |
3 |
|
10 |
1 |
|
11 |
6 |
L’informazione apportata da ogni simbolo ( dibit ) vale:
Informazione media di un messaggio
Vedi Media Pesata
pn = Probabilità del singolo simbolo = Peso che tiene conto di quanto il singolo simbolo "pesa"
nella media.
Esempio:
L’informazione media associata al messaggio vale:
Casi limite:
Se i simboli emessi sono tutti uguali ( e il ricevitore lo sa ) ad esempio cinque A, la probabilità di ogni simbolo sarà :
Se i simboli emessi hanno tutti la stessa probabilità di emissione il ricevitore ha la massima scelta e quindi la massima incertezza e quindi l’entropia sarà massima.
Ad esempio si supponga che vengano trasmessi i simboli CASA e CAVOLO e il messaggio è formato da 99 volte la parola CASA e una volta la parola CAVOLO. All’arrivo di CA il ricevitore ci può scommettere ( uno a novantanove ) che quasi di sicuro sarà l’inizio della parola CASA.
L’entropia del messaggio vale:
In generale, se si hanno N simboli tutti equiprobabili, si avrà:
In conclusione: il valore massimo dell’entropia cioè dell’informazione media si ha quando gli N simboli sono equiprobabili e vale:
In questo caso non vi è nessun "spreco" di bit e si dice che la ridondanza R vale zero.
Si chiama ridondanza:
pi = probabilità ( peso ) del simbolo i-esimo
ni = numero di bit del simbolo i-esimo
Un codice sarà tanto più efficace quanto più grande è il contenuto informativo medio ( H ) e quanto più piccola è la lunghezza media ( L ) dei simboli. Si chiama pertanto efficienza del codice:
Esempio:
Una sorgente può emettere 7 simboli differenti A, B, C , D, E, F e G caratterizzati dalle seguenti probabilità di emissione:
Determinare il codice di Shannon-Fano
Calcolare l’informazione media
Calcolare la lunghezza media
Calcolare l’efficienza del codice
Soluzione:
1)
Simbolo |
Probabilità |
Codifica |
ni |
|||
D |
0,25 |
0 0 0 |
0 |
00 |
2 |
|
A |
0,125 |
1 1 |
0 |
010 |
3 |
|
B |
0,125 |
1 |
011 |
3 |
||
C |
0,125 |
1 1 1 1 |
0 0 |
0 |
100 |
3 |
E |
0,125 |
1 |
101 |
3 |
||
F |
0,125 |
1 1 |
0 |
110 |
3 |
|
G |
0,125 |
1 |
111 |
3 |
2)
3)
4)