I caratteri di testo e internet

Ecco che i caratteri HTML, per assicurare la compatibilità e per poter scrivere nello stesso documento le parole con lettere accentate, hanno adottato, dopo all'ASCII standard, anche i valori ASCII 128-255 dell'ISO 8859-1 o latin-1 (già standard ECMA, European Computer Manufacturers Association) che però non usava i valori fra 128 e 159 né quelli fra 0 e 31 [nel codice HTML si può scrivere direttamente il carattere come da tabella]; perciò si sono ricodificati alcuni caratteri e aggiunti valori ASCII più alti.
Dunque, i valori fra 128 e 159 non vanno usati (e neanche quelli fra 0 e 31) anche se i Browser o le diverse macchine li eseguono; mentre per rendere in HTML altri caratteri speciali e le lettere di tutte le lingue del mondo vengono usati valori sopra il 255 di UNICODE (o ISO 10646, fino ad arrivare a 65533: FFFD in esadecimale, utilizzando 16 bit).
Tuttavia un testo HTML può ancora essere scritto con una codifica diversa dal Latin-1 (ad es. ISO 8859-5 per il cirillico o ISO 8859-7 per il greco, dichiarandolo all'inizio del documento): i valori e i caratteri ASCII standard rimangono invariati, mentre le lettere in cirillico o greco (sempre che il Browser le supporti) assumono anche i codici fra 160 e 255 sostituendo il Latin-1. Allora per poter scrivere una lettera latina accentata, in questo caso, si possono usare o i codici numerici ASCII Latin-1 (adottati peraltro anche da Unicode per i valori inferiori a 256), cioè sempre quelli fra 160 e 255 ma nella forma HTML standard '&#d;' o '' [con 'd' per il valore decimale ed 'e' per quello esadecimale], o le «entità HTML».
Le «entità HTML» erano nate per rendere già con l'ASCII standard caratteri che non ne facevano parte (lettere accentate e alcuni caratteri speciali) e, perciò, valgono indipendentemente dal set di caratteri usato [si scrive: '&letteratipoaccento;' o '&nomecarattere;', ad es. 'à' o '§' per l'ASCII Latin-1 224 o 167].

- Primo problema: i codici ASCII non sono sempre uguali, lo sono solo per pochi caratteri (circa cento).

- Secondo problema: il World Wide Web è un oggetto globale, ma l'ASCII non può rendere tutti i caratteri accentati delle lingue europee e men che meno quelli dell'arabo, del bengalese, dell'ebraico, del tailandese...
Per questi motivi si è passati prima all'ASCII esteso di Latin-1 poi a Unicode.
I codici Unicode sono composti da 2 byte (16 bit) perciò si hanno 2¹⁶ possibili codici, ovvero 65536 possibilità. Tuttavia solo circa 40.000 codici Unicode sono definiti (circa 20.000 sono usati per gli ideografi Han, sebbene ve ne siano più di 80.000, e 11.000 sono usati per le sillabe coreane Hangul).
Non so quanto semplifichi il discorso, ma certo semplifica la vita ai computer il fatto che i codici Unicode da 0 a 255 corrispondono ai codici ASCII-standard e ASCII-Latin1 da 0 a 255.
In pratica però, il supporto di Unicode non è completo, quindi spesso si usa ASCII o UTF-8 cioè una versione compressa di Unicode che usa 8 bit per rappresentare i caratteri (specie per l'XML, che appunto prevede di default l'uso di questo standard). Non ci sono differenze fra i codici ASCII-Latin1 e UTF-8; tuttavia UTF-8, a differenze dell'ASCII, non ammette codifiche diverse dal Latin-1. Inoltre, i documenti ASCII convertiti in Unicode hanno una dimensione doppia proprio perché per definire ciascun carattere (per i valori superiori a U+0080, cioè escluso solo l'ASCII-standard) si usano due byte: ì ha valore esadecimale "EC" in ASCII-Latin-1 (come riportato nella tabella sopra), mentre in UTF-8 vale "C3AC" (usando appunto due byte).
In realtà, però, neppure la codifica Unicode ha spazio sufficiente per tutti i simboli. Una nuova specifica, UCS (Universal Character System) o ISO 10646, consente di gestirne due miliardi, molto più del necessario: usa 4 byte per simbolo e per questo è definita UCS-4 (ISO-10646-UCS-4). Ovviamente esiste la codifica ponte fra Unicode e UCS: UCS-2 (ISO-10646-UCS-2), che è la codifica UCS a 2 byte, cioè compressa ed equivalente a Unicode; d'altra parte era già possibile usare UTF-16, cioé la codifica dei simboli Unicode con 2 byte il cui risultato corrisponde a UCS-2.

- Terzo problema: il supporto di Unicode non è ancora completo nelle diverse piattaforme e ancor meno quello di UCS, dunque, in pratica, i documenti vengono scritti col set di caratteri locali (in cui magari i singoli editor di testo usano ancora i codici ASCII estesi) quindi convertiti nei codici Unicode. Oppure, nel caso dell'HTML, si usano direttamente i codici sopra il 255 o le entità [disponibili in un file a parte, con cui si può anche verificare quanto il proprio browser supporti questi set di caratteri].

Sono disponibili molti altri set di caratteri: per un elenco più completo si può vedere il sito dell’agenzia IANA (Internet Assigned Numbers Authority).

Non so quanto tutto questo contribuisca a risolvere, o aggravare, il dato della crisi e futura morte di idiomi patrimonio di ristrette comunità di persone (un po' quel che da noi di fatto sta avvenendo per i dialetti).
Ma tutto sommato ritengo che la tecnica sia contro l'uomo solo se l'uomo la usa contro di sé.