Unicode

Z Wikipédie

Unicode
Kódovania UTF-7 UTF-8 CESU-8 UTF-16/UCS-2 UTF-32/UCS-4 UTF-EBCDIC SCSU Punycode GB18030
UCS
Obojsmerný text
BOM
Han zjednotenie
Unicode a HTML
Unicode a e-mail

Unicode je medzinárodný štandard, ktorého cieľom je definovať jedinečný kód zvaný code point pre každú z grafém používaných na zápis ľudského jazyka.

Napriek technickým problémom, obmedzeniam a kritike sa zo štandardu Unicode stala dominantná kódovacia schéma používaná pri internacionalizácii softvéru a viacjazyčných prostredí.

Operačné systémy Microsoft Windows NT a odvodené verzie Windows 2000 a Windows XP používajú Unicode, presnejšie UTF-16, na internú reprezentáciu textu. Operačné systémy UNIXového typu ako sú GNU/Linux, BSD a Mac OS X, prijali Unicode, presnejšie UTF-8, ako základ pre reprezentáciu viacjazyčného textu.

Unicode je štandard pre univerzálne kódovanie znakov pre počítače. Toto kódovanie navrhla nezisková organizácia s názvom The Unicode Consortium, ktorej cielom bolo vytvoriť jednotnú sadu znakov UCS (Universal Character Set), ktorá by nahradila množstvo rozdielnych sád znakov používaných v jednotlivých krajinách. Tento štandard publikovala v knihe The Unicode Standard. Okrem znakovej sady, ktorá bola tiež normalizovaná ako ISO/IEC 10646, dokument obsahuje i ďalšie veci súvisiace s požítačovým písmom (spôsob dekompozície, renderovania, metódy kódovania…) Tento štandard bol implementovaný do moderných operačných systémov a jeho modifikácia UTF (Unicode Transformation Format)je implementovaná v jazkoch XML a JAVA.

[úprava] Vývoj štandardu

Vznik jednotného kódu znakov, podmienila existencia množstva znakových sád. Znakové sady sa líšili nielen pre jednotlivé krajiny, ale i v rámci jednej z krajín existovalo viacero znakových sád. Všetky znakové sady boli navrhnuté na základe americkej normy ASCII, ktorá pevne určovala prvých 128 znakov sady a zvyšných 128 sa líšilo v závislosti od krajiny. Na slovensku sa najčastejšie používali (a ešte stále používajú) kódy ISO 8859-2 známy tiež ako LATIN 2 alebo CP 852 definovaný medzinárodnou organizáciou ISO, kód ANSI 1250 známy tiež ako Windows 1250 definovaný americkou organizáciou ale najradšej sme používali kód bratov kamenických známy tiež ako CP 895, ktorý nebol štandardizovaný. Podobné to bolo i v iných krajinách. Celý problém bol v tom, že kód ASCII bol navrhnutý tak, že jednému znaku prislúchal jeden bajt. Takéto kódovanie umožňovalo vytvárať sady s 256 znakmi. Kódovanie UNICODE je navrhnuté pomocou dvojbajtového kódovania znakov, čo umožňuje vytvárať sady s 65 536 znakmi. Štandard je navrhnutý tak, že všetky možné znaky rozdeľuje do sedemnástich dvojbajtových plánov. Takéto rozdelenie umožňuje definovať až 1 114 112 (= 17 × 2¹⁶) znakov. Prvá verzia štandardu vznikla v októbri 1991 no súčasná verzia štandardu je už UNICODE 5.0. Táto definuje 101 063 znakov čo je iba 9,1 % zo všetkých možných.

[úprava] Problémy s kódovaním UNICODE

Pôvodná koncepcia bola taká, že každému znaku bude priradená dvojbajtová hodnota, ktorá bude znak reprezentovať v pamäti počítača. Takéto kódovanie však vytváralo niekoľko problémov. Niektoré systémy boli navrhnuté tak, že z pamäte sa najskôr spracovával vyšší bajt a potom nižší a u iných systémov to bolo opačne. Na niektorých systémoch, preto začali ukladať bajty v opačnom poradí, čo spôsobilo to, že po prenose textu z jedného systému na druhý, bol text nečitateľný. Problém vyriešili tým, že na začiatok každého dokumentu vložili informáciu BOM (Byte Order Mark), o tom v akom poradí sú uložené byjty reprezentujúce text. Tekéto kódovanie je dnes označované tiež UCS-2.

Ďalším problémom bola nekompatibilita so staršími systémami, ktoré používali ASCII kódovanie. Tento problém čiastočne rieši kódovanie UTF s premenlivou bitovou dĺžkou. Toto kódovanie kóduje prvých 128 znakov zhodne s ASCII tabuľkou. Líšiť sa zažina až ďalšími znakmi, ktoré na kodovanie používajú viac ako 8 bitov.

V súčasnosti sa používajú tieto spôsoby kódovania:

UTF-7 — nepopulárne 7-bitové kódovanie, považované za zastaralé
UTF-8 — 8-bitové kódovanie s premenlivou bitovou dĺžkou, ktoré je čiastočne kompatibilné s ASCII
UCS-2 — 16-bitové kódovanie s pevnou dĺžkou, ktoré však podporuje len prvý zo 17 plánov tzv. BMP (Basic Multilingual Plane)
UTF-16 — 16-bitové kódovanie s premenlivou dĺžkou
UCS-4 alebo UTF-32 — 32-bitové kódovanie s pevnou bitovou dĺžkou
UTF-EBCDIC — kódovanie pre systémy EBCDI od firmy IBM