Lehekülje Unicode lähteteksti vaatamine

{{Keeletoimeta|aasta=2024|kuu=juuli}}
[[Fail:New Unicode logo.svg|alt=Pilt sinisel taustal valge tekstiga. Kujutatud on Unicode konsortiumi logo.|pisi|Unicode'i konsortsiumi logo]]
'''Unicode''' on rahvusvaheline [[standard]] [[arvuti]]tes [[kirjasüsteem]]ide [[Kodeerimine|kodeerimiseks]], mida haldab [https://en.m.wikipedia.org/wiki/Unicode_Consortium Unicode’i konsortsium]. See hõlmab suuremaid kirjasüsteeme. 2023. aasta septembris ilmus standardist versioon 15.1.0<ref>{{Netiviide |pealkiri=Unicode 15.1.0 |url=https://www.unicode.org/versions/Unicode15.1.0/ |vaadatud=2024-04-23 |väljaanne=www.unicode.org}}</ref>, mis defineerib 149 813<ref>{{Netiviide |pealkiri=Unicode Character Count V15.1 |url=https://www.unicode.org/versions/stats/charcountv15_1.html |vaadatud=2024-04-23 |väljaanne=www.unicode.org}}</ref> unikaalset märki.

Unicode'is viiakse iga märk vastavusse ühe unikaalse arvuga ehk antakse igale märgile oma "koodipunkt" (ingl ''code point'').<ref name=":0">{{Netiviide |pealkiri=Technical Introduction |url=https://www.unicode.org/standard/principles.html |vaadatud=2024-04-23 |väljaanne=www.unicode.org}}</ref> Standardis märgitakse seda kujul "U+xxxx", kus xxxx on arv [[heksadetsimaal]]süsteemis. Koodipunkt hoiustab endas infot märgi identiteedi, mitte aga selle välimuse kohta. Tarkvara saab kasutada seda infot, et näiteks vastava märgi mingi versioon ekraanile kuvada.

Koodipunkti kodeerimiseks arvutis on mitu standardset viisi.
Unicode'i standard defineerib kolm kodeerimise viisi, [[UTF-8]], [[UTF-16]] ja [[UTF-32]], mis lubavad infot märgi kohta edastada vastavalt 8, 16 ja 32 bitiste ühikutena.<ref name=":0" /> Neist levinuim on UTF-8, mis on [[ASCII]]-ga [[tagasiühilduvus|tagasiühilduv]].

Tänapäeval on Unicode kõige laialdasemalt kasutatud kirjasüsteemide kodeerimise viis ning tarkvara arendamisel on sellega vastavus eeldatud. Standardiga paralleelne on standard [[ISO 10646]], mida hoitakse vastavuses Unicode'iga. 

== Loomine ja arendus ==

=== Algusaastad ===
Globaliseerumise ja tehnoloogia arengu tõttu tuli 20. sajandi lõpuks ilmsiks, et senised kirjasüsteemide kodeerimise standardid on liiga piiravad. Lääne firmadel oli keeruline siseneda Aasia turule, kus 7-bitisest ASCII koodist jäi tähestiku kodeerimiseks väheseks. Samuti oli järjest rohkem ühendatud ühiskonnas probleemne asjaolu, et kodeerimise süsteemid ei olnud riistvaras standardiseeritud. Oli vajadus uue suurema võimekusega standardi järele. 

Unicode'i idee ei olnud midagi täiesti uut. Juba 1984. aastal esitatud [[Rahvusvaheline Standardiorganisatsioon|ISO]] mitmebaidise märgikoodi standardi alus oli seatud 16-bitise universaalse koodi loomist silmas pidades. Teiseks Unicode'i eelkäijaks võiks nimetada Xeroxi 1980. aastal tutvustatud Star-tööjaama.<ref name=":1" />

Unicode'i projekti vundament laoti 1980. aastatel, mil toimusid esmased arutelud kolme tarkvarainseneri – toona [[:en:Xerox|Xeroxi]]<nowiki/>s töötanud [[:en:Joe_Becker_(Unicode)|Joe Beckeri]] ja [[:en:Lee_Collins_(Unicode)|Lee Collinsi]] ning [[Apple Inc.|Apple'is]] töötanud [[:en:Mark_Davis_(Unicode)|Mark Davis]]<nowiki/>e – vahel. Vajadus universaalse kirjasüsteemide kodeerimise viisi järele oli ilmsiks tulnud [[:en:Apple_File_Exchange|Apple File Exchange]]'i arenduse valguses. 1988. aastal hakati ideed ellu viima. Augustis avaldas Joe Becker oma ettepaneku universaalse kodeerimise süsteemi jaoks "Unicode 88", kasutades esimest korda nime "Unicode", mis tema sõnul pidi peegeldama selle universaalset ja unikaalset olemust. Sügisel hakkas Collins looma Unicode märkide andmebaasi.<ref name=":1">{{Netiviide |pealkiri=Early Years of Unicode |tõlkepealkiri=Unicode'i algusaastad |url=https://www.unicode.org/history/earlyyears.html |vaadatud=2024-04-29 |väljaanne=www.unicode.org}}</ref>

Järgnenud aastate jooksul töörühm laienes ja töö standardi kallal jätkus. 1990. aasta augustis anti välja esimene mustand, mis ei hõlmanud koodide ja blokkide kirjeldusi, tegemist oli pigem kirjeldava ja tutvustava dokumendiga. Oktoobris välja antud mustand oli juba palju sisutihedam, kirjeldades mitmeid algseid ideid märkide indekseerimiseks ja hõlmates erinevaid tabeleid nende süsteemseks hoiustamiseks. 1990. aasta detsembris avaldatud kolmas väljaanne oli juba laialdaselt jagatud. Eesmärk oli saada avalikkuse tagasisidet. 1991. aasta oktoobris avaldati esimene Unicode'i standardit kirjeldav raamat, selle teine köide 1992. aasta juunis.<ref>{{Netiviide |pealkiri=History of Unicode Release and Publication Dates |tõlkepealkiri=Unicode'i väljaannete ajaulugu |url=https://www.unicode.org/history/publicationdates.html |vaadatud=2024-04-29 |väljaanne=www.unicode.org}}</ref>

=== Unicode'i konsortsium ===
Unicode'i konsortsium loodi 1991. aasta jaanuaris USA California osariigis.<ref>{{Netiviide |pealkiri=History of Unicode |tõlkepealkiri=Unicode'i ajalugu |url=https://www.unicode.org/history/ |vaadatud=2024-04-23 |väljaanne=www.unicode.org}}</ref> See on [[mittetulundusühing]], mille eesmärk on arendada, hooldada ja propageerida rahvusvahelisi tarkvara standardeid, nende hulgas ka Unicode'i. Konsortsium teeb koostööd teiste rahvusvaheliste standardiseerimisega tegelevate organisatsioonidega nagu ISO ja [[World Wide Web Consortium|W3C]].<ref>{{Netiviide |pealkiri=Unicode Consortium |tõlkepealkiri=Unicode'i konsortium |url=https://www.unicode.org/consortium/consort.html |vaadatud=2024-04-29 |väljaanne=www.unicode.org}}</ref> 

Konsortsiumi saavad kuuluda nii ettevõtted kui ka üksikisikud ning kuuluvusel on mitu tasandit. Suuremad hääleõiguslikud liikmed on näiteks Apple, Airbnb, [[Google]], [[:en:Meta_Platforms|Meta]] ja [[Microsoft]]. Samuti on konsortsiumis n-ö nõuandvaid liikmeid, näiteks kuulub nende hulka Soome rahvusraamatukogu, samuti erinevad ülikoolid ja riiklikud asutused.<ref>{{Netiviide |perekonnanimi= |pealkiri=Members |tõlkepealkiri=Liikmed |url=https://home.unicode.org/membership/members/ |vaadatud=2024-04-29 |väljaanne=Unicode |keel=en-US}}</ref> Kõik konsortsiumi liikmed on loetletud Unicode'i veebilehel.

=== Unicode'i olemus ===
Unicode põhineb ideel kodeerida [[Grafeem|'''grafeeme''']], mitte aga nende graafilisi kujusid ehk [[Glüüf|glüüfe]], mida suudavad paremini hallata erinevad [[Kirjastiil|kirjastiilid,]] kasutades näiteks [[Märgistuskeel|märgistuskeelt]].<ref>{{Raamatuviide |pealkiri=The Unicode® Standard, Version 15.0 – Core Specification |aasta=2022 |isbn=978-1-936213-32-0 |koht=Mountain View, CA |lehekülg=15 |täpsustus=Peatükk 2.2 |keel=inglise}}</ref> See tähendab, et keerulisematel juhtudel, nagu seda on Hiinas kasutatava [[:en:Han_unification|Han-tähestiku erinevate ortograafiliste variantide käsitlus]], leidub mitmeid lahkarvamusi selle kohta, millised variandid on piisavalt erinevad, et seda oleks vaja teistest variantidest eraldiseisvana käsitleda ja kodeerida.

Kõige abstraktsemal tasemel '''määrab Unicode'i iga tähemärgi jaoks unikaalse numbri''', mida nimetatakse koodipunktiks. Paljude visuaalse esindusega seotud küsimustega - sealhulgas suuruse, kuju ja stiili - peaksid eeldatavalt tegelema teksti kuvav tarkvara, nagu [[Brauser|veebibrauser]] või [[tekstiredaktor]].

Esimesed 256 koodipunkti peegeldavad [[:en:ISO/IEC_8859-1|ISO/IEC 8859-1]] standardit, eesmärgiga lihtsustada juba lääne-euroopa tähestikes kirjutatud tekstide kodeerimist. Et oleks võimalik vanemate kodeeringute ja Unicode'i vahel teisendamine ilma kadudeta, anti paljudele tähemärkidele, mis on peaaegu identsed teistega nii välimuse kui ka eeldatava funktsiooni osas, erinevad koodipunktid<ref name=":6">{{Netiviide |pealkiri=Where is my Character? |tõlkepealkiri=Kus on mu tähemärk? |url=https://www.unicode.org/standard/where/ |vaadatud=2024-04-29 |väljaanne=www.unicode.org |lehekülg= |täpsustus=Duplicate}}</ref>. Näiteks dubleerib [[:en:Unicode_block|Unicode'i plokk]] [[:en:Halfwidth_and_Fullwidth_Forms_(Unicode_block)|Halfwidth and Fullwidth Forms]] täielikult ladina tähestikku, kuna vanad [[:en:CJK_characters|Jaapani, Hiina ja Korea kodeeringud]] sisaldasid nii "täislaiusega" (vastavalt eelmainitud tähestike tähemärkide laiusele) kui ka "poollaiusega" (vastavalt tavalisele ladina tähestikule) tähemärke. See tähendab, et ühteagu leiduvad erinevad versioonid samast tähemärgist, mis hõivab terve tähemärgi laiuse Jaapani, Korea ja Hiina tähemärkide järgi, kui ka ladina tähestiku järgi.

=== Tähestikud ja kirjad ===
[[Fail:Unicode block 0700 Syriac.svg|pisi|Süüria tähestik Unicode kodeeringus]]
Unicode'i standardiga kodeeritakse tähestikke, mitte keeli. Kui mitu keelt kasutavad sama tähestikku, moodustavadki nad ühe [[:en:Script_(Unicode)|kirja]]. Ladina kirja kasutavad näiteks sajad erinevad keeled, Hanguli kasutab aga tüüpiliselt ainult korea keel.<ref name=":2">{{Netiviide |pealkiri=Supported Scripts |url=https://www.unicode.org/standard/supported.html |vaadatud=2024-04-29 |väljaanne=www.unicode.org}}</ref>

Unicode'i versioonis 1.1, mis tuli välja 1993. aastal, oli 23 erinevat kirja, aastal 2022 välja tulnud versioon 15.0 aga hõlmas juba 161 erinevat kirja. Lisaks tähtedele on Unicode'iga võimalik kodeerida ka numbreid, [[Kirjavahemärgid|kirjavahemärke]], [[Matemaatiliste sümbolite loend|matemaatilisi sümboleid]], [[Emotikon|emotikone]] ja palju muud.<ref name=":2" /> See aga jätab veel suure osa sümboleid ja märke kõrvale ning aktiivselt tegeletakse nende lisamisega. 

Unicode'i Roadman to the BMP komitee [[:en:Michael_Everson|(Michael Everson]], Rick McGowan, Ken Whistler, V.S. Umamaheswaran)<ref>{{Netiviide |pealkiri=Roadmap to the BMP |url=https://www.unicode.org/roadmaps/bmp/ |vaadatud=2024-04-29 |väljaanne=www.unicode.org}}</ref> haldab nimekirja nendest kirjadest ja nende võimalikest koodiplokkidest, mis potentsiaalselt lisatakse tulevikus standardile.

=== Versioonid ===
Erinevalt paljudest teistest kodeerimise süsteemidest ei ole Unicode staatiline. Iga uus versioon lisab juba olemasolevatele grafeemidele uusi juurde, seejuures jättes juba eksisteerivad koodipunktid puutumata. Juba avaldatud versioonid on samuti täiesti stabiilsed. Sedasi on võimalik tagada, et tarkvara, mis on ehitatud kindla versiooni peale, töötab alati.<ref name=":3">{{Raamatuviide |pealkiri=The Unicode® Standard, Version 15.0 – Core Specification |aasta=2022 |isbn=978-1-936213-32-0 |koht=Mountain View, CA |lehekülg=72 |täpsustus=Peatükk 3 |keel=inglise}}</ref>

Versioone nummerdatakse kolme arvuga, neist igaüht peab saama esitada ühe baidiga. Esimene number näitab versiooni, teine selle kõrvalversiooni ning kolmas kõrvalversiooni uuendust. Näiteks "Unicode 15.1.0" viitab Unicode'i 15. versiooni uuendamata 1. kõrvalversioonile.<ref name=":3" />

==== ''Errata'' ja ''Corrigenda'' ====
''Errata'' ja ''Corrigenda'' ehk veaparandused ja korrigeerimised on aeg-ajalt vajaliku, neid avaldatakse Unicode'i veebilehel. Veaparandused parandavad vigu tekstides või muudes informatiivsetes materjalides, nagu koodikaardid. Iga kord, kui standardi uus põhi- või kõrvalversioon avaldatakse, koondatakse kõik senised veaparandused selle versiooniga seotud põhispetsifikatsiooni, koodikaartide või muude standardikomponentide hulka.<ref name=":3" /> 

Mõnikord võivad vead olla aga piisavalt olulised, et need tuleb likvideerida enne järgmise Unicode'i standardi versiooni väljaandmist korrigeerimisega. Selline korrigeerimine ei muuda eelmise versiooni sisu, vaid võimaldab rakendusel, protokollil või muul standardil viidata eelmisele Unicode'i standardi versioonile koos korrigeerimisega. Kui viide ei maini spetsiaalselt korrigeerimist, siis korrigeerimist ei rakendata.<ref>{{Raamatuviide |pealkiri=The Unicode® Standard, Version 15.0 – Core Specification |aasta=2022 |isbn=978-1-936213-32-0 |koht=Mountain View, CA |lehekülg=73 |täpsustus=Peatükk 3 |keel=inglise}}</ref>

== Arhitektuur ==

=== Koodiruum ja koodipunktid ===
Unicode'i standard määratleb koodiruumi:<ref>{{Netiviide |pealkiri=Glossary |url=https://unicode.org/glossary/ |vaadatud=2024-04-29 |väljaanne=unicode.org}}</ref> täisarvude jada intervallis <math>(0 ; 17*2^{16})</math>, mida nimetatakse koodipunktideks<ref>{{Raamatuviide |pealkiri=The Unicode® Standard, Version 15.0 – Core Specification |aasta=2022 |isbn=978-1-936213-32-0 |koht=Mountain View, CA |täpsustus=Peatükk 2 |keel=inglise}}</ref>. Vastavalt standardile märgitakse seda vahemikku U+0000–U+10FFFF<ref>{{Raamatuviide |pealkiri=The Unicode® Standard, Version 15.0 – Core Specification |aasta=2022 |isbn=978-1-936213-32-0 |koht=Mountain View, CA |lehekülg=88 |täpsustus=Peatükk 3 |keel=inglise}}</ref>. Koodiruum on Unicode'i standardi süstemaatiline, arhitektuurist sõltumatu esitus; teksti töödeldakse binaarandmetena kahutades ühte mitmest Unicode'i kodeeringust.

Selles esitusviisis eelneb kahekohaline eesliide U+ alati kirjutatud koodipunktile ja koodipunktid ise kirjutatakse kuueteistkümnendsüsteemi numbritena. Alati kirjutatakse vähemalt neli kuueteistkümnendsüsteemi numbrit, vajadusel lisatakse ette nullid.

Koodiruumis on kokku 1112064 kehtivat koodipunkti. See arv tuleneb UTF-16 kodeeringu piirangutest, mis võimaldab kodeerida <math>2^{16}</math> koodipunkti vahemikus U+0000 kuni U+FFFF, välja arvatud <math>2^{11}</math> koodipunkti vahemikus U+D800 kuni U+DFFF, mis kasutatakse asenduspaaridena <math>2^{20}</math> koodipunkti kodeerimiseks vahemikus U+10000 kuni U+10FFFF.

=== Kooditasandid ===
Unicode'i koodiruum on jagatud 17 tasandiks, nummerdatud 0 kuni 16. Tasandit 0 nimetatakse otsetõlkena Tavaliseks Mitmekeelseks Tasandiks (ingl ''Basic Multilingual Plane'' ehk BMP) ning sellel on kõik laialdasemalt kasutatud märgid.<ref name=":4">{{Raamatuviide |pealkiri=The Unicode® Standard, Version 15.0 – Core Specification |aasta=2022 |isbn=978-1-936213-32-0 |koht=Mountain View, CA |lehekülg=43 |täpsustus=Peatükk 2.8 |keel=inglise}}</ref> Kõik märgid sellel tasandil on vaadeldavad kui üks koodiühik UTF-16 kodeeringus ja kodeeritavad ühe, kahe või kolme baidiga UTF-8 kodeeringus.

Tasand 1 on Täiendav Mitmekeelne Tasand (ingl ''Supplementary Multilingual Plane'' ehk SMP), millel on need märgid ja sümbolid, mis kas ei mahtunud tasandile 0 või mida kasutatakse väga harva. Nende sekka kuuluvad mitmed ajaloolised kirjad, piktogrammid ja muud abstrakstemad sümbolid. Tasandid 2 ja 3 hoiustavad neid Hiina, Jaapani ja Korea (CJK) tähestike märke, mis ei mahtunud CJK märkide jaoks spetsiaalselt eraldatud plokkidesse tasandil 0.<ref name=":4" />

Tasand 14 ehk Täiendav Erikasutusega tasand (ingl ''Supplementary Special-purpose Plane'') sisaldab neid küljenduse kontrollimiseks kasutavaid märke, mis samuti ei mahtunud tasandil 0 vastavasse plokki. Tasandid 15 ja 16 on privaatseks kasutuseks. Kokku on versioonis 15.0 privaatseks kasutuseks 137468 märki, neist 6400 on tasandil 0 ja ülendjäänud tasanditel 15 ja 16.<ref name=":5">{{Raamatuviide |pealkiri=The Unicode® Standard, Version 15.0 – Core Specification |aasta=2022 |isbn=978-1-936213-32-0 |koht=Mountain View, CA |lehekülg=44 |täpsustus=Petaükk 2.8 |keel=inglise}}</ref>

=== Koodiplokid ===
Unicode ei määra rangelt ära piirkondi oma andmestruktuurides, küllaga on kasulik vaadelda tasandit 0 kui jagatuna plokkideks. Üldiselt on ühes plokis olevad märgid omavahel seotdu, sarnase kasutuspiirkonnaga või mõnel muul viisil ühendatud. Need plokid ei piira seda, millised märgid lõpuks kuhu satuvad, aga hõlpsustavad siiski koodipunktide hoomamist. Koodiplokid pole ka kuidagi eksklusiivsed, näiteks matemaatilisi sümboleid leidub valuutasid kujutavate märkide plokis, ladina tähestiku märke leidub vähemalt 14 erinevad koodiplokis.<ref name=":5" />

=== Üksik- ja komposiitmärgid ===
[[Fail:Unicode font Mon alphabet 50%.gif|pisi|Komposiitmärkide loomine]]
Et laiendada võimalike märkide arvu, kasutab Unicode komposiitmärkide loomise mehhanismi. Sisuliselt tähendab see seda, et täpid, katused jne lisatakse märgile tagant järele. Samas on enamustest laialdaselt kasutusel olevatest märkidest olemas ka valmis versioonid, et muuta teisendamine vanemate kodeerimissüsteemidega lihtsamaks.<ref name=":6" />

Selle näide on korea tähestiku Hanguli kodeerimine: Unicode võimaldab koostada hanguli silpe nende üksikutest Hangul Jamo alamkomponentidest, samas on kodeeritud ka 11172 eelkoostatud silpide kombinatsiooni.

=== Kodeerimine ===
Kuni aastani 1996, kui tuli välja Unicode 2.0, oli tegemist 16-bitise süsteemiga, siis aga laiendati koodiruum vahemikuni U+0000 kuni u+10FFFF, mis nõuaks kasutada 21-bitist kodeerimist. Selle asemel on võimalik Unicode märke esitada mitme arvu jadana, vastavalt kodeerimise viisile kuni nelja 8-bitise, kahe 16-bitise või ühe 32-bitise koodiühikuna.<ref>{{Netiviide |pealkiri=FAQ - UTF-8, UTF-16, UTF-32 & BOM |url=https://www.unicode.org/faq/utf_bom.html |vaadatud=2024-04-30 |väljaanne=www.unicode.org}}</ref>

==== UTF-8 ====
Enim levinud Unicode'i kodeerimise viis on UTF-8. Nagu nimi viitab, koosnevad UTF-8 kodeeringus märgid 8-bitistest koodiühikutest. UTF-8 on ASCII-ga tagasiühilduv.

UTF-8 kodeerimise esimene bait kannab infot selle kohta, mitmest baidist märk koosneb. Ühest baidist koosnevad märgid on kujul 0xxxxxxx, ehk võimalik on näidata täpselt 7 bitti, mis on ASCII märkide pikkus. Kui ühest baidist ei piisa, annab kodeerimine sellest märku kujul 110xxxxx – siin näitab esimese 1-e ja 0 vahel olevate 1-e arv, mitu baiti on märgis lisaks sellele, mida parasjagu loetakse. Iga järgmine bait on kujul 10xxxxxx kus 10 viitab, et tegu on jätkubaidiga.<ref>{{Netiviide |kuupäev=2019-09-09 |pealkiri=How UTF-8 Unicode encoding works |url=https://www.johndcook.com/blog/2019/09/09/how-utf-8-works/ |vaadatud=2024-04-30 |väljaanne=www.johndcook.com |keel=en-US}}</ref>

Näide:

# Euro märgi € kuju Unicode's on U+20AC, mis on kahendsüsteemis 0010 0000 1010 1100.
# Selle kodeerimiseks läheb vaja kolme baiti.
# Esimene bait on kujul 1<u>11</u>0xxxx. 1-e ja 0-i vahel on kaks 1-e, seega koosneb märk 1+2=3 baidist.
# Saame kahendkoodis € kujuks: <u>1110</u>0010; <u>10</u>000010; <u>10</u>101100 ← alla on joonitud märgi pikkusele viitav ja jätkubaite signaleerivad osad baitides.

== Viited ==
{{viited}}

== Välislingid ==
* [http://www.unicode.org The Unicode Consortium]
* [http://titus.uni-frankfurt.de/unicode/alphabet/balttest.htm TITUS Unicode Sample Page Alphabets of Baltic Languages] - UTF-8

[[Kategooria:Märgistikud]]
[[Kategooria:Standardid]]
__SISUKORDEES__