Merkistöt - ikuinen ongelma

Konsoli käyttää eri merkistöä kuin luetun tekstitiedoston merkistö.

Ratkaisuja on kaksi. Muuttaa lähdemateriaalin merkistön terminaalin kanssa yhteensopivaksi tai sitten kirjoittaa ohjelman joka pystyy käsittelemään lähdemateriaalin merkistöä.

Tässä tapauksessa lähdemateriaali käyttää ilmeisesti UTF-X merkistöä.

Wide kirjastoja käyttämällä pitäisi onnistua käsittelemään "wide" merkistöjä mutta ilmeisesti se on vieläkin ongelmallinen. C ja C:n tulevissa standardeissa tähän tietääkseni puututaan.

http://utfcpp.sourceforge.net/
http://tidy.sourceforge.net/cgi-bin/lxr/source/src/utf8.c

Konsolin asetuksista vain näyttämään tekstit UTF-8:na, niin näkyy ääkkösetkin oikein.

UTF-8 on ascii/ansi yhteensopiva.

gcc -kääntäjän windows -väännös mingw-gcc saa konsoliin tulostettaessa aikaan juuri tuota.

Windowsissa oletusmerkistö on kiinteäpituuksinen 8 bittiä/merkki ns. Windows-1252. (Joissakin windowsin kieliversioissa oletusmerkistö voi olla muu, mutta silti kiinteäpituuksinen 8 bittiä/merkki, tai esim. kiinan- tai japaninkielisessä windowsissa oletusmerkistö voi olla vanhentunutta tapaa käyttävä muuttuvapituuksinen koodaus). MUTTA: Edelläoleva koskee GUI -sovelluksia. Konsolitilan oletusmerkistö on yleensä suomalaisessa windowsissa 850, mutta asennustavasta riippuen se voi olla myös 437. Jenkkiversioissa olettaisin oletuksen olevan 437.


Windowsin konsolin saa UTF-8 -koodausta käyttäväksi chcp 65001 -komennolla.
Vastaavasti normaaliin paluu sujuu chcp 850 -komennolla.

Tuolla komennolla saa siis hölmösti mingw-gcc:llä käännetyn ohjelman näyttämään järkevältä. Mutta muut ohjelmat ja windowsin komentotilan sisäiset komennot eivät välttämättä osaa hallita tilannetta, jossa chcp:llä on vaihdettu merkkikoodaukseksi muu kuin oletus.

Siksipä tulostuksen uudelleenohjaus tiedostoon tyyliin:

c:\komento >file1.txt

tai kirjoittimelle:

c:\komento >lpt1

saattaa tuottaa yllätyksiä jos merkkivalikoimaksi on vaihdettu muu kuin oletus.

Siksi esittämäni tapa on lähinnä hätävara, jolla huonosti koodatut sovellukset saadaan näyttämään oikeilta, mutta fiksumpaa olisi korjata väärin tehdyt sovellukset.

Windowsin komentotilaa ei ole alunperin suunniteltu tukemaan unicodea, ja esitetty chcp 65001 tuo osittaisen unicode -tuen, mutta rikkoo yhteensopivuutta monessa muussa asiassa.

asettamalla chcp 65001, jotta se tukisi utf-8 merkistöä, aiheuttaa useiden dos-komentojen toimimattomuuden, mm. SET ja COPY, kun ne ajetaan batch-filenä.
Jostain syystä komentorivien alkuosasta leikkautuu merkkejä pois, jolloin tulee erroria ...

Eikö tähän todellakaan ole mitään ratkaisua ?