Türkçe Karakter Dönüştürücü (ASCII ↔ UTF-8) ve Mojibake Kodlama Onarımı
Bilgisayar sistemlerinde metinlerin saklanması ve iletilmesi sırasında kullanılan karakter kümeleri (Character Sets) arasındaki uyumsuzluklar iki temel ihtiyacı doğurur: Birincisi, Türkçe özel harfleri (ç, ğ, ı, İ, ö, ş, ü) desteklemeyen uluslararası SMS ağ geçitleri, eski ERP/muhasebe yazılımları, SWIFT banka transfer açıklamaları ve dosya sistemleri için Türkçeden İngilizce ASCII'ye (De-ASCII / Transliteration) dönüştürme işlemidir.
İkincisi ise farklı karakter kodlamaları (UTF-8 ile ISO-8859-9 / Windows-1254) arasında yanlış yorumlama sonucu oluşan ve teknik literatürde Mojibake olarak adlandırılan bozuk Türkçe karakter dizilerinin (örneğin çözüm, ışık, Müşteri) tekrar okunabilir UTF-8 Türkçeye onarılmasıdır.
Karakter Kodlama Standartları ve Dönüşüm Mekanizması
Türkçe metinlerin dijital temsili tarihsel olarak üç ana standart üzerinden yürütülür:
- US-ASCII (7-Bit / 0-127): Yalnızca temel İngilizce harfleri (
A-Z, a-z), rakamları ve temel sembolleri içerir. Türkçe noktalı ve çengelli harfleri barındırmaz; bu nedenle 12 karakterlik Türkçe harf çifti (ç, Ç, ğ, Ğ, ı, İ, ö, Ö, ş, Ş, ü, Ü) en yakın taban ASCII harfine (c, C, g, G, i, I, o, O, s, S, u, U) indirgenir. - ISO-8859-9 (Latin-5) ve Windows-1254 (1 Byte): Tek byte (8-bit) üzerinde
0xD0 - 0xFEadreslerine Türkçe harfleri yerleştiren eski yerel kodlamadır. - UTF-8 (Çok Byte'lı Unicode): Modern web standardıdır. Türkçe özel harfleri
0xC3,0xC4ve0xC5öncül byte'ları ile başlayan 2 byte'lık diziler halinde kodlar.
Türkçe Harflerin ASCII, Unicode ve Bozuk (Mojibake) Karşılıkları Tablosu
Veritabanı kurtarma ve metin temizleme işlemlerinde referans alınan 12 Türkçe karakterin teknik kod tablosu aşağıdadır:
| Türkçe Harf | ASCII Karşılığı | Unicode Kodu | HTML Entity | Bozuk UTF-8 (Mojibake) Görünümü |
|---|---|---|---|---|
| ç / Ç | c / C |
U+00E7 / U+00C7 | ç / Ç |
ç / Ç |
| ğ / Ğ | g / G |
U+011F / U+011E | ğ / Ğ |
ÄŸ / Äž |
| ı / İ | i / I |
U+0131 / U+0130 | ı / İ |
ı / İ |
| ö / Ö | o / O |
U+00F6 / U+00D6 | ö / Ö |
ö / Ö |
| ş / Ş | s / S |
U+015F / U+015E | ş / Ş |
ÅŸ / Åž |
| ü / Ü | u / U |
U+00FC / U+00DC | ü / Ü |
ü / Ü |
Somut Örnek Uygulama Senaryoları
Senaryo 1 (Uluslararası SWIFT ve Toplu SMS Hazırlığı): Bir dış ticaret firması yurt dışındaki bankaya göndereceği SWIFT mesajında veya 160 karakterlik tekil SMS kampanyasında "ÇAĞDAŞ İNŞAAT VE DIŞ TİCARET A.Ş. - ÖDEME BİLDİRİMİ" metnini kullanacaktır. De-ASCII dönüşümü uygulandığında metin "CAGDAS INSAAT VE DIS TICARET A.S. - ODEME BILDIRIMI" haline gelir; böylece alıcı bankada karakter kırılması yaşanmaz ve SMS maliyeti yarıya düşer.
Senaryo 2 (Bozuk Veritabanı / Excel Yedeği Onarımı): Eski bir MySQL yedeğinden alınan müşteri listesinde adreslerin "Güzelbahçe Mah. Atatürk Cad. İzmir" şeklinde bozulduğu görülmüştür. Bozuk Unicode Onarım (Mojibake Fix) filtresi çalıştırıldığında tüm 2-byte kaymaları tersine çevrilerek metin anında "Güzelbahçe Mah. Atatürk Cad. İzmir" olarak kurtarılır.
Sık Yapılan Hatalar ve Uzman İpuçları
- Excel CSV Dosyalarında UTF-8 BOM Eksikliği: UTF-8 ile kaydedilmiş bir CSV dosyasını Microsoft Excel'de çift tıklayarak açtığınızda Türkçe harfler
üşeklinde bozuk görünüyorsa dosya bozuk değildir; yalnızca başında 3 byte'lık UTF-8 BOM (Byte Order Mark:EF BB BF) imzası eksiktir. - Soru İşareti (???) Kaybı ile Mojibake Farkı: Metindeki harfler
çveyaışeklinde iki karaktere dönüşmüşse veri kaybı yoktur ve %100 geri döndürülebilir. Ancak veritabanına kaydedilirken doğrudan ASCII?(0x3F) olarak yazılmışsa orijinal byte bilgisi silinmiştir; bu durumda bağlamsal kelime tamamlama gerekir.