Veri Tekilleştirme (Deduplication) ve Tekrarlanan Satırları Temizleme Rehberi
Büyük veri listeleri, e-posta bülten abone kayıtları, sunucu erişim günlükleri (log dosyaları), SEO anahtar kelime listeleri ve ürün stok kodları (SKU) üzerinde çalışırken en sık karşılaşılan veri kirliliği mükerrer (tekrarlanan / duplicate) satırlardır. Binlerce satırlık bir metin yığınında aynı kaydın birden fazla kez yer alması; veritabanı UNIQUE KEY çakışmalarına, aynı müşteriye mükerrer SMS/e-posta gönderilerek bütçe israfı yapılmasına ve istatistiksel analizlerin hatalı çıkmasına neden olur.
Veri tekilleştirme (Data Deduplication) algoritması, metindeki her bir satırı karma tablosu (Hash Map / Set) veri yapısından geçirerek O(n) doğrusal zaman karmaşıklığında tarar; ilk karşılaşılan benzersiz kaydı korurken sonraki tüm kopyaları milisaniyeler içinde eler.
Tekilleştirme Algoritması ve Normalizasyon Parametreleri
Sağlıklı bir mükerrer satır temizliği için yalnızca birebir aynı dizgeleri aramak yetmez; görünmeyen boşlukların ve harf kasası farklarının da ön işlemden (pre-processing) geçirilmesi gerekir:
- Kenar Boşluklarını Kırpma (Trim Whitespace): Satır sonlarında unutulmuş bir boşluk karakteri nedeniyle
"elma"ile"elma "bilgisayar tarafından iki farklı satır sanılır.trim()işlemi bu gizli kopyaları yakalar. - Büyük/Küçük Harf Duyarlılığı (Case Sensitivity): Duyarsız (Case-Insensitive) modda
"[email protected]"ile"[email protected]"aynı kayıt kabul edilerek tekilleştirilir; duyarlı modda ise ikisi ayrı korunur. - Boş Satır İmhası (Remove Empty Lines): Yalnızca
\r\nveya boşluk içeren hayalet satırlar listeden tamamen silinir. - Sıralama Modları: Orijinal giriş sırasını koruma, Türkçe alfabetik (A-Z veya Z-A) sıralama ya da satır uzunluğuna göre sıralama.
Farklı Temizleme Modlarının Veri Kümesi Üzerindeki Etkisi Tablosu
5 satırlık örnek bir kirli veri listesinin (["Ankara", "ankara", "Ankara ", "İzmir", ""]) seçilen filtreleme ayarlarına göre ürettiği çıktı farkları aşağıdaki tabloda gösterilmiştir:
| Seçilen Temizleme Kombinasyonu | Kalan Benzersiz Satır Sayısı | Üretilen Çıktı Listesi | Kullanım Senaryosu |
|---|---|---|---|
| Ham Eşleşme (Harf Duyarlı, Trim Kapalı) | 5 Satır | Ankara, ankara, "Ankara ", İzmir, [Boş] |
Kriptografik hash veya ham log analizi. |
| Boşluk Kırpma + Boş Satır Silme (Harf Duyarlı) | 3 Satır | Ankara, ankara, İzmir |
Linux dosya yolları ve URL tekilleştirme. |
| Tam Normalizasyon (Harf Duyarsız + Trim + Boş Sil) | 2 Satır | Ankara, İzmir |
E-posta listesi, telefon, isim ve SEO kelime temizliği. |
| Sadece Tekrar Edenleri Göster (Find Duplicates) | 1 Satır | Ankara (3 kez geçti) |
Stok/fatura listesinde çift girilen hatalı kayıtları bulma. |
Somut Örnek Uygulama Senaryosu (E-Posta ve Kupon Listesi Temizliği)
Bir dijital pazarlama uzmanının 3 farklı etkinlik formundan topladığı 12.400 satırlık e-posta listesini birleştirdiğini varsayalım:
- 1. Adım: Birleştirilen liste araca yapıştırılır; "Satır başı/sonu boşlukları temizle", "Boş satırları kaldır" ve "Büyük/küçük harf duyarsız (Case-insensitive)" seçenekleri işaretlenir.
- 2. Adım: Algoritma
[email protected]ile[email protected]kayıtlarını aynı kabul ederek 3.150 mükerrer kaydı ve 420 boş satırı siler. - 3. Adım: Geriye kalan 8.830 net ve benzersiz abone adresi A'dan Z'ye sıralanmış olarak dışa aktarılır; böylece bülten gönderim maliyetinden %28 tasarruf edilir.
Sık Yapılan Hatalar ve Uzman İpuçları
- URL ve Şifre Listelerinde Harf Duyarlılığı: E-posta adresleri ve alan adları büyük/küçük harfe duyarsızdır; ancak Base64 kodları, YouTube video ID'leri, kısaltılmış linkler (bit.ly) ve şifre listeleri büyük/küçük harfe duyarlıdır. Bu tür verilerde "Büyük/küçük harf duyarlı" seçeneği mutlaka açık tutulmalıdır.
- Excel Çift Tırnak Kalıntıları: CSV dosyalarından kopyalanan verilerde bazı satırların başında
"Veri"şeklinde çift tırnak bulunurken bazılarında bulunmayabilir; tekilleştirme öncesinde tırnak işaretlerinin temizlenmesi eşleşme başarısını artırır.