Metin & İçerik Araçları 94 kez kullanıldı

Tekrarlanan Satırları Temizleme (Duplicate Remover)

Binlerce satırlık metin veya veri listesindeki mükerrer kayıtları tek tıkla silin, boş satırları temizleyin ve alfabetik sıralayın.

Toplam Giriş Satırı
0
Silinen Mükerrer / Boş Satır
0
Kalan Benzersiz Satır
0
Metodoloji ve Yerel Veri Güvenliği: Metin analizi, dönüştürme ve içerik işleme işlemleri tamamen tarayıcı belleğinizde (Client-Side JavaScript) yürütülür. Yapıştırdığınız metinler, makaleler veya kurumsal belgeler hiçbir sunucuya gönderilmez ve kaydedilmez. Hesaplama standartlarımız için Hakkımızda & Metodoloji ve Kullanım Şartları sayfalarımızı inceleyebilirsiniz.

Veri Tekilleştirme (Deduplication) ve Tekrarlanan Satırları Temizleme Rehberi

Büyük veri listeleri, e-posta bülten abone kayıtları, sunucu erişim günlükleri (log dosyaları), SEO anahtar kelime listeleri ve ürün stok kodları (SKU) üzerinde çalışırken en sık karşılaşılan veri kirliliği mükerrer (tekrarlanan / duplicate) satırlardır. Binlerce satırlık bir metin yığınında aynı kaydın birden fazla kez yer alması; veritabanı UNIQUE KEY çakışmalarına, aynı müşteriye mükerrer SMS/e-posta gönderilerek bütçe israfı yapılmasına ve istatistiksel analizlerin hatalı çıkmasına neden olur.

Veri tekilleştirme (Data Deduplication) algoritması, metindeki her bir satırı karma tablosu (Hash Map / Set) veri yapısından geçirerek O(n) doğrusal zaman karmaşıklığında tarar; ilk karşılaşılan benzersiz kaydı korurken sonraki tüm kopyaları milisaniyeler içinde eler.

Tekilleştirme Algoritması ve Normalizasyon Parametreleri

Sağlıklı bir mükerrer satır temizliği için yalnızca birebir aynı dizgeleri aramak yetmez; görünmeyen boşlukların ve harf kasası farklarının da ön işlemden (pre-processing) geçirilmesi gerekir:

  • Kenar Boşluklarını Kırpma (Trim Whitespace): Satır sonlarında unutulmuş bir boşluk karakteri nedeniyle "elma" ile "elma " bilgisayar tarafından iki farklı satır sanılır. trim() işlemi bu gizli kopyaları yakalar.
  • Büyük/Küçük Harf Duyarlılığı (Case Sensitivity): Duyarsız (Case-Insensitive) modda "[email protected]" ile "[email protected]" aynı kayıt kabul edilerek tekilleştirilir; duyarlı modda ise ikisi ayrı korunur.
  • Boş Satır İmhası (Remove Empty Lines): Yalnızca \r\n veya boşluk içeren hayalet satırlar listeden tamamen silinir.
  • Sıralama Modları: Orijinal giriş sırasını koruma, Türkçe alfabetik (A-Z veya Z-A) sıralama ya da satır uzunluğuna göre sıralama.

Farklı Temizleme Modlarının Veri Kümesi Üzerindeki Etkisi Tablosu

5 satırlık örnek bir kirli veri listesinin (["Ankara", "ankara", "Ankara ", "İzmir", ""]) seçilen filtreleme ayarlarına göre ürettiği çıktı farkları aşağıdaki tabloda gösterilmiştir:

Seçilen Temizleme Kombinasyonu Kalan Benzersiz Satır Sayısı Üretilen Çıktı Listesi Kullanım Senaryosu
Ham Eşleşme (Harf Duyarlı, Trim Kapalı) 5 Satır Ankara, ankara, "Ankara ", İzmir, [Boş] Kriptografik hash veya ham log analizi.
Boşluk Kırpma + Boş Satır Silme (Harf Duyarlı) 3 Satır Ankara, ankara, İzmir Linux dosya yolları ve URL tekilleştirme.
Tam Normalizasyon (Harf Duyarsız + Trim + Boş Sil) 2 Satır Ankara, İzmir E-posta listesi, telefon, isim ve SEO kelime temizliği.
Sadece Tekrar Edenleri Göster (Find Duplicates) 1 Satır Ankara (3 kez geçti) Stok/fatura listesinde çift girilen hatalı kayıtları bulma.

Somut Örnek Uygulama Senaryosu (E-Posta ve Kupon Listesi Temizliği)

Bir dijital pazarlama uzmanının 3 farklı etkinlik formundan topladığı 12.400 satırlık e-posta listesini birleştirdiğini varsayalım:

  • 1. Adım: Birleştirilen liste araca yapıştırılır; "Satır başı/sonu boşlukları temizle", "Boş satırları kaldır" ve "Büyük/küçük harf duyarsız (Case-insensitive)" seçenekleri işaretlenir.
  • 2. Adım: Algoritma [email protected] ile [email protected] kayıtlarını aynı kabul ederek 3.150 mükerrer kaydı ve 420 boş satırı siler.
  • 3. Adım: Geriye kalan 8.830 net ve benzersiz abone adresi A'dan Z'ye sıralanmış olarak dışa aktarılır; böylece bülten gönderim maliyetinden %28 tasarruf edilir.

Sık Yapılan Hatalar ve Uzman İpuçları

  • URL ve Şifre Listelerinde Harf Duyarlılığı: E-posta adresleri ve alan adları büyük/küçük harfe duyarsızdır; ancak Base64 kodları, YouTube video ID'leri, kısaltılmış linkler (bit.ly) ve şifre listeleri büyük/küçük harfe duyarlıdır. Bu tür verilerde "Büyük/küçük harf duyarlı" seçeneği mutlaka açık tutulmalıdır.
  • Excel Çift Tırnak Kalıntıları: CSV dosyalarından kopyalanan verilerde bazı satırların başında "Veri" şeklinde çift tırnak bulunurken bazılarında bulunmayabilir; tekilleştirme öncesinde tırnak işaretlerinin temizlenmesi eşleşme başarısını artırır.

Sıkça Sorulan Sorular

Tekrarlanan Satırları Temizleme (Duplicate Remover) hakkında merak edilenler

En yaygın sebep satırlardan birinin sonunda görünmeyen bir boşluk (space) veya sekme (tab) karakterinin bulunması ya da birinin büyük, diğerinin küçük harfle yazılmış olmasıdır. "Boşlukları kırp (Trim)" ve "Büyük/küçük harf duyarsız" ayarlarını aktif ettiğinizde bu gizli kopyalar da yakalanır.
Tümünü Gör →