Robots.txt (RFC 9309) Tarama Protokolü ve GA4 UTM Kampanya Parametre Mimarisi
Teknik SEO ve dijital analitik yönetiminde iki kritik yapı taşı bulunur: Arama motoru ve yapay zeka botlarının sitenizin hangi dizinlerini tarayabileceğini (Crawl Budget) yöneten Robots.txt (Robots Exclusion Protocol - RFC 9309) dosyası ve dış kaynaklardan (reklam, bülten, sosyal medya, influencer) gelen trafiğin kaynağını Google Analytics 4 (GA4) üzerinde hatasız sınıflandıran UTM (Urchin Tracking Module) parametreleri.
Kök dizinde (https://site.com/robots.txt) barındırılan robots.txt dosyası, botlara User-agent kimliğine göre izin (Allow) veya engelleme (Disallow) direktifleri verir. Son yıllarda özellikle içeriklerinizi izinsiz kazıyarak (scraping) dil modeli eğiten Yapay Zeka Botlarını (GPTBot, ClaudeBot, CCBot, Google-Extended) kontrol altına almak veya e-ticaret sitelerindeki binlerce filtreleme/sepet URL'sinin tarama bütçesini bitirmesini önlemek için robots.txt yapılandırması hayati önem kazanmıştır.
Arama Motoru & Yapay Zeka Botları ve GA4 UTM Parametreleri Tablosu
| Bileşen / Parametre | Sözdizimi / Değer Örneği | Zorunluluk | Teknik İşlevi ve Analitik Karşılığı |
|---|---|---|---|
| User-agent: Googlebot | Disallow: /sepet/, Allow: / |
Standart SEO | Google web tarayıcısının tarama bütçesini yönetir |
| User-agent: GPTBot / CCBot | Disallow: / |
İsteğe Bağlı | OpenAI ve Common Crawl yapay zeka eğitim kazımasını engeller |
utm_source (Kaynak) |
google, instagram, bulten |
Zorunlu | Trafiğin geldiği ana platformu (Nereden geldi?) tanımlar |
utm_medium (Aracı / Kanal) |
cpc, paid_social, email |
Zorunlu | Pazarlama kanal türünü (GA4 Default Channel Group) belirler |
utm_campaign (Kampanya) |
kasim_indirimi_2026 |
Zorunlu | Kampanya bazlı dönüşüm (ROI / ROAS) takibini sağlar |
utm_term & utm_content |
kirmizi_buton, story_video_1 |
Opsiyonel | Hedeflenen anahtar kelimeyi veya A/B reklam kreatifini ayırır |
Somut Örnek Senaryo: E-Ticaret Robots.txt ve Kampanya UTM Linki Kurulumu
- Senaryo 1 (Filtre Parametrelerinin Tarama Bütçesini Yemesini Önleme): Bir giyim sitesinde renk ve fiyat sıralama filtreleri
?sort=price_asc&filter_color=mavişeklinde sonsuz URL üretiyorsa, Googlebot'un bu kopya sayfalarda kaybolmaması için:User-agent: *Disallow: /admin/Disallow: /sepet/Disallow: /*?sort=Disallow: /*&filter_Sitemap: https://pagus.net/sitemap.xml - Senaryo 2 (GA4 Uyumlu UTM Link Üretimi): Instagram hikayelerinde paylaşılan ücretli bir sponsorlu bağlantının GA4 raporlarında "Unassigned (Atanmamış)" düşmemesi için standart küçük harf ve alt çizgi formatı:
https://pagus.net/kampanya?utm_source=instagram&utm_medium=paid_social&utm_campaign=yaz_lansmani&utm_content=hikaye_video_a
Sık Yapılan Hatalar ve Uzman İpuçları
- İç Linklerde (Internal Links) Asla UTM Kullanmayın! Sitenizin ana sayfasındaki bir banner'dan kendi ürün sayfanıza
?utm_source=anasayfa_bannerşeklinde UTM link verirseniz, kullanıcı tıkladığı anda Google Analytics mevcut oturumu (örneğin Google Ads'den geldiği bilgiyi) sıfırlar ve yeni bir oturum başlatır. Bu durum tüm dönüşüm atıf (attribution) verilerinizi bozar. - CSS ve JS Klasörlerini Disallow Etmek:
robots.txtiçinde/assets/veya/*.js$dosyalarını engellerseniz Googlebot sayfanızı mobil uyumlu olarak çizemez (render edemez) ve sıralamanız hızla düşer. - Soru İşareti (Query String) Çakışması: Hedef URL içerisinde zaten bir soru işareti varsa (örneğin
site.com/urun?id=45), UTM parametreleri ikinci bir?ile değil,&utm_source=...birleştiricisi ile eklenmelidir. Standart URL API (URLSearchParams) bu ayrımı otomatik olarak yönetir ve özel karakterleri güvenli biçimde kodlar. - Crawl-delay Direktifinin Googlebot Tarafından Yok Sayılması: Bing ve Yandex botları
Crawl-delay: 5(her istek arasında 5 saniye bekle) komutuna uyarken, Googlebot bu satırı tamamen yok sayar. Google tarama hızını sınırlandırmak için sunucu tarafında doğru HTTP durum kodları ve önbellekleme kullanılmalıdır.