Meta Robots Etiketi ve X-Robots-Tag HTTP Başlığı ile İndeksleme Kontrolü
Arama motoru botlarının bir sayfayı taradıktan sonra o sayfayı arama sonuçları dizinine (index) ekleyip eklemeyeceğini, sayfadaki bağlantıları takip edip etmeyeceğini ve arama sonuçlarında (SERP) ne kadar metin/görsel önizlemesi (snippet) göstereceğini belirleyen direktiflere Robots Meta Direktifleri denir. Bu kurallar HTML sayfalarında <head> içine <meta name="robots" content="..."> etiketiyle, PDF/Görsel/Video gibi HTML olmayan dosyalarda ise sunucu yanıt başlığına X-Robots-Tag eklenerek uygulanır.
Özellikle Google'ın Keşfet (Google Discover) ve Büyük Görsel Önizlemeleri algoritmasında yer alabilmek için her indekslenebilir içerik sayfasında max-image-preview:large direktifinin bulunması modern teknik SEO'nun altın kuralıdır. Aksi takdirde Google mobil sonuçlarda makale kapak fotoğrafınızı sadece küçük bir kare ikon olarak gösterebilir.
Meta Robots ve X-Robots-Tag Direktifleri ve Teknik İşlevleri Tablosu
| Direktif Parametresi | Varsayılan Durum | Arama Motoru Botuna Verdiği Kesin Emir |
|---|---|---|
index / noindex |
index |
Sayfayı arama sonuçlarında göster / Arama sonuçlarından tamamen kaldır |
follow / nofollow |
follow |
Sayfadaki linkleri takip et ve otorite aktar / Hiçbir linki takip etme |
max-image-preview:large |
standard |
Google Keşfet ve SERP'te tam genişlikli büyük görsel önizlemesine izin ver |
max-snippet:[sayı] |
-1 (Sınırsız) |
Meta açıklamada gösterilecek maksimum karakter sayısı (0: açıklama yok) |
noarchive & nosnippet |
Kapalı | Önbellek kopyasını saklama / Arama sonucunda hiçbir metin özeti veya AI özeti gösterme |
unavailable_after:[tarih] |
Süresiz | Belirtilen ISO 8601 tarihinden sonra sayfayı otomatik olarak indeksten kaldır |
Somut Örnek Uygulama: Sayfa Türlerine Göre Doğru Direktif Kombinasyonları
- Senaryo 1 (Standart Blog Makalesi ve Ürün Sayfası - Maksimum Görünürlük):
HTML Kodu:<meta name="robots" content="index, follow, max-image-preview:large, max-snippet:-1, max-video-preview:-1">
Bu kombinasyon Google'a sayfayı indekslemesini ve en zengin görsel/metin önizlemesini kullanmasını söyler. - Senaryo 2 (Site İçi Arama Sonuçları, Sepet ve Üye Giriş Sayfaları):
HTML Kodu:<meta name="robots" content="noindex, follow">
Bu sayede kalitesiz iç arama sayfaları indeksi şişirmez (Thin Content cezası önlenir), ancak bot sayfadaki ürün linklerini takip etmeye devam eder. - Senaryo 3 (Sunucudaki Özel PDF Dosyalarını İndeksten Gizleme - Apache .htaccess):
PDF dosyalarında HTML etiketi kullanılamadığı için.htaccessiçerisine şuX-Robots-Tagkuralı eklenir:<FilesMatch "\.pdf$"> Header set X-Robots-Tag "noindex, noarchive" </FilesMatch>
Sık Yapılan Hatalar ve Uzman İpuçları
- Hem
robots.txt DisallowHemnoindexKullanmak: Bir sayfayırobots.txtdosyasındanDisallowederseniz Googlebot o sayfayı hiç açamaz; sayfayı açamadığı için de<head>içindekinoindexetiketini göremez ve URL indekste kalmaya devam eder! Bir sayfayı indeksten silmek içinrobots.txtiznini açık bırakıp sadecenoindexetiketi kullanmalısınız. - Çelişkili Direktiflerde Kısıtlayıcı Kural Geçerlidir: Bir sayfada yanlışlıkla iki farklı meta etiketi (biri
index, diğerinoindex) bulunursa, Google her zaman daha kısıtlayıcı olanı (noindex) uygular ve sayfayı dizinden düşürür. - Test ve Staging Ortamlarını Unutmak: Geliştirme aşamasındaki alt alan adlarında (örneğin
test.site.com)X-Robots-Tag: noindex, nofollowkuralını sunucu bazında aktif tutmak test sayfalarının Google'da gerçek sitenizle kopya içerik rekabetine girmesini önler; ancak canlıya (production) geçerken bu başlığı kaldırmayı mutlaka kontrol listesine ekleyin.