En uzun kural kazanır
Allow: /blog/ ve Disallow: /blog/taslak/ birlikteyse, daha uzun (daha belirgin) olan ikinci kural /blog/taslak/ altındaki sayfalar için geçerlidir.
Teknik SEO
Robots.txt test aracı
Bir adresin robots.txt kurallarına göre taranıp taranamayacağını test edin.
- Ücretsiz
- Kayıt gerektirmez
- Canlı adres analizi
- Sonuçlar kaydedilmez
Adresi girip Test et düğmesine basın; sonuçlar burada görünecek.
Robots.txt Test Aracı nedir?
robots.txt'deki tek bir hatalı satır, sitenin önemli bir bölümünü arama motorlarına kapatabilir. Bu araç sitenizin canlı robots.txt dosyasını okur ya da yapıştırdığınız taslağı kullanır; seçtiğiniz botun hangi kural grubuna girdiğini, adresi hangi satırın engellediğini veya serbest bıraktığını gösterir. Google'ın en uzun eşleşme kuralı, * ve $ joker karakterleri desteklenir.
Nasıl kullanılır?
Test edilecek sayfanın tam adresini girin.
Botu seçin (Googlebot, Bingbot, yapay zekâ botları…).
Yayındaki dosya yerine bir taslağı denemek isterseniz robots.txt içeriğini yapıştırın.
Sonucu ve vurgulanan kural satırını inceleyin; diğer botlar tablosundan genel durumu görün.
Bilmeniz gerekenler
Yapay zekâ botları
GPTBot, ClaudeBot veya Google-Extended gibi botları ayrı ayrı engelleyebilirsiniz; bu, Google arama sıralamanızı etkilemez.
Sık sorulan sorular
robots.txt bulunamazsa ne olur?
Dosya 404 gibi bir hata veriyorsa tüm site taranabilir kabul edilir. Ancak sunucu 5xx hatası veriyorsa Google siteyi geçici olarak tamamen engellenmiş sayar.
Crawl-delay işe yarar mı?
Google bu yönergeyi uygulamaz; Bing ve Yandex dikkate alır. Google için tarama hızı sunucu yanıtlarına göre otomatik ayarlanır.