Engellemek ≠ dizinden çıkarmak
robots.txt ile engellenen bir sayfa başka sitelerden bağlantı alırsa yine de dizinde görünebilir. Sayfayı dizinden çıkarmak için noindex kullanın.
Birkaç tıkla robots.txt kurallarınızı ve sitemap.xml dosyanızı oluşturun, indirin.
Google, changefreq ve priority değerlerini dikkate almaz; doğru lastmod değeri daha önemlidir.
robots.txt arama motoru botlarına sitenizin hangi bölümlerini taramaları gerektiğini, XML site haritası ise hangi sayfaların var olduğunu söyler. Bu araçla hazır şablonlardan (WordPress, e-ticaret, genel) başlayıp kural ekleyebilir, sayfa listenizden geçerli bir sitemap.xml üretip dosya olarak indirebilirsiniz.
Robots.txt sekmesinde bir şablon seçin veya kuralları kendiniz ekleyin.
Site haritası adresinizi yazın; robots.txt'nin sonuna eklenir.
Sitemap sekmesinde her satıra bir adres yapıştırın, güncelleme sıklığı ve önceliği seçin.
Dosyaları indirip sitenizin kök dizinine yükleyin.
robots.txt ile engellenen bir sayfa başka sitelerden bağlantı alırsa yine de dizinde görünebilir. Sayfayı dizinden çıkarmak için noindex kullanın.
Google sayfayı görsel olarak işler; stil ve betik dosyalarını engellemek sayfanın yanlış değerlendirilmesine yol açabilir.
Alan adının köküne: https://alanadiniz.com/robots.txt. Alt klasördeki robots.txt dosyaları okunmaz.
Tek bir site haritası en fazla 50.000 adres ve 50 MB (sıkıştırılmamış) olabilir. Daha büyük siteler için site haritası dizini (sitemap index) kullanılır.
Yapay zekâ yanıtları hata içerebilir. Kişisel bilgi paylaşmayın; yazışmalar hizmet kalitesi için 90 gün saklanır.