Robots.txt test aracı

Bir alan adı girin; biz onun robots.txt dosyasını getirir, her kural grubunu ayrıştırır ve seçtiğiniz bir tarayıcı için belirli bir yola izin verilip verilmediğini test etmenize olanak tanırız. Eşleştiricimiz, eski kütüphanelerin gevşek varsayılanını değil, Google'ın gerçek en uzun eşleşme mantığını izler.

Robots.txt test aracı nasıl çalışır

robots.txt, bir sitenin kök dizininde bulunan ve tarayıcılara hangi yolları isteyebileceklerini veya isteyemeyeceklerini bildiren düz bir metin dosyasıdır. Her grup, bir veya daha fazla User-agent satırıyla başlar ve ardından Allow ve Disallow kuralları gelir. Bu araç dosyayı indirir, her grubu ayrıştırır ve yolunuzu tam olarak gerçek bir tarayıcının yapacağı şekilde değerlendirir.

Çoğu test aracının yanlış yaptığı en önemli ayrıntı önceliktir. Google ilk eşleşen kuralı kullanmaz; en spesifik olanı kullanır, yani en uzun eşleşen yol kalıbı kazanır ve bir Allow ile bir Disallow aynı uzunlukta olduğunda Allow kazanır. Eşleştiricimiz bunu, * joker karakterini ve $ URL sonu çapasını uygular, böylece sonuç Googlebot ile eşleşir.

robots.txt içinde bir URL'yi engellemek yalnızca taramayı durdurur, dizine eklemeyi değil. Engellenen bir sayfa, başka sayfalar ona bağlantı verirse yine de arama sonuçlarında parça olmadan görünebilir. Bir sayfayı dizinin dışında tutmak için taramaya izin verin ve bunun yerine bir noindex meta etiketi veya başlığı kullanın.

Yaygın robots.txt hataları

• Disallow: / tüm siteyi engeller - bir hazırlık (staging) dağıtımı canlıya geçtiğinde sık karşılaşılan bir kazadır.
• CSS veya JS klasörlerini engellemek, Google'ın sayfayı doğru şekilde oluşturmasını engeller.
• Bir sayfayı aramadan gizlemek için robots.txt kullanmak - bunun yerine noindex kullanın, çünkü engellenen sayfalar yine de dizine eklenebilir.
• Dosyayı alan adı kökü dışında bir yere koymak - /robots.txt konumunda olmalıdır.

Sıkça sorulan sorular