robots.txt URL Testi

Geçerli olan kural, ilgili görünen ilk satır değil, tek bir grup içindeki en uzun eşleşmedir; ve bir tarayıcı joker grupla kendi grubuna birden değil, yalnızca kendi grubuna uyar. Dosyayı gözle okumanın yanıltmasının sebebi budur. Dosyanın tamamını ve site haritasını görmek için robots.txt ve Site Haritası sayfasına bakın.

Söyleyemediği şey: sayfanın dizine alınıp alınmayacağı. robots.txt taramayı yönetir, dizine almayı değil; engelli bir adres yalnızca kendisine verilen bağlantılarla bile sonuçlarda görünebilir. Google'ın ne yapacağını da söylemez: her tarayıcının bozuk dosyaya toleransı kendine özgü, bu araç ise standardı okur.