Tester robots.txt

Wpisz domenę, a my pobierzemy jej plik robots.txt, przeanalizujemy każdą grupę reguł i pozwolimy sprawdzić, czy konkretna ścieżka jest dozwolona dla wybranego robota. Nasz mechanizm dopasowania działa według rzeczywistej logiki najdłuższego dopasowania Google, a nie luźnego domyślnego zachowania starszych bibliotek.

Jak działa tester robots.txt

robots.txt to zwykły plik tekstowy w katalogu głównym witryny, który informuje roboty, które ścieżki mogą, a których nie mogą żądać. Każda grupa zaczyna się od jednej lub kilku linii User-agent, po których następują reguły Allow i Disallow. To narzędzie pobiera plik, analizuje każdą grupę i ocenia Twoją ścieżkę dokładnie tak, jak zrobiłby to prawdziwy robot.

Kluczowy szczegół, który większość testerów myli, to pierwszeństwo reguł. Google nie używa pierwszej pasującej reguły; używa najbardziej szczegółowej, co oznacza, że wygrywa najdłuższy pasujący wzorzec ścieżki, a Allow wygrywa, gdy reguła Allow i Disallow mają tę samą długość. Nasz mechanizm dopasowania to realizuje, wraz z symbolem wieloznacznym * i kotwicą końca URL $, więc werdykt zgadza się z Googlebot.

Zablokowanie adresu URL w robots.txt zatrzymuje jedynie przeszukiwanie, a nie indeksowanie. Zablokowana strona może nadal pojawiać się w wynikach wyszukiwania bez opisu, jeśli inne strony do niej linkują. Aby utrzymać stronę poza indeksem, zezwól na przeszukiwanie i użyj zamiast tego metatagu lub nagłówka noindex.

Częste błędy w robots.txt

• Disallow: / blokuje całą witrynę - częsty wypadek po wdrożeniu wersji testowej na produkcję.
• Blokowanie folderów CSS lub JS, co uniemożliwia Google poprawne wyrenderowanie strony.
• Używanie robots.txt do ukrycia strony przed wyszukiwaniem - zamiast tego użyj noindex, ponieważ zablokowane strony nadal mogą zostać zaindeksowane.
• Umieszczenie pliku w innym miejscu niż katalog główny domeny - musi znajdować się pod adresem /robots.txt.

Najczęściej zadawane pytania