Tester robots.txt

Zadejte doménu a my načteme její robots.txt, rozparsujeme každou skupinu pravidel a umožníme vám otestovat, zda je konkrétní cesta povolena pro vybraný crawler. Náš vyhodnocovač se řídí skutečnou logikou nejdelší shody podle Googlu, nikoli volnou výchozí logikou starších knihoven.

Jak tester robots.txt funguje

robots.txt je prostý textový soubor v kořeni webu, který crawlerům říká, které cesty smí nebo nesmí vyžadovat. Každá skupina začíná jedním nebo více řádky User-agent, po nichž následují pravidla Allow a Disallow. Tento nástroj soubor stáhne, rozparsuje každou skupinu a vyhodnotí vaši cestu přesně tak, jak by to udělal skutečný crawler.

Klíčový detail, který většina testerů řeší špatně, je přednost pravidel. Google nepoužívá první odpovídající pravidlo, ale to nejkonkrétnější, tedy nejdelší odpovídající vzor cesty vyhrává a při shodné délce pravidel Allow a Disallow vyhrává Allow. Náš vyhodnocovač to implementuje, stejně jako zástupný znak * a kotvu konce URL $, takže verdikt odpovídá Googlebotu.

Blokování URL v robots.txt zastaví pouze procházení, nikoli indexaci. Blokovaná stránka se může v výsledcích vyhledávání stále objevit bez úryvku, pokud na ni odkazují jiné stránky. Chcete-li stránku udržet mimo index, povolte procházení a místo toho použijte meta značku noindex nebo hlavičku.

Časté chyby v robots.txt

• Disallow: / zablokuje celý web - častá nehoda poté, co se nasadí staging do ostrého provozu.
• Blokování složek s CSS nebo JS, což brání Googlu ve správném vykreslení stránky.
• Používání robots.txt ke skrytí stránky z vyhledávání - použijte raději noindex, protože blokované stránky mohou být přesto indexovány.
• Umístění souboru kamkoli mimo kořen domény - musí být na /robots.txt.

Často kladené otázky