Tester robots.txt

Zadajte doménu a my stiahneme jej robots.txt, spracujeme každú skupinu pravidiel a umožníme vám otestovať, či je konkrétna cesta povolená pre zvolený crawler. Naša logika vyhodnocovania sa riadi reálnou logikou najdlhšej zhody od Google, nie voľnejším predvoleným správaním starších knižníc.

Ako funguje tester robots.txt

robots.txt je obyčajný textový súbor v koreni stránky, ktorý hovorí crawlerom, ktoré cesty môžu alebo nemôžu vyžadovať. Každá skupina začína jedným alebo viacerými riadkami User-agent, za ktorými nasledujú pravidlá Allow a Disallow. Tento nástroj stiahne súbor, spracuje každú skupinu a vyhodnotí vašu cestu presne tak, ako by to urobil skutočný crawler.

Detail, ktorý väčšina testerov nezvládne správne, je priorita. Google nepoužíva prvé zhodujúce sa pravidlo; používa to najšpecifickejšie, čo znamená, že vyhráva najdlhší zhodujúci sa vzor cesty a pri rovnakej dĺžke vyhráva Allow nad Disallow. Naša logika toto implementuje, plus zástupný znak * a kotvu $ pre koniec URL, takže verdikt zodpovedá Googlebotu.

Blokovanie URL v robots.txt zastaví iba prehľadávanie, nie indexovanie. Blokovaná stránka sa stále môže objaviť vo výsledkoch vyhľadávania bez popisu, ak na ňu odkazujú iné stránky. Ak chcete stránku udržať mimo indexu, povoľte prehľadávanie a použite namiesto toho meta tag alebo hlavičku noindex.

Časté chyby v robots.txt

• Disallow: / zablokuje celú stránku - častá nehoda po nasadení testovacej (staging) verzie do ostrej prevádzky.
• Blokovanie priečinkov s CSS alebo JS, čo bráni Googlu správne vykresliť stránku.
• Použitie robots.txt na skrytie stránky z vyhľadávania - použite namiesto toho noindex, keďže blokované stránky sa stále môžu indexovať.
• Umiestnenie súboru kamkoľvek inam než do koreňa domény - musí byť na /robots.txt.

Často kladené otázky