Robots.txt tesztelő

Adjon meg egy domaint, mi pedig letöltjük a robots.txt fájlját, elemezzük az összes szabálycsoportot, és lehetővé tesszük, hogy tesztelje, egy adott útvonal engedélyezett-e a kiválasztott keresőrobot számára. Az illesztőnk a Google valódi leghosszabb egyezés logikáját követi, nem a régebbi könyvtárak laza alapértelmezését.

Hogyan működik a robots.txt tesztelő

A robots.txt egy egyszerű szöveges fájl a webhely gyökerében, amely megmondja a keresőrobotoknak, mely útvonalakat kérhetik le és melyeket nem. Minden csoport egy vagy több User-agent sorral kezdődik, amelyeket Allow és Disallow szabályok követnek. Ez az eszköz letölti a fájlt, elemzi az összes csoportot, és pontosan úgy értékeli ki az útvonalát, ahogy egy valódi keresőrobot tenné.

A legtöbb tesztelő a precedenciát rontja el. A Google nem az első egyező szabályt használja, hanem a legpontosabbat, ami azt jelenti, hogy a leghosszabb egyező útvonalminta nyer, és az Allow nyer, ha egy Allow és egy Disallow azonos hosszúságú. Az illesztőnk ezt valósítja meg, plusz a * helyettesítő karaktert és a $ URL-végi horgonyt, így a verdikt megegyezik a Googlebottal.

Egy URL robots.txt-ben való tiltása csak a bejárást állítja le, az indexelést nem. Egy tiltott oldal továbbra is megjelenhet a keresési találatok között részlet nélkül, ha más oldalak hivatkoznak rá. Ahhoz, hogy egy oldal kimaradjon az indexből, engedélyezze a bejárást, és helyette használjon noindex meta címkét vagy fejlécet.

Gyakori robots.txt hibák

• A Disallow: / blokkolja az egész webhelyet - gyakori baleset, miután egy teszt környezet (staging) telepítése élesbe kerül.
• CSS vagy JS mappák blokkolása, ami megakadályozza, hogy a Google helyesen jelenítse meg az oldalt.
• A robots.txt használata egy oldal keresésből való elrejtésére - helyette használjon noindexet, mivel a tiltott oldalak továbbra is indexelhetők.
• A fájl elhelyezése a domain gyökerén kívül bárhol máshol - a /robots.txt helyen kell lennie.

Gyakran ismételt kérdések