Robots.txt Scanner pre AI botov
Jeden zle mierený riadok v robots.txt dokáže web vymazať z AI odpovedí. Scanner stiahne váš /robots.txt, vyhodnotí ho presne ako Google (longest-match podľa RFC 9309) a ukáže maticu prístupu 16 AI botov — od Googlebota cez GPTBot po PerplexityBot. Navyše overí sitemapu, nájde syntaktické chyby a vygeneruje odporúčaný súbor podľa vašej AI stratégie.
Krok 1 · Zadajte doménu
Kto smie a kto nesmie na váš web
Skóre AI prístupnosti 0–100, matica 16 botov s konkrétnym pravidlom, ktoré rozhodlo, overenie sitemapy a generátor robots.txt.
Referencia · júl 2026
16 kontrolovaných AI botov v troch kategóriách
Každá kategória má iný dopad na váš biznis — preto ich scanner vyhodnocuje oddelene.
- Googlebot (AI Overviews)
- Bingbot (Copilot)
- OAI-SearchBot (ChatGPT Search)
- Claude-SearchBot
- PerplexityBot
- Amazonbot (Alexa)
- DuckAssistBot
Blokácia = web zmizne z AI odpovedí s citáciou. Pre väčšinu webov kritická strata.
- ChatGPT-User
- Claude-User
- Perplexity-User
Akcie reálnych ľudí — používateľ požiadal asistenta, aby vašu stránku otvoril alebo zhrnul. Blokácia frustruje vašich vlastných návštevníkov.
- GPTBot (OpenAI)
- ClaudeBot (Anthropic)
- Google-Extended (Gemini)
- Applebot-Extended
- Meta-ExternalAgent
- CCBot (Common Crawl)
Politické rozhodnutie: blokácia chráni obsah pred tréningom a viditeľnosť vo vyhľadávaní neznižuje.
Rozhodovanie
Dve zmysluplné AI stratégie
Scanner podľa nálezov vygeneruje hotový robots.txt pre obidve — vy si len vyberiete.
Maximálna AI viditeľnosť
- Všetky AI boty povolené vrátane tréningových.
- Najväčšia šanca na citácie v ChatGPT, Perplexity, Claude aj AI Overviews.
- Vhodné pre firemné weby, e-shopy a služby, ktoré chcú byť odporúčané.
Viditeľnosť bez AI tréningu
- Vyhľadávacie boty a agenti povolení — citácie a návštevnosť zostávajú.
- GPTBot, ClaudeBot, Google-Extended, CCBot a ďalšie tréningové boty blokované.
- Vhodné pre médiá a tvorcov originálneho obsahu, ktorí nechcú kŕmiť modely.
Čo sa neoplatí
Plošné Disallow: / pre všetky boty „pre istotu". Web tým zmizne z klasického aj AI vyhľadávania a jediné, čo zostane, je priama návštevnosť. Ak potrebujete niečo skryť, blokujte konkrétne cesty (/admin/, /kosik/) — nie celý web. Kompletnú AI čitateľnosť webu si overíte v GEO audite a LLMS.txt Scanneri.
FAQ
Časté otázky
Ako presne scanner vyhodnocuje pravidlá?
Rovnako ako Google: pre každého bota nájde najšpecifickejšiu User-agent skupinu (najdlhšia zhoda mena, fallback na *), potom uplatní longest-match precedenciu podľa RFC 9309 vrátane zástupných znakov * a kotvy $. Pri zhode dĺžky vyhráva Allow. Pri každom botovi vidíte konkrétne pravidlo, ktoré rozhodlo.
Prečo scanner overuje aj sitemapu?
Deklarovaná sitemap, ktorá vracia 404, je častá chyba po migráciách. Scanner spraví reálny request na prvú deklarovanú sitemapu a overí HTTP status.
Blokuje robots.txt boty naozaj?
Je to direktíva, nie technická bariéra. OpenAI, Anthropic, Google či Perplexity ju deklarovane rešpektujú. Citlivý obsah však chráňte autentifikáciou — robots.txt je verejný súbor, ktorý cesty skôr prezrádza než skrýva.
Čo znamená Crawl-delay upozornenie?
Google a väčšina AI botov direktívu Crawl-delay ignoruje (nie je súčasťou RFC 9309). Ak potrebujete riadiť záťaž, použite rate limiting na úrovni servera alebo CDN.