Robots.txt Scanner pro AI boty
Jeden špatně mířený řádek v robots.txt dokáže web vymazat z AI odpovědí. Scanner stáhne váš /robots.txt, vyhodnotí ho přesně jako Google (longest-match podle RFC 9309) a ukáže matici přístupu 16 AI botů — od Googlebota přes GPTBot po PerplexityBot. Navíc ověří sitemapu, najde syntaktické chyby a vygeneruje doporučený soubor podle vaší AI strategie.
Krok 1 · Zadejte doménu
Kdo smí a kdo nesmí na váš web
Skóre AI přístupnosti 0–100, matice 16 botů s konkrétním pravidlem, které rozhodlo, ověření sitemapy a generátor robots.txt.
Reference · červenec 2026
16 kontrolovaných AI botů ve třech kategoriích
Každá kategorie má jiný dopad na váš byznys — proto je scanner vyhodnocuje odděleně.
- Googlebot (AI Overviews)
- Bingbot (Copilot)
- OAI-SearchBot (ChatGPT Search)
- Claude-SearchBot
- PerplexityBot
- Amazonbot (Alexa)
- DuckAssistBot
Blokace = web zmizí z AI odpovědí s citací. Pro většinu webů kritická ztráta.
- ChatGPT-User
- Claude-User
- Perplexity-User
Akce reálných lidí — uživatel požádal asistenta, aby vaši stránku otevřel nebo shrnul. Blokace frustruje vaše vlastní návštěvníky.
- GPTBot (OpenAI)
- ClaudeBot (Anthropic)
- Google-Extended (Gemini)
- Applebot-Extended
- Meta-ExternalAgent
- CCBot (Common Crawl)
Politické rozhodnutí: blokace chrání obsah před tréninkem a viditelnost ve vyhledávání nesnižuje.
Rozhodování
Dvě smysluplné AI strategie
Scanner podle nálezů vygeneruje hotový robots.txt pro obě — vy si jen vyberete.
Maximální AI viditelnost
- Všichni AI boti povoleni včetně tréninkových.
- Největší šance na citace v ChatGPT, Perplexity, Claude i AI Overviews.
- Vhodné pro firemní weby, e-shopy a služby, které chtějí být doporučovány.
Viditelnost bez AI tréninku
- Vyhledávací boti a agenti povoleni — citace a návštěvnost zůstávají.
- GPTBot, ClaudeBot, Google-Extended, CCBot a další tréninkoví boti blokováni.
- Vhodné pro média a tvůrce originálního obsahu, kteří nechtějí krmit modely.
Co se nevyplatí
Plošné Disallow: / pro všechny boty „pro jistotu". Web tím zmizí z klasického i AI vyhledávání a jediné, co zůstane, je přímá návštěvnost. Pokud potřebujete něco skrýt, blokujte konkrétní cesty (/admin/, /kosik/) — ne celý web. Kompletní AI čitelnost webu si ověříte v GEO auditu a LLMS.txt Scanneru.
FAQ
Časté otázky
Jak přesně scanner vyhodnocuje pravidla?
Stejně jako Google: pro každého bota najde nejspecifičtější User-agent skupinu (nejdelší shoda jména, fallback na *), poté uplatní longest-match precedenci podle RFC 9309 včetně zástupných znaků * a kotvy $. Při shodě délky vyhrává Allow. U každého bota vidíte konkrétní pravidlo, které rozhodlo.
Proč scanner ověřuje i sitemapu?
Deklarovaná sitemap, která vrací 404, je častá chyba po migracích. Scanner udělá reálný request na první deklarovanou sitemapu a ověří HTTP status.
Blokuje robots.txt boty doopravdy?
Je to direktiva, ne technická bariéra. OpenAI, Anthropic, Google či Perplexity ji deklarovaně respektují. Citlivý obsah však chraňte autentizací — robots.txt je veřejný soubor, který cesty spíše prozrazuje než skrývá.
Co znamená Crawl-delay upozornění?
Google a většina AI botů direktivu Crawl-delay ignoruje (není součástí RFC 9309). Pokud potřebujete řídit zátěž, použijte rate limiting na úrovni serveru nebo CDN.