Preverite svojo domeno
Vpišite samo domeno, na primer podjetje.si. Orodje prebere javno datoteko robots.txt, preveri še, ali obstaja llms.txt, in za vsakega robota pokaže, katero pravilo zanj velja.
Katere robote preverimo
Ponudniki AI uporabljajo različne robote za različne namene. Za vidnost v odgovorih štejejo predvsem roboti za iskanje; roboti za učenje modelov določajo, ali se vsebina uporabi za učenje.
- OAI-SearchBot (OpenAI): iskanje v ChatGPT. Če ga blokirate, strani ni med viri v iskalnih odgovorih ChatGPT.
- GPTBot (OpenAI): učenje modelov. Po navedbah OpenAI blokada ne vpliva na iskanje.
- ChatGPT-User (OpenAI): obisk strani na zahtevo uporabnika. OpenAI navaja, da pravila robots.txt zanj morda ne veljajo.
- Claude-SearchBot (Anthropic): iskanje v Claude.
- ClaudeBot (Anthropic): učenje modelov.
- Claude-User (Anthropic): obisk strani, ko uporabnik Claudu postavi vprašanje.
- PerplexityBot (Perplexity): iskanje in povezave v Perplexity, po navedbah ponudnika ne za učenje.
- Perplexity-User (Perplexity): obisk na zahtevo uporabnika; Perplexity navaja, da pravil robots.txt praviloma ne upošteva.
- Googlebot (Google): Google Iskanje, vključno z iskalnimi funkcijami.
- Google-Extended (Google): oznaka v robots.txt, ne ločen robot. Določa uporabo vsebine za Gemini. Na Google Iskanje ne vpliva.
- Bingbot (Microsoft): iskalnik Bing, na katerem gradi Microsoft Copilot.
Viri: Viri: dokumentacija OpenAI, Anthropic, Perplexity in Google, preverjeno 13. 11. 2026.
Kaj pomeni rezultat
Dovoljen
Robot sme brati naslovno stran in ni posebnih omejitev zanj.
Delno omejen
Naslovna stran je dovoljena, nekateri deli strani pa ne. To je pogosto namerno, na primer za košarico ali administracijo.
Blokiran
Pravilo prepoveduje branje naslovne strani. Pri robotih za iskanje to pomeni, da vas ta iskalnik ne bo navajal kot vir.
Brez robots.txt
Datoteke ni (odgovor 404). Po standardu to pomeni, da smejo brati vsi roboti.
Blokada robota za učenje ni napaka
Odločitev, ali vsebino dovolite za učenje modelov, je vaša. OpenAI in Anthropic ločujeta robote: GPTBot in ClaudeBot lahko blokirate, robota za iskanje (OAI-SearchBot, Claude-SearchBot) pa pustite odprta. Tako ostanete med možnimi viri v odgovorih, vsebine pa ne ponudite za učenje.
Pogosta napaka je obratna: splošno pravilo »Disallow: /« za vse robote, ki ostane na strani po prenosu iz razvojnega okolja, ali vtičnik, ki z enim klikom zapre vse AI robote, tudi tiste za iskanje.
Kaj kaže 500 slovenskih strani
V naši raziskavi Digitalni utrip (zajem 22. 9. 2026) je robots.txt dovolil Googlebota na 499 od 500 domen in OAI-SearchBot na 497 od 500. Datoteko llms.txt je imelo 42 od 497 pregledanih strani (8,5 %). Blokada v robots.txt je torej redka. Robota pa lahko ustavi tudi požarni zid ali zaščita pred roboti, česar robots.txt ne pokaže. Več v raziskavi.
Česa orodje ne preveri
- Požarnega zidu in zaščite pred roboti (npr. Cloudflare): ti lahko robota zavrnejo, čeprav ga robots.txt dovoli.
- Pravil za posamezne strani: preverimo naslovno stran, ne vsake podstrani, in ne oznak noindex v HTML.
- Ali ste res v indeksu ali v odgovorih: dovoljenje pomeni samo, da robot sme brati. Indeksacijo pokaže Search Console, omembe v odgovorih pa meritev AI vidnosti.