Besplatni alat · AI botovi
Mogu li AI botovi da pročitaju vaš sajt?
Provjeravamo robots.txt za 16 AI i pretraživačkih botova, šaljemo zahtjeve kao ChatGPT i Perplexity da otkrijemo blokade na serveru ili Cloudflare-u, i gledamo da li je sadržaj vidljiv bez JavaScript-a.
Provjera traje 5–15 sekundi. Šaljemo nekoliko zahtjeva vašem sajtu, ništa ne čuvamo osim osnovnog loga.
Koje botove provjeravamo
Botovi za pretragu i posjete na zahtjev korisnika odlučuju da li vas AI asistent može citirati. Botovi za treniranje samo prikupljaju podatke za buduće modele; njihovo blokiranje je poslovna odluka i ne utiče direktno na AI pretragu.
| Pretraga | |
|---|---|
| OAI-SearchBot | OpenAI · ChatGPT pretraga |
| Googlebot | Google · Google pretraga, AI pregledi, AI režim |
| Bingbot | Microsoft · Bing i Copilot |
| PerplexityBot | Perplexity · Perplexity pretraga |
| Claude-SearchBot | Anthropic · Claude pretraga |
| Applebot | Apple · Siri i Spotlight |
| DuckAssistBot | DuckDuckGo · DuckAssist odgovori |
| Posjeta na zahtjev korisnika | |
| ChatGPT-User | OpenAI · ChatGPT (posjete na zahtjev korisnika) |
| Perplexity-User | Perplexity · Perplexity (posjete na zahtjev korisnika) |
| Claude-User | Anthropic · Claude (posjete na zahtjev korisnika) |
| Gemini (trening i odgovori) | |
| Google-Extended | Google · Gemini (trening i odgovori) |
| Treniranje modela | |
| GPTBot | OpenAI · treniranje modela |
| ClaudeBot | Anthropic · treniranje modela |
| Applebot-Extended | Apple · treniranje Apple Intelligence |
| meta-externalagent | Meta · treniranje Meta AI |
| CCBot | Common Crawl · otvoreni skup podataka za treniranje modela |