Crawlery AI — kto skanuje Twoją stronę i jak tym zarządzać (robots.txt, pay-per-crawl)

Ruch botów AI na stronach urósł w dwa lata z ciekawostki do jednej z największych pozycji w logach serwera — a jednocześnie „bot AI" to nie jest jedna kategoria. Za tym samym słowem kryją się boty treningowe (zbierają korpus do uczenia modeli), wyszukiwawcze (budują indeks, z którego AI cytuje) i boty na żądanie (pobierają stronę, bo konkretny użytkownik właśnie o nią zapytał). Każdy typ wymaga innej decyzji — i tu leży najczęstszy, najdroższy błąd 2026 roku: jedna źle zaadresowana linijka w robots.txt potrafi wyciąć markę z odpowiedzi ChatGPT, nie chroniąc przy tym niczego. Skalę problemu dobrze pokazują dane Cloudflare: na jedno realne przekierowanie użytkownika Google crawluje kilkanaście stron, OpenAI — rzędu tysięcy, a Anthropic — dziesiątek tysięcy. Crawl przestał być symetryczną wymianą „treść za ruch" i dlatego równolegle rodzi się nowa ekonomia: domyślne blokady, pay-per-crawl i licencje maszynowe.

GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended — każdy robi co innego, a zablokowanie niewłaściwego oznacza zniknięcie z odpowiedzi AI. Kompletna mapa botów AI, macierz decyzyjna dla robots.txt, weryfikacja podszywających się scraperów oraz nowa ekonomia crawlu: pay-per-crawl Cloudflare (HTTP 402) i standard licencyjny RSL.

Ten przewodnik porządkuje całość: mapa botów, macierz decyzyjna, wzorcowy robots.txt, weryfikacja podszywania i to, co nadchodzi — HTTP 402 i RSL.

Trzy typy botów AI — najważniejszy podział, o którym wszyscy zapominają

• Boty treningowe (GPTBot, Google-Extended, ClaudeBot, Meta-ExternalAgent, CCBot) zbierają treści do uczenia przyszłych modeli. Blokada oznacza: Twoje treści nie trafią do kolejnych wersji modeli. Nie wpływa na to, czy wyszukiwarka AI Cię dziś zacytuje.
• Boty wyszukiwawcze (OAI-SearchBot, PerplexityBot, Googlebot — także dla AI Overviews, Bingbot — także dla Copilota) budują indeks, z którego modele pobierają źródła w czasie rzeczywistym. Blokada oznacza: znikasz z cytowań i odpowiedzi.
• Boty na żądanie (ChatGPT-User, Perplexity-User, Claude-User) pobierają konkretny adres, bo użytkownik wkleił link albo poprosił o analizę strony. To w praktyce „prawie-ruch" — po drugiej stronie siedzi człowiek. Blokada oznacza: agent odpowie użytkownikowi, że nie może otworzyć Twojej strony.

Mapa botów — kto, po co i czym tym sterować

Dwie rzeczy z tej tabeli mylą się najczęściej. Po pierwsze, GPTBot nie odpowiada za to, czy ChatGPT Cię cytuje — od tego jest OAI-SearchBot; GPTBot to wyłącznie trening. Po drugie, Google-Extended nie jest „wyłącznikiem AI w Google" — steruje tylko treningiem Gemini.

Google to przypadek szczególny — nie da się „wyjść z AI, zostać w wyszukiwarce"

AI Overviews i AI Mode korzystają z tego samego indeksu i tego samego Googlebota co klasyczne wyniki. Nie istnieje dyrektywa „nie pokazuj mnie w AI Overviews, ale pokazuj w linkach" — możesz co najwyżej ograniczyć długość cytowanego fragmentu (nosnippet, max-snippet), płacąc za to gorszymi snippetami wszędzie. Dlatego decyzja o Googlebocie jest zero-jedynkowa: albo jesteś w Google (z funkcjami AI włącznie), albo Cię nie ma. Jak działa samo AI Mode i jak się w nim pozycjonować, opisuję we wpisie o AI Overviews i AI Mode.

Co blokować, a czego nie — macierz decyzyjna

Praktyczna reguła wygląda tak:

• Zależy Ci na widoczności w AI (usługi, B2B, e-commerce — czyli większość firm): wpuszczaj wszystkie boty wyszukiwawcze i na żądanie. To dziś kanał pozyskania, a ruch z modeli konwertuje wyjątkowo dobrze.
• Boty treningowe to decyzja światopoglądowo-biznesowa. Blokada nic nie kosztuje w widoczności dziś, ale treści nie trafią do przyszłych modeli — a obecność wiedzy o marce „w wadze modelu" też bywa wartością. Nie ma jednej słusznej odpowiedzi; ma być świadoma.
• Masz treści premium (badania, dane, paywall): blokuj boty treningowe, rozważ licencjonowanie (RSL, pay-per-crawl) i chroń się na poziomie CDN, nie tylko robots.txt.

Jak to zapisać — wzorcowy robots.txt

# --- Wyszukiwanie i cytowania AI: wpuszczamy ---User-agent: OAI-SearchBotAllow: /User-agent: PerplexityBotAllow: /User-agent: ChatGPT-UserAllow: /# --- Trening modeli: decyzja swiadoma (tu: blokada) ---User-agent: GPTBotDisallow: /User-agent: Google-ExtendedDisallow: /User-agent: ClaudeBotDisallow: /# --- Pozostale boty: zasady ogolne ---User-agent: *Allow: /Sitemap: https://twojastrona.pl/sitemap.xml

Trzy zasady przy edycji. Po pierwsze, bot stosuje najbardziej dopasowaną grupę User-agent, a nie sumę reguł — GPTBot z własną sekcją zignoruje sekcję gwiazdki. Po drugie, nie blokuj katalogów z plikami JS i CSS, bo utrudnisz renderowanie Googlebotowi — co dokładnie boty widzą bez JavaScriptu, opisuję we wpisie o JavaScript SEO. Po trzecie, pamiętaj, że robots.txt steruje crawlowaniem, nie indeksowaniem — do usuwania z indeksu służy noindex, co szerzej tłumaczę przy okazji crawl budgetu.

Podszywanie się — jak sprawdzić, że GPTBot to naprawdę GPTBot

Nagłówek User-agent może wpisać sobie każdy scraper — i masowo to robi, bo „udawanie GPTBota" bywa przepustką przez firewalle. Weryfikacja jest na szczęście prosta: najwięksi operatorzy publikują oficjalne zakresy IP swoich botów (OpenAI, Google, Perplexity), a boty Google dodatkowo weryfikuje się przez reverse DNS. Jeżeli żądanie przedstawia się jako GPTBot, ale przychodzi spoza opublikowanych zakresów — to nie jest OpenAI. Z tego samego powodu egzekwowanie polityki powinno siedzieć w CDN/WAF (Cloudflare, Fastly i inni robią to za Ciebie), a robots.txt traktuj jako deklarację dla uczciwych: to prośba, nie mur.

Nowa ekonomia crawlu: pay-per-crawl i RSL

Stara umowa internetu brzmiała: crawluj mnie, a w zamian przyślij ruch. Boty AI tę umowę wypowiedziały — stąd trzy zjawiska, które warto znać:

• Domyślne blokady. Od 1 lipca 2025 Cloudflare domyślnie blokuje boty treningowe AI dla nowo podpinanych domen — właściciel musi świadomie je wpuścić. To odwrócenie dotychczasowej logiki opt-out na opt-in.
• Pay-per-crawl. Cloudflare uruchomiło mechanizm, w którym bot bez umowy dostaje odpowiedź HTTP 402 Payment Required z ceną za żądanie — i może zapłacić albo odejść. Wydawca ustala jedną stawkę za crawl i decyduje per bot: wpuść / każ płacić / blokuj.
• RSL (Really Simple Licensing). Otwarty standard z września 2025, wspierany przez dużych wydawców i firmy technologiczne: czytelny maszynowo plik licencyjny, w którym określasz warunki użycia treści (za darmo, z atrybucją, za opłatą za crawl albo — co ciekawe — za opłatą od inferencji).

Dla typowej firmy usługowej czy sklepu wniosek jest prosty: ekspozycja w odpowiedziach AI jest dziś warta więcej niż hipotetyczne opłaty za crawl — te mechanizmy to broń wydawców treści premium. Ale warto wiedzieć, że istnieją, bo infrastruktura (HTTP 402, licencje maszynowe) będzie się upowszechniać.

Jak monitorować boty AI na swojej stronie

1. 1.Logi serwera. Filtruj po User-agent (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Bingbot) i mierz: udział w żądaniach, częstotliwość, które adresy odwiedzają. Jeśli bot wyszukiwawczy omija Twoje najważniejsze strony — masz problem z linkowaniem wewnętrznym albo sitemapą.
2. 2.Panel CDN. Cloudflare i podobni pokazują ruch botów AI bez grzebania w logach, łącznie z rozbiciem na trening/wyszukiwanie.
3. 3.Obciążenie. Przy dużych serwisach boty AI potrafią generować zauważalny koszt — cache i CDN załatwiają 90% problemu; agresywne boty można przyciąć na WAF bez ruszania robots.txt.
4. 4.Efekt końcowy. Sama obecność bota to środek, nie cel. Czy modele faktycznie widzą i polecają Twoją markę, sprawdzisz metodą z wpisu o audycie widoczności w AI.

---

Audytuję dostęp botów — od robots.txt, przez logi serwera, po politykę dla botów AI — w ramach technicznego SEO, a strategię widoczności w modelach w ramach usług GEO. Uczę tego też w kursie SEO & GEO. Napisz do mnie — zacznę od przeglądu Twojego robots.txt i logów.

Warto przeczytać dalej:

• JavaScript SEO — co widzą boty bez renderowania
• Crawl budget — jak Google indeksuje dużą stronę
• Google AI Overviews i AI Mode — jak zoptymalizować stronę
• llms.txt — czy naprawdę pomaga w widoczności w AI?