Crawlery AI - kto skanuje Twoją stronę i jak nad tym zapanować (robots.txt, pay-per-crawl)

W ciągu dwóch lat ruch botów AI awansował w logach serwera z ciekawostki do jednej z najgrubszych pozycji. Problem w tym, że „bot AI" to nie jedna kategoria. Pod tym samym hasłem kryją się boty treningowe (zbierają korpus do uczenia modeli), wyszukiwawcze (budują indeks, z którego AI cytuje) oraz na żądanie (pobierają stronę, bo konkretny użytkownik właśnie o nią zapytał). Każdy z tych typów wymaga innej decyzji - i właśnie z pomieszania ich bierze się najkosztowniejszy błąd w tym obszarze: jedna źle zaadresowana linijka w robots.txt potrafi wyciąć markę z odpowiedzi ChatGPT, niczego przy tym nie chroniąc. Skalę dysproporcji dobrze widać w danych Cloudflare: na jedno realne przekierowanie użytkownika Google crawluje kilkanaście stron, OpenAI - rzędu tysięcy, a Anthropic - dziesiątek tysięcy. Crawl przestał być symetryczną wymianą „treść za ruch", a wokół tej zmiany narasta nowa ekonomia: domyślne blokady, pay-per-crawl i licencje maszynowe.

GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended - każdy robi co innego, a zablokowanie niewłaściwego oznacza zniknięcie z odpowiedzi AI. Kompletna mapa botów AI, macierz decyzyjna dla robots.txt, weryfikacja podszywających się scraperów oraz nowa ekonomia crawlu: pay-per-crawl Cloudflare (HTTP 402) i standard licencyjny RSL.

Poniżej całość po kolei: mapa botów, macierz decyzyjna, wzorcowy robots.txt, weryfikacja podszywania oraz to, co dopiero się rozpędza - HTTP 402 i RSL.

Trzy typy botów AI - najważniejszy podział, o którym wszyscy zapominają

• Boty treningowe (GPTBot, Google-Extended, ClaudeBot, Meta-ExternalAgent, CCBot) zbierają treści do uczenia przyszłych modeli. Blokada oznacza: Twoje treści nie trafią do kolejnych wersji modeli. Nie wpływa na to, czy wyszukiwarka AI Cię dziś zacytuje.
• Boty wyszukiwawcze (OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot - także dla AI Overviews, Bingbot - także dla Copilota) budują indeks, z którego modele pobierają źródła w czasie rzeczywistym. Blokada oznacza: znikasz z cytowań i odpowiedzi.
• Boty na żądanie (ChatGPT-User, Perplexity-User, Claude-User) pobierają konkretny adres, bo użytkownik wkleił link albo poprosił o analizę strony. To w praktyce „prawie-ruch" - po drugiej stronie siedzi człowiek. Blokada oznacza: agent odpowie użytkownikowi, że nie może otworzyć Twojej strony. Zastrzeżenie: od grudnia 2025 OpenAI pisze w dokumentacji, że skoro ChatGPT-User działa na polecenie człowieka, reguły robots.txt mogą go nie dotyczyć; podobne stanowisko Perplexity ma wobec Perplexity-User. Anthropic deklaruje, że Claude-User robots.txt respektuje.

Mapa botów - kto, po co i czym tym sterować

Dwie rzeczy z tej tabeli mylą się najczęściej. Po pierwsze, GPTBot nie odpowiada za to, czy ChatGPT Cię cytuje - od tego jest OAI-SearchBot; GPTBot to wyłącznie trening. Po drugie, Google-Extended nie jest „wyłącznikiem AI w Google" - steruje tylko treningiem Gemini. Ten sam podział ma Anthropic: ClaudeBot to trening, za wyszukiwanie odpowiada Claude-SearchBot, a blokada jednego nie blokuje drugiego.

Google to przypadek szczególny - nie da się „wyjść z AI, zostać w wyszukiwarce"

AI Overviews i AI Mode korzystają z tego samego indeksu i tego samego Googlebota co klasyczne wyniki. Nie istnieje dyrektywa „nie pokazuj mnie w AI Overviews, ale pokazuj w linkach" - możesz co najwyżej ograniczyć długość cytowanego fragmentu (nosnippet, max-snippet), płacąc za to gorszymi snippetami wszędzie. Dlatego decyzja o Googlebocie jest zero-jedynkowa: albo jesteś w Google (z funkcjami AI włącznie), albo Cię nie ma. Jak działa samo AI Mode i jak się w nim pozycjonować, opisuję we wpisie o AI Overviews i AI Mode.

Co blokować, a czego nie - macierz decyzyjna

Praktyczna reguła wygląda tak:

• Zależy Ci na widoczności w AI (usługi, B2B, e-commerce - czyli większość firm): wpuszczaj wszystkie boty wyszukiwawcze i na żądanie. To dziś kanał pozyskania, a ruch z modeli konwertuje wyjątkowo dobrze.
• Boty treningowe to decyzja światopoglądowo-biznesowa. Blokada nic nie kosztuje w widoczności dziś, ale treści nie trafią do przyszłych modeli - a obecność wiedzy o marce „w wadze modelu" też bywa wartością. Nie ma jednej słusznej odpowiedzi; ma być świadoma.
• Masz treści premium (badania, dane, paywall): blokuj boty treningowe, rozważ licencjonowanie (RSL, pay-per-crawl) i chroń się na poziomie CDN, nie tylko robots.txt.

Jak to zapisać - wzorcowy robots.txt

# --- Wyszukiwanie i cytowania AI: wpuszczamy ---User-agent: OAI-SearchBotAllow: /User-agent: PerplexityBotAllow: /User-agent: ChatGPT-UserAllow: /User-agent: Claude-SearchBotAllow: /# --- Trening modeli: decyzja swiadoma (tu: blokada) ---User-agent: GPTBotDisallow: /User-agent: Google-ExtendedDisallow: /User-agent: ClaudeBotDisallow: /# --- Pozostale boty: zasady ogolne ---User-agent: *Allow: /Sitemap: https://twojastrona.pl/sitemap.xml

Trzy zasady przy edycji. Po pierwsze, bot stosuje najbardziej dopasowaną grupę User-agent, a nie sumę reguł - GPTBot z własną sekcją zignoruje sekcję gwiazdki. Po drugie, nie blokuj katalogów z plikami JS i CSS, bo utrudnisz renderowanie Googlebotowi - co dokładnie boty widzą bez JavaScriptu, opisuję we wpisie o JavaScript SEO. Po trzecie, pamiętaj, że robots.txt steruje crawlowaniem, nie indeksowaniem - do usuwania z indeksu służy noindex, co szerzej tłumaczę przy okazji crawl budgetu.

Podszywanie się - jak sprawdzić, że GPTBot to naprawdę GPTBot

Nagłówek User-agent może wpisać sobie każdy scraper - i masowo to robi, bo „udawanie GPTBota" bywa przepustką przez firewalle. Weryfikacja jest na szczęście prosta: najwięksi operatorzy publikują oficjalne zakresy IP swoich botów (OpenAI, Google, Perplexity), a boty Google dodatkowo weryfikuje się przez reverse DNS. Jeżeli żądanie przedstawia się jako GPTBot, ale przychodzi spoza opublikowanych zakresów - to nie jest OpenAI. Z tego samego powodu egzekwowanie polityki powinno siedzieć w CDN/WAF (Cloudflare, Fastly i inni robią to za Ciebie), a robots.txt traktuj jako deklarację dla uczciwych: to prośba, nie mur.

Nowa ekonomia crawlu: pay-per-crawl i RSL

Przez lata obowiązywała nieformalna umowa: pozwalasz crawlerowi pobrać treść, a w zamian dostajesz ruch z wyszukiwarki. Boty AI tę wymianę zerwały - pobierają dużo, odsyłają niewiele. Stąd trzy zjawiska, które warto znać:

• Domyślne blokady. Od 1 lipca 2025 Cloudflare domyślnie blokuje boty treningowe AI dla nowo podpinanych domen - właściciel musi świadomie je wpuścić. To odwrócenie dotychczasowej logiki opt-out na opt-in.
• Pay-per-crawl. Cloudflare uruchomiło w lipcu 2025 (początkowo w prywatnej becie) mechanizm, w którym bot bez umowy dostaje odpowiedź HTTP 402 Payment Required z ceną za żądanie - i może zapłacić albo odejść. Wydawca ustala jedną stawkę za crawl i decyduje per bot: wpuść / każ płacić / blokuj.
• RSL (Really Simple Licensing). Otwarty standard ogłoszony we wrześniu 2025 (oficjalna specyfikacja 1.0 od grudnia 2025, wspierana m.in. przez Cloudflare, Akamai i Creative Commons): czytelny maszynowo plik licencyjny, w którym określasz warunki użycia treści (za darmo, z atrybucją, za opłatą za crawl albo - co ciekawe - za opłatą od inferencji).

Dla typowej firmy usługowej czy sklepu wniosek jest prosty: ekspozycja w odpowiedziach AI jest dziś warta więcej niż hipotetyczne opłaty za crawl - te mechanizmy to broń wydawców treści premium. Ale warto wiedzieć, że istnieją, bo infrastruktura (HTTP 402, licencje maszynowe) będzie się upowszechniać.

Jak monitorować boty AI na swojej stronie

1. 1.Logi serwera. Filtruj po User-agent (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Bingbot) i mierz: udział w żądaniach, częstotliwość, które adresy odwiedzają. Jeśli bot wyszukiwawczy omija Twoje najważniejsze strony - masz problem z linkowaniem wewnętrznym albo sitemapą.
2. 2.Panel CDN. Cloudflare i podobni pokazują ruch botów AI bez grzebania w logach, łącznie z rozbiciem na trening/wyszukiwanie.
3. 3.Obciążenie. Przy dużych serwisach boty AI potrafią generować zauważalny koszt - cache i CDN załatwiają 90% problemu; agresywne boty można przyciąć na WAF bez ruszania robots.txt.
4. 4.Efekt końcowy. Sama obecność bota to środek, nie cel. Czy modele faktycznie widzą i polecają Twoją markę, sprawdzisz metodą z wpisu o audycie widoczności w AI.

---

Audytuję dostęp botów - od robots.txt, przez logi serwera, po politykę dla botów AI - w ramach technicznego SEO, a strategię widoczności w modelach w ramach usług GEO. Uczę tego też w kursie SEO & GEO. Napisz do mnie - zacznę od przeglądu Twojego robots.txt i logów.

Warto przeczytać dalej:

• JavaScript SEO - co widzą boty bez renderowania
• Przeglądarki AI i Agent Experience (AX) - czy agent poradzi sobie na Twojej stronie?
• Crawl budget - jak Google indeksuje dużą stronę
• Google AI Overviews i AI Mode - jak zoptymalizować stronę
• llms.txt - czy naprawdę pomaga w widoczności w AI?