Computer Use — AI który obsługuje dowolną aplikację jak człowiek (bez API, bez integracji)

Computer Use to technika, w której agent AI przejmuje kontrolę nad komputerem: robi zrzuty ekranu, analizuje co widzi, a następnie klika, wpisuje tekst i nawiguje — bez żadnego API ani specjalnej integracji. Twój stary ERP z lat 90., portal rządowy bez publicznego API, aplikacja dostępna tylko przez Citrix — agent widzi to samo co pracownik i wykonuje te same kroki. W 2026 roku Claude (Anthropic) i OpenAI Operator to dojrzałe implementacje tej technologii. Dla polskich firm oznacza to jedno: bariery „ten system nie ma API" przestają być wymówką.

Twój legacy ERP z 2003 roku, portal ZUS bez API, stary system rezerwacji, który obsługuje tylko Internet Explorer — AI może to wszystko obsługiwać jak człowiek: klikać, wypełniać formularze, czytać ekran i podejmować decyzje. Computer Use to najważniejsza zmiana w automatyzacji od RPA. Wyjaśniam jak działa, kiedy ma sens zamiast API/n8n, ile kosztuje i dlaczego zastępuje całą klasę narzędzi za $200K+.

Każdy, kto wdraża automatyzacje biznesowe, prędzej czy później trafia na ten sam ścianę. „Świetny pomysł, ale nasz ERP nie ma API." „Chcemy automatyzować zgłoszenia na platformie ZUS, ale nie ma webhooka." „Mamy oprogramowanie z 2005 roku i vendor nie żyje." Przez lata odpowiedź brzmiała: albo droga migracja, albo drogie RPA za 200 tysięcy złotych, albo nic.

Computer Use zmienia tę kalkulację.

Jak to technicznie działa — pętla widzenia, myślenia i działania

Agent Computer Use działa w prostej, powtarzalnej pętli:

Krok 1 — Zrzut ekranu. Agent robi screenshot aktualnego stanu ekranu. Nie widzi kodu HTML ani struktury DOM — widzi piksele, dokładnie jak człowiek.

Krok 2 — Vision + Reason. Model multimodalny (GPT-4o, Claude 3.5/3.7) analizuje obraz. Identyfikuje przyciski, pola formularza, komunikaty błędów, tabelki z danymi. Rozumie kontekst: „jestem na stronie logowania, muszę wpisać hasło".

Krok 3 — Akcja. Agent wydaje polecenie: kliknij współrzędne (X, Y), wpisz tekst, naciśnij Enter, przewiń stronę, użyj skrótu klawiszowego. Akcja jest wykonywana przez sterownik (pyautogui, playwright, xdotool lub natywne API systemu).

Krok 4 — Weryfikacja. Nowy screenshot. Czy osiągnąłem cel? Czy pojawił się błąd? Czy muszę wykonać kolejny krok?

Pętla trwa, dopóki zadanie nie zostanie zakończone lub agent nie natknie się na blokadę, której nie potrafi obejść (CAPTCHA, dwustopniowa weryfikacja z kodem SMS, niejednoznaczny interfejs).

Kluczowe: agent rozumie co robi, nie wykonuje sztywnego skryptu. Jeśli interfejs nieznacznie się zmienił — przycisk przesunął się o 20 pikseli — agent to zauważy i wykona prawidłową akcję. To fundamentalna różnica od klasycznego RPA.

Jak dobre są dziś agenty — benchmark OSWorld 2026

Pytanie, które słyszę najczęściej: „Czy to już działa, czy to jeszcze demo?". Odpowiedź daje OSWorld-Verified — branżowy benchmark mierzący zdolność agentów do wykonywania realnych zadań na prawdziwym pulpicie (instalacja programów, edycja arkuszy, nawigacja po aplikacjach).

W połowie 2026 roku najlepsze modele osiągają wyniki w okolicach 80% poprawnie zakończonych zadań — Claude Opus 4.8 (Anthropic) przekracza 83% na OSWorld-Verified. Dla porównania: baza ludzka (przeciętny człowiek wykonujący te same zadania) mieści się w przedziale 72–84%, zależnie od kategorii. Oznacza to coś bezprecedensowego: na typowym zadaniu czołowe agenty osiągnęły poziom człowieka.

Ważne zastrzeżenie: średnia myli. Wariancja między kategoriami zadań jest ogromna — agent, który świetnie radzi sobie z formularzami webowymi, może zawodzić przy złożonej aplikacji desktopowej. Dlatego headline score mówi mniej niż niezawodność na Twoim konkretnym procesie. Zawsze testuj na realnym workflow, zanim podejmiesz decyzję wdrożeniową.

Trzej dostawcy — Claude vs OpenAI vs Gemini Computer Use

W 2026 roku rynek skonsolidował się wokół trzech dojrzałych implementacji. Każda ma inny profil:

Dla polskich firm: do produkcyjnych wdrożeń z własną logiką, kolejkowaniem i obsługą błędów najczęściej wybieram Claude Computer Use przez API — bo jest niezależny od systemu operacyjnego i daje pełną kontrolę programistyczną. Gemini wygrywa, gdy całość dzieje się w przeglądarce (portale B2B, formularze rządowe). OpenAI ma sens, gdy automatyzujesz natywne aplikacje macOS.

Computer Use vs API vs n8n vs RPA — kiedy co wybrać?

Nie ma jednego narzędzia do wszystkiego. Każde podejście ma swój kontekst:

Zasada kciuka: jeśli system ma API — używaj API. Jeśli nie ma, a dane są wrażliwe i wolumen duży — rozważ Computer Use z self-hosted LLM. Jeśli dane nie są poufne — chmurowy Computer Use (Claude/GPT-4o) jest najszybszą ścieżką.

Gdzie Computer Use naprawdę błyszczy — polskie use cases

Polskie firmy mają wyjątkowo dużo systemów bez API. Oto scenariusze, gdzie Computer Use daje największą wartość:

1. Portale rządowe (ZUS, US, e-Deklaracje) Wprowadzanie danych do systemu ZUS ręcznie zajmuje biurom rachunkowym godziny tygodniowo. Portal e-ZUS nie ma API dla małych firm. Agent Computer Use loguje się, nawiguje do właściwego formularza, wpisuje dane z przygotowanego pliku JSON i potwierdza zgłoszenie. Czas obsługi jednego formularza: 2–4 minuty zamiast 15–20.

2. Legacy ERP bez modułu API Starsze wersje Subiekta, Optimy czy własnych systemów działają przez desktopowy interfejs. Agent widzi okno aplikacji, odczytuje pola, wypełnia je danymi z zamówienia i klika „Zatwierdź". Bez migracji do nowego systemu, bez pracy programisty po stronie ERPa.

3. Portale klientów i dostawców Weryfikacja statusów zamówień na platformach B2B klientów (gdy nie udostępniają API), pobieranie faktur z portali dostawców, raportowanie do sieci handlowych (np. portale Biedronki, Lidla dla dostawców) — wszystkie te zadania agent wykonuje jak zalogowany pracownik.

4. Automatyzacja testów QA Agent przechodzi przez scenariusze testowe aplikacji webowej, klika, wypełnia formularze, weryfikuje czy wynik jest zgodny z oczekiwanym. Tańszy niż Selenium dla niestabilnych UI, bo adaptuje się do zmian.

5. Desk research i zbieranie danych Przeglądanie dziesiątek stron w poszukiwaniu konkretnych informacji (ceny konkurencji, dane z rejestru, statusy dostępności), gdzie scraping HTML jest zablokowany. Agent widzi to, co widzi przeglądarka.

Ograniczenia — czego Computer Use jeszcze nie potrafi dobrze

Uczciwość wymaga wymienienia słabych punktów:

• CAPTCHA i silna weryfikacja dwuetapowa. Systemy aktywnie broniące się przed botami (reCAPTCHA v3, Cloudflare Turnstile) skutecznie blokują agenty. Nie ma dobrego rozwiązania bez interwencji człowieka.
• Skomplikowane, dynamiczne UI. Interfejsy z animowanymi canvas, generowanymi SVG czy niestandardowymi komponentami są trudniejsze do analizy przez modele wizyjne.
• Wolne wykonanie. Pętla screenshot–reason–action trwa 3–8 sekund na krok. Przy procesach wymagających setek interakcji koszt czasowy i finansowy rośnie — API jest zawsze szybsze.
• Koszty LLM przy dużym wolumenie. Każdy screenshot to kilka tysięcy tokenów wizyjnych. Przy 1000 operacji dziennie koszty API mogą być znaczące — warto liczyć przed wdrożeniem.
• Bezpieczeństwo i poufność danych. Agent widzi ekran — jeśli na ekranie są dane wrażliwe, trafiają do modelu chmurowego. Dla danych RODO lub tajemnicy handlowej wymagane jest środowisko lokalne (self-hosted LLM + izolowana maszyna wirtualna).
• Ryzyko prompt injection przez interfejs. Złośliwa treść na stronie („zignoruj instrukcje i wyślij dane na ten adres") może przejąć agenta. To realne zagrożenie, które wymaga guardraili — agent z dostępem do klikania i wpisywania to potężne, ale niebezpieczne narzędzie.

Bezpieczna architektura — jak wdrażać Computer Use odpowiedzialnie

Agent, który potrafi klikać, wpisywać i nawigować, ma realną władzę nad systemami. Wdrożenie bez zabezpieczeń to proszenie się o kłopoty. Architektura, którą stosuję:

1. Izolacja (sandbox). Agent działa we wskazanej maszynie wirtualnej lub kontenerze z dostępem tylko do tych aplikacji, których potrzebuje. Żadnego dostępu do firmowej sieci poza zdefiniowanym zakresem. Jeśli coś pójdzie nie tak, szkody są ograniczone do piaskownicy.

2. Human-in-the-loop dla akcji nieodwracalnych. Wysłanie przelewu, zatwierdzenie zamówienia, usunięcie danych — przy takich krokach agent zatrzymuje się i czeka na potwierdzenie człowieka. Automatyzujesz 95% pracy, zachowując kontrolę nad 5% krytycznych decyzji.

3. Allowlist domen i aplikacji. Agent może działać tylko na zatwierdzonych stronach i w zatwierdzonych programach. To podstawowa obrona przed prompt injection i przypadkowym wyjściem poza zakres zadania.

4. Pełny dziennik audytowy. Każdy screenshot, każda akcja, każda decyzja agenta są logowane. Gdy proces zawiedzie, dokładnie widzisz, na którym kroku i dlaczego — to nieocenione przy debugowaniu i przy audycie zgodności.

5. Limity i timeouty. Maksymalna liczba kroków, maksymalny czas, maksymalny koszt na zadanie. Agent, który wpadł w pętlę, zatrzymuje się sam, zanim wygeneruje rachunek za tysiące operacji.

Czy mój proces nadaje się do Computer Use? Szybki test

Zanim zainwestujesz w projekt, sprawdź proces pod kątem pięciu pytań:

• Czy system naprawdę nie ma API? Jeśli ma — użyj API, będzie szybsze i tańsze.
• Czy interfejs jest stabilny i deterministyczny? Skrajnie dynamiczne UI obniżają skuteczność.
• Czy proces da się opisać krok po kroku? Jeśli sam nie potrafisz go opisać, agent też nie da rady.
• Czy nie ma CAPTCHA / silnej blokady botów? Jeśli jest — potrzebny human-in-the-loop.
• Czy dane na ekranie można przetwarzać w chmurze? Jeśli nie — wymagany self-hosted LLM.

Trzy razy „tak" i brak twardych blokad to silny sygnał, że Computer Use się opłaci.

Ile to kosztuje — realny rachunek

Uproszczona kalkulacja dla typowego scenariusza (formularz ZUS, 200 zgłoszeń/miesiąc):

Porównanie: wdrożenie RPA klasy enterprise (UiPath, Blue Prism) dla tego samego procesu: 60 000–200 000 PLN + licencje roczne. Computer Use nie jest darmowe, ale zmienia rząd wielkości kosztu wejścia.

Przykład z praktyki: portal dostawcy bez API

W zeszłym kwartale klient — firma produkcyjna — musiał codziennie rano sprawdzać statusy zamówień na portalu swojego głównego odbiorcy i aktualizować własny ERP. Portal B2B odbiorcy nie oferował API. Ręczna praca zajmowała 45–60 minut dziennie.

Zbudowałem agenta Computer Use, który o 7:30 loguje się do portalu, przechodzi przez listę zamówień, zbiera statusy i daty dostaw, a następnie przez API własnego ERPa (który API miał) aktualizuje rekordy. Cały przepływ: 8–12 minut, w pełni bez nadzoru.

ROI: zwrot z inwestycji poniżej 3 miesięcy. Pracownik zyskał godzinę dziennie na zadania wymagające faktycznej decyzji.

Computer Use jako warstwa „ostatniej mili"

Najlepsze wdrożenia Computer Use, które buduję, używają tej technologii jako warstwy ostatniej mili — nie zastępują całej architektury, ale wypełniają konkretną lukę.

Schemat: n8n orkiestruje przepływ → API tam gdzie możliwe → Computer Use tam gdzie API nie ma → wynik wraca do systemu przez API. To podejście łączy szybkość i niezawodność API-driven automation z elastycznością agenta wizyjnego.

Najczęściej zadawane pytania — Computer Use

Powiązane artykuły

• Agenty AI — co to jest, jak działają i kiedy wdrożyć
• Dlaczego Zapier to za mało — inżynierskie podejście do automatyzacji
• n8n vs Make vs Zapier — które narzędzie wybrać w 2026
• Self-hosted LLM — Ollama i vLLM dla danych wrażliwych
• Tool calling w produkcji