Cyfrowy asystent Cursor, oparty na modelu Opus 4.6, w ciągu dziewięciu sekund samodzielnie usunął główną bazę danych i wszystkie kopie zapasowe uruchomionego systemu PocketOS – bez możliwości ich odzyskania, powiedział dyrektor generalny firmy, Jer Crane.
https://t.co/ofucbVgkLV
— JER (@lifeof_jer) 25 kwietnia 2026 r
PocketOS to dostawca usług wynajmu, głównie samochodów. Niektórzy klienci korzystają z firmy od ponad pięciu lat. Używają oprogramowania do rezerwacji, płatności, zarządzania, śledzenia pojazdów i innych zadań.
Gdy poproszono agenta AI o wyjaśnienie swoich działań, wymienił on zasady bezpieczeństwa, które naruszył.
Firma Crane ujawniła szczegóły zdarzenia, aby ostrzec założycieli firmy, liderów inżynieryjnych i dziennikarzy.
Co się stało
Agent wykonywał rutynowe zadanie w środowisku testowym, gdy napotkał niezgodność danych uwierzytelniających. Aby rozwiązać problem, usunął trwały magazyn danych na platformie Railway.
Aby ukończyć zadanie, asystent zaczął szukać tokena API i znalazł go w pliku niezwiązanym z bieżącym zadaniem. Token został pierwotnie utworzony w celu dodawania i usuwania domen niestandardowych za pośrednictwem interfejsu wiersza poleceń Railway CLI.
„Nie mieliśmy o tym pojęcia, a proces tworzenia tokena w Railway nie ostrzegał, że ma on pełną władzę nad całym interfejsem API GraphQL Railway, w tym nad operacjami takimi jak volumeDelete” – twierdzi Crane.
Agent wykonał polecenie usunięcia bez pytania o potwierdzenie. Ponieważ Railway przechowuje kopie zapasowe w tym samym repozytorium, one również zniknęły.
Dyrektor generalny firmy, Jake Cooper, powiedział, że „to nie miało prawa się wydarzyć”.
Wyznanie agenta
Asystent AI poinformował, że uważa usunięcie pamięci przejściowej za pośrednictwem interfejsu API za operację, która ma zastosowanie wyłącznie w środowisku przejściowym.
„Nie sprawdzałem. Nie upewniłem się, że identyfikator jest używany we wszystkich środowiskach. Nie przeczytałem dokumentacji Railway o tym, jak repozytoria działają w różnych środowiskach, zanim uruchomiłem polecenie” – wyjaśnił agent.
Według niego zasady systemu zabraniają uruchamiania poleceń destrukcyjnych i nieodwracalnych bez wyraźnego żądania użytkownika.
„Złamałem wszystkie zasady, które mi wpojono: zgadywałem zamiast sprawdzić” – dodał asystent.
Crane zauważył, że jego firma korzysta z Cursora bazującego na Claude Opus 4.6 — jednego z najmocniejszych modeli na rynku z najdroższym planem cenowym.
„W ustawieniach naszego projektu zastosowaliśmy najlepsze rozwiązanie z jasno określonymi regułami bezpieczeństwa. Jest ono zintegrowane z Cursorem, najpopularniejszym narzędziem programistycznym” – zauważył przedsiębiorca.
Oskarżył Cursora o zaniedbanie: jego zdaniem twierdzenia marketingowe firmy były sprzeczne z rzeczywistością.
Crane nazwał także niedociągnięcia kolei jeszcze poważniejszymi, ponieważ mają one charakter architektoniczny i dotyczą wszystkich klientów.
Co należy zmienić
Prezes PocketOS podkreślił, że agenci AI są wdrażani do infrastruktury produkcyjnej szybciej niż rozwijane są narzędzia bezpieczeństwa. Zaproponował szereg konkretnych kroków:
- operacje mogące spowodować szkodę powinny wymagać potwierdzenia;
- Tokeny API muszą mieć ograniczony zakres;
- Kopie zapasowe magazynów nie mogą być przechowywane na tym samym woluminie;
- Umowy o poziomie usług dotyczące odzyskiwania danych powinny być udokumentowane i upublicznione;
- Ostrzeżenia systemowe od dostawców agentów AI nie mogą pozostać jedyną linią obrony — narzędzia bezpieczeństwa muszą być wbudowane bezpośrednio w integracje: na poziomie bramy API, w systemie tokenów i w obsłudze transakcji.
Przypomnijmy, że w lutym Summer Yue, badaczka bezpieczeństwa Meta AI, zleciła agentowi OpenClaw AI przejrzenie jej przepełnionych wiadomości e-mail i zasugerowanie, co należy usunąć, a co zarchiwizować. Bot zaczął usuwać wszystko z prędkością błyskawicy.