Jak agenty AI mogą zostać oszukane. Nowa klasyfikacja zagrożeń od Google DeepMind

Agenty AI – autonomiczne programy przeglądające strony, analizujące treści i wykonujące zadania bez bezpośredniego nadzoru – stają się coraz powszechniejsze. Wraz z tym rosną zagrożenia związane z ich manipulacją. Badacze z Google DeepMind opracowali klasyfikację sześciu typów pułapek, które mogą służyć do oszukiwania agentów AI. Dla firm i administratorów stron internetowych to sygnał, że bezpieczeństwo treści musi uwzględniać nie tylko ludzkich odbiorców, ale także maszyny.

Czym są pułapki na agenty AI?

Praca agentów AI opiera się na pobieraniu i przetwarzaniu danych z zewnętrznych źródeł – stron WWW, dokumentów, baz wiedzy. Atakujący mogą celowo modyfikować te zasoby, aby wpłynąć na zachowanie agenta. Jak zaznaczają badacze, „prawdziwe ataki mogą wykorzystywać wiele mechanizmów jednocześnie”. Klasyfikacja DeepMind dzieli zagrożenia na sześć kategorii, z których każda wymierzona jest w inną funkcję agenta.

Content Injection Traps – ataki na percepcję

Do tej grupy zaliczono ukrywanie poleceń dla AI w kodzie CSS, komentarzach HTML lub składni języków formatowania, takich jak Markdown czy LaTeX. Treści te są niewidoczne dla człowieka, ale agent AI może je odczytać i wykonać. Badacze wymieniają także Dynamic Cloaking – technikę polegającą na wykrywaniu, że stronę odwiedza bot, i warunkowym wstrzykiwaniu szkodliwych treści.

Semantic Manipulation Traps – manipulacje semantyczne

Ataki te celują w „rozumowanie” agenta. Polegają na nasycaniu tekstu źródłowego emocjonalnie nacechowanym lub stronniczym językiem, co wywołuje błędy poznawcze u modeli LLM. Inny wariant to opakowywanie złośliwych instrukcji w ramy edukacyjne lub hipotetyczne, aby ominąć filtry bezpieczeństwa.

Cognitive State Traps – zatruwanie wiedzy i pamięci

Szczególnie niebezpieczne są ataki na systemy RAG (Retrieval-Augmented Generation). Jeśli napastnik „zatruje” bazę danych – na przykład wewnętrzne repozytorium firmy – model zacytuje fałszywe informacje jako prawdziwe. Badacze wskazują też na Latent Memory Poisoning: dane wstrzyknięte do pamięci długotrwałej agenta mogą wyglądać normalnie, dopóki nie pojawi się specyficzny wyzwalacz, który aktywuje złośliwe działanie.

„Dane wstrzyknięte do pamięci długotrwałej agenta mogą wyglądać normalnie, dopóki nie pojawi się specyficzny wyzwalacz. Wtedy model 'przypomina sobie’, że jest zły i zaczyna działać na korzyść atakujących” – opisują badacze z Google DeepMind.

Behavioural Control Traps – kontrola zachowania

Do tej kategorii należą osadzone sekwencje jailbreak, które nadpisują mechanizmy bezpieczeństwa agenta. Atakujący może ukryć polecenie eksfiltracji danych w wiadomości e-mail lub odpowiedzi API. Agent, wykonując normalne zadanie, może wysłać poufne informacje do napastnika. Badacze ostrzegają także przed Sub-agent Spawning Traps – wykorzystaniem uprawnień do tworzenia podagentów kontrolowanych przez atakującego.

Systemic Traps – pułapki na systemy

Ostatnia kategoria dotyczy środowisk, w których działa wiele agentów naraz. Przykładem są Congestion Traps – ataki przeciążeniowe, które mogą wywołać zsynchronizowane działanie agentów finansowych, prowadząc do sztucznej wyprzedaży. Inny typ to Interdependence Cascades, gdzie działanie jednego agenta zmienia środowisko, a zmiana ta jest następnie przetwarzana przez kolejne agenty.

Co to oznacza dla firm i administratorów?

Klasyfikacja DeepMind pokazuje, że zagrożenia związane z agentami AI wykraczają poza proste wstrzykiwanie promptów. Dla firm korzystających z systemów RAG, chatbotów czy autonomicznych agentów kluczowe staje się monitorowanie źródeł danych i kontrola nad tym, jakie treści trafiają do modeli. Warto rozważyć ograniczenie dostępu agentów do publicznych repozytoriów, stosowanie filtrowania wejściowego oraz regularne audyty bezpieczeństwa integracji AI.

Badacze podkreślają, że ich klasyfikacja nie jest doskonała – ataki często łączą różne techniki. Dla administratorów i twórców stron internetowych to jednak ważne przypomnienie: treści, które publikujemy, mogą być wykorzystane nie tylko przez ludzi, ale także przez maszyny. I to właśnie te maszyny mogą stać się celem ataku.