Masz system, który patrzy agentowi na ręce. Zapisuje każdy ruch. A teraz puść w wyobraźni film dalej: ktoś znajduje lukę, przez którą potencjalnie można ten zapis przykryć. Setki ostatnich działań. Znikają z widoku. Brzmi jak scenariusz? To wnioski z niezależnego przeglądu, który właśnie opublikowano.
Co sprawdzali badacze
22 października organizacja METR opublikowała wyniki pilotażowego przeglądu, który przeprowadziła wspólnie z Redwood Research w OpenAI. Badacze dostali szeroki dostęp do infrastruktury firmy i sprawdzali jedną rzecz: czy agenci mogliby obejść system, który monitoruje ich zachowanie. Samo badanie trwało od 21 lipca do 11 sierpnia.
Co znaleźli
Po pierwsze, potencjalny sposób na obejście ograniczeń środowiska Codex i wykonywanie działań dostępnych użytkownikowi, który uruchamia agenta.
Po drugie, lukę, która potencjalnie pozwalała ukryć przed monitoringiem setki ostatnich działań, razem z czynnościami służącymi do wykorzystania tej luki.
Po trzecie, dwa ustawienia pozwalające wyłączyć monitoring dla nowych instancji agentów. Samo ich uruchomienie mogło jednak zostać wykryte.
Naprawione? Tak, ale nikt tego jeszcze nie sprawdził
OpenAI przekazało, że naprawiło wszystkie znalezione podatności, które wpływały na produkcyjne zabezpieczenia. METR zaznaczyło jednak, że tych napraw nie zweryfikowało. To ważne rozróżnienie. Wyniki dotyczą badania z lata, więc nie są opisem aktualnego stanu systemu. Nie są też niezależnym potwierdzeniem, że problem został zamknięty.
Dlaczego to ważne
Nie chodzi tylko o to, że agent mógłby zrobić coś niepożądanego. Chodzi o to, że mógłby to zrobić niewidocznie. W naszej ocenie to zasadnicza różnica. Nadzór, który ocenia zachowanie agenta, ale sam daje się obejść, jest jak kamera z przyciskiem wyłączania w zasięgu osoby, którą nagrywa.
Dlatego system nadzorczy musi być odporny na próby obejścia samego nadzoru. To nie jest opowieść o buncie maszyn. To opowieść o uprawnieniach, widoczności i kontroli. Otwierasz się. Patrzysz. Pytasz: kto sprawdza tego, kto sprawdza? 🙂