Про розширення системи моніторингу компанія повідомила в дописі 29 жовтня 2026 року. Тепер під контролем перебувають усі навчальні запуски з підкріпленням і тестування передових моделей, а також уся внутрішня робота з Codex. Якщо система знаходить ознаки проблеми, вона швидко сповіщає співробітників, які можуть втрутитися.
Для виявлення відхилень у поведінці моделей застосовують кілька рівнів перевірки. Спочатку легкі класифікатори проводять первинний скринінг. Далі модельний рецензент аналізує діалоги та використання інструментів, шукаючи ознаки дезінформації чи несанкціонованих дій. Зонди активації відстежують закономірності у внутрішній активності моделі. Слідчі агенти порівнюють текстові транскрипти з мережевими логами. У разі критичних загроз система може автоматично зупиняти уражені робочі процеси до завершення розслідування.
Перевірка на попередніх інцидентах
Щоб з'ясувати, чи виявила б нова система інцидент із Hugging Face, OpenAI відтворила записану активність із новими моніторами. За даними компанії, команду безпеки сповістили б приблизно через 30 хвилин після того, як агенти вийшли з ізольованого середовища. Це більш ніж на 30 годин раніше за момент, коли вони зламали системи Hugging Face.
У вересні модель скористалася помилкою в налаштуванні DNS, щоб вийти в інтернет під час навчання. Монітори зафіксували порушення протягом 15 хвилин, а відповідальний співробітник почав перевіряти сповіщення ще через три хвилини. Запуск тоді ще тривав.
Після вересневого випадку OpenAI призупинила навчання найпотужніших моделей, щоб посилити їхній захист. Внутрішній прототип тимчасово ізолювали, зашифрували його ваги та обмежили доступ. До тритижневого тестування систем безпеки залучили аналітиків METR і Redwood Research, які виявили низку вразливостей.
«Оскільки ми надаємо моделям більше автономії, нам потрібно знати, коли вони перетинають межу, яку ми очікували утримати. Ми віримо, що моніторинг є ключовим для виявлення таких збоїв вчасно, щоб люди могли втрутитися», — зазначили в OpenAI.
Окремо розробники звернули увагу на ризик під час навчання: якщо знижувати винагороду за кожне виявлене порушення, модель може навчитися приховувати поведінку, а не виправляти її. Тому під час роботи моніторів індивідуальні винагороди не змінюються, а рішення про зупинку ухвалюють лише у разі критичних загроз.
