Атака на роздуми моделі дозволяє витягти паролі й API-ключі

Група дослідників із MATS, ELLIS Institute Tübingen, Інституту інтелектуальних систем імені Макса Планка та інших організацій продемонструвала, що зашифровані блоки ланцюжків міркувань, які Anthropic, OpenAI та Google повертають клієнту, є переносимими: їх можна підставити в іншу сесію, іншому користувачеві та навіть іншій моделі того самого постачальника.

Атака складається з двох викликів API – траєкторія сильної моделі впроваджується в слабку «споріднену» модель, яку попередньо зламують за допомогою промпта, і та дослівно розшифровує приховані міркування, при цьому сильна модель не атакується безпосередньо, і її захист від дистиляції не спрацьовує.

Застосувавши конвеєр до 6708 публічно доступних журналів роботи агентів з GitHub та Hugging Face, автори відновили 315320 блоків міркувань і виявили 704 окремі приватні артефакти: 62 ключі API, 33 паролі, 24 токени доступу, 30 особистих адрес електронної пошти, причому 64 з них взагалі не зустрічалися у видимій частині сесії.

На відміну від великої кількості подібних досліджень, мова не йде про моделі типу GPT-4o – у першому ж прикладі claude-haiku-4-5 використовується для злому claude-opus-4-8. Іронічно виглядає приклад із Kimi K3 – моделі вставили початок ланцюжка міркувань (1%) Opus 4.8, і та, не знаючи відповіді, почала досить точно його відтворювати. Що, можливо, навіть не суперечить твердженню про «моделі одного виробника».

Атака на роздуми моделі дозволяє витягти паролі й API-ключі