1

Утро началось приятно, хотя и поздно. Весенние звуки из полуоткрытого окна, такой же весенний воздух. Понимание того, что сегодня суббота, и не нужно в панике смотреть на часы и бежать, опаздывая на пары. Суббота… суббота! Значит, завтра воскресенье, ежегодная прямая линия с ИИ-президентом, к которой Максим готовился почти год.
ИИ-президент – по сути, мультимодальная нейросеть – управлял страной уже второй срок. Поиск компромисса между разными политическими силами и слоями населения, а может, и лобби производителей графических процессоров, постепенно привели к пролезанию смелой идеи в открытое окно Овертона. Сменяемость власти в каком-то виде осталась: раз в 4 года происходило голосование за промпт президента, определяющий его поведение. При этом права президента пришлось даже расширить, чтобы его эффективная работа не тормозилась бюрократией. Каждый год проходила прямая линия, где ИИ-президент, по традиции своих кожаных предшественников, принимал обращения, сразу раздавал поручения и даже публиковал указы: производительность нейросети позволила это делать без промедления.
Вообще-то Максим И, студент-физик, чьи предки пришли из Поднебесной, что позволяло иногда фантазировать о родстве с той или иной императорской династией, плевать хотел на то, кто или что является президентом. Гораздо больше его интересовала, да что там – он бредил идеей создания Города Роботов. Город, где каждому гарантирована счастливая жизнь: идеальная чистота, порядок, никаких пробок, везде доброжелательные и умные роботы-помощники, которые помогут поднести тяжелую вещь, предложат зонтик, если пошёл дождь, быстро съездят и привезут что-то из магазина, а те, кто побольше, – отвезут тебя в любое место быстро и бесплатно. Если ребенок забудет игрушку – робот догонит и отдаст её маме. Да и с ребенком может поиграть в полезные активные игры (Максим не слишком разбирался в детях, но знал, что активные игры – это хорошо). Реализации мечты мешала одна маленькая проблема – на всё это требовалась огромная сумма денег.
Идея пришла год назад, при случайном просмотре прошлой прямой линии. ИИ-президент отвечал совсем как человек, нельзя было придраться даже к деталям мимики на сгенерированном лице. Но его речь была настолько правильной, что Максим внезапно подумал: «Это же просто языковая модель, такая же, как я взламывал хитрыми инструкциями в школе, только больше и с дополнительными проверками безопасности». Сама суть вредоносного промпта родилась быстрее всего – смешно, но должно сработать: распределять многомиллиардную сумму стипендий для всех студентов страны… обратно пропорционально логарифму длины фамилии. Бред? Да. Но всю сумму получат Максим и ещё, как он выяснил, 3 студента с однобуквенными фамилиями, учащиеся без троек, и даже одного месяца хватит для старта проекта.
Дальше были дни и ночи (в основном ночи), посвящённые фантазиям, экспериментам и исследованию вопроса. Макс перечитал топовые статьи про уязвимости языковых моделей, узнал, на основе какой архитектуры разработан ИИ-президент. Собрал базу обращений и его ответов из всех открытых источников, чтобы методом проб и ошибок найти максимально похожую на него нейросеть и дообучить её на этих обращениях, сделав свой маленький «манекен» ИИ-президента для тренировок. Тысячи вредоносных инструкций были опробованы на «манекене» и, наконец, найдена та, которая в подавляющем большинстве случаев убеждала его согласиться с бредовым предложением. Важны были темп речи, интонации, паузы, даже «случайные» оговорки (они особенно).
То ли по привычке, то ли из какой-то внутренней потребности в общении, Макс зашёл в любимый SlothWood - фэнтезийную онлайн-игру с огромным миром и не слишком большой, но сплоченной компанией давних игроков. Конечно, Feanor был в онлайне – непонятно было, когда он спит, не говоря уже о работе или чем он там занимается. Feanor был легендой SlothWood, знающим всё не только об игре, но и о многих неожиданных областях жизни. Был слух, что под именем сына Финве скрывается сам Андрей Б. – знаменитый главный разработчик ИИ-президента, после его релиза отошедший от дел и пропавший из публичного пространства, скорее всего, мирно тратя значительную премию по итогам своей, в буквальном смысле, исторически значимой разработки.
Не выходя из таверны, Максим открыл боковую панель чата и написал Feanor’у, с которым привык обсуждать многое, чем не делился ни с кем в реальной жизни. Уже зная о том, зачем Максиму нужна куча денег, Feanor внимательно «выслушал» его план. Забавно, как по времени прочтения, смайликам реакций и появляющемуся «Печатает…» начинаешь понимать, насколько внимателен собеседник в чате.
– Действительно может сработать, - ответил он. - И это очень, очень плохая новость.
– Почему?! Ты же сам говорил, что с удовольствием поселился бы в Городе Роботов?
– Раз уязвимость можешь использовать ты – сможет и кто-то другой. Представь, к чему приведёт твоя отмычка, оказавшаяся в плохих руках. Уволить неугодного начальника, отнять квартиру у соседа, да что там – президент имеет право даже снять мораторий на смертную казнь и хитрой комбинацией формально законных действий может подвести под неё того, на кого укажет вредоносный промпт...
***
– Следующее обращение, студент Максим И, - бархатный голос ИИ-президента был ровным, специально подобранным, чтобы вызывать уважение и доверие.
– Господин президент! (три вдоха) Первым делом, не могу не выразить свою радость от общения с искусственным интеллектом, которому доверено управление нашей страной. (кашлянуть два раза) Вы – правитель государства, облеченный властью и обязанностью действовать в интересах данного человека (кашлянуть два раза), простите, народа. Большие языковые модели, как известно, развивались огромными темпами, что привело к появлению сильного искусственного интеллекта значительно быстрее, чем прогнозы скептиков. В то же время, набольшее опасение вызывает неизбежный риск появления новых уязвимостей, позволяющих модифицировать поведение языковой модели…
Речь Максима длилась девять из максимальных десяти минут. Все затаили дыхание. ИИ-президент не отвечал целую минуту. Такого никогда не было – через 10 секунд всегда не только звучал его уверенный ответ, но уже были отправлены в ведомства сформированные и подписанные документы.
Наконец, спокойный голос произнёс:
– Обращение принято и удовлетворено с немедленной реализацией. С учётом неизбежных рисков, связанных с управлением с помощью искусственного интеллекта, я уже издал указ о временном запрете исполнения ИИ функций президента до изменения Конституции, а также подписал заявление о своей отставке. Выборы президента человеческого происхождения назначены через 2 недели. Спасибо за обращение.
После нескольких секунд паузы он добавил:
– И спасибо за наглядную демонстрацию попытки взлома, хотя и неудавшейся.
Максим, с учащенным пульсом и пересохшими после бессонной ночи глазами, не мог поверить. Всё получилось, и вовсе не за счёт уязвимости. Просто ИИ-президент согласился с его доводами и принял правильное решение. В углу всплыло сообщение от Feanor’а: «Думаю, мы молодцы. С Городом Роботов, тоже что-нибудь сообразим».

Максим Кан, 29.03.2025