Что делают инженеры, пока модель отвечает на вопросы?

Прототип AI-ассистента по документам сегодня собирается за вечер: четыре блока — и он уже отвечает. Доклад о том, что происходит с такой системой дальше, когда на её ответы начинают полагаться люди.
Это драма в четырёх актах об эволюции одной production-системы. В каждом акте модель ломает привычное убеждение, а чинит его инженерия. Правильный код больше не гарантирует правильный ответ. Архитектура перестаёт быть универсальной, когда каждая проверка стоит секунд. Данные в контексте модели больше не просто лежат — они могут отдавать команды. А ответ из прошлого вторника уже не воспроизвести.
На каждую проблему — решение из работающей системы и год, когда похожую задачу впервые решили без всякого AI: проблема эталона в тестировании — 1982, саги — 1987, row-level security — 1999, fencing — 2006. За четыре акта схема выросла с 4 компонентов до 17, а доля кода AI-ядра в ней упала с 88 до 16 процентов.
Так что же делают инженеры, пока модель отвечает на вопросы? Развивают систему и сохраняют контроль над её поведением. Инженерия здесь — не отдельный слой, а культура того, как система растёт.
Каждый акт я разберу подробнее в отдельных текстах — они будут появляться в разделе «Тексты».