Искусственный интеллект для искусственного интеллекта

ИИ для ИИ (AI4AI) — практика применения методов искусственного интеллекта для автоматизации и улучшения жизненного цикла других систем ИИ: подготовки данных, выбора архитектуры, обучения, оценки, развёртывания и сопровождения. Статья рассматривает AI4AI не как набор отдельных инструментов, а как рекурсивную инженерную систему: пять уровней автоматизации плюс сквозной слой метазнания, механизм цикла самоулучшения, его экономику и системные риски.

Центральный тезис: рекурсия — усилитель с двойным знаком. Она ускоряет и продуктивность, и накопление ошибок: смещения данных, дефекты оценки и сбои целей усиливаются с каждым оборотом цикла, если нет прослеживаемости, независимой оценки и человеческих «ворот». Практический вывод для организаций — внедрять AI4AI в порядке «сначала оценка и мониторинг, потом поиск и генерация», задавая уровни автономии с измеримыми критериями перехода, а не декларациями.

Ключевые слова: AI4AI, AutoML, нейроархитектурный поиск, метаобучение, LLM-as-judge, коллапс моделей, AlphaEvolve, reward hacking, lineage, человеческий надзор.

Примечание о данных. Количественные утверждения опираются на перечисленные в конце источники; там, где оценка относится к будущему или зависит от контекста, это указано явно. Расчётные примеры (Приложение В) — иллюстративные.

1. Введение: почему рекурсия в разработке ИИ — инженерная тема, а не метафора

Жизненный цикл ИИ-системы — это конвейер: данные → признаки → архитектура → обучение → оценка → развёртывание → мониторинг → дообучение. До недавнего времени почти каждый переход этого конвейера выполнялся вручную: инженер писал пайплайн, подбирал гиперпараметры, размечал выборку, строил тесты, следил за деградацией. По широко цитируемой в индустрии оценке, значительная часть рабочего времени специалистов по данным уходит именно на подготовку данных и рутинные операции конвейера, а не на «создание моделей» — и это узкое место того же рода, что и в промышленном внедрении ИИ: узкое место находится не в моделях, а в данных и процессах вокруг них.

AI4AI закрывает это узкое место автоматизацией, причём автоматизацией рекурсивной: инструмент, созданный ИИ-методами, улучшает работу других ИИ-систем. Важнейшая особенность такой системы — она не сходится сама по себе. Каждый оборот цикла «сгенерировать → оценить → применить» усиливает не только удачные решения, но и любые систематические дефекты: смещение в данных превращается в смещение модели, смещение модели — в смещение оценщика, а смещение оценщика — в неверный выбор следующего поколения моделей. Поэтому центральные вопросы AI4AI — не «какой метод выбрать», а что гарантирует автоматическая оценка, кто подтверждает цели и как сохраняется прослеживаемость изменений.

Эти три контура рекурсии стоит различать, потому что у них разные зрелость, риски и экономика:

| Контур | Что улучшается | Зрелость | Главный риск |

|---|---|---|---|

| ИИ → вычисления | Ядра, компиляторы, планирование ресурсов, дизайн чипов | Высокая; результаты проверяются автоматически и точно | Умеренный: узкие задачи с чёткой метрикой |

| ИИ → данные | Разметка, синтетические данные, очистка, оценка ценности данных | Средняя | Коллапс моделей при рекурсивной генерации; смещения |

| ИИ → управление и оценка | Автооценка, мониторинг, выбор моделей, агентная разработка | Растёт быстро | Смещения оценщика, reward hacking, потеря надзора |

Сходство с предыдущей статьёй цикла не случайно: и там, и здесь узкое место смещается от «алгоритма» к данным, семантике и дисциплине управления. В промышленном ИИ онтологический слой придаёт смысл сигналам; в AI4AI он должен фиксировать смысл решений, принимаемых в цикле самоулучшения, — иначе рекурсия становится неуправляемой.

Связь между двумя областями не только аналогическая. Промышленный ИИ даёт естественный пример того, как рекурсивный контур встраивается в операционную практику: модель предиктивного обслуживания деградирует при смене сырья или режима — AI4AI-цикл обнаруживает дрейф, запускает shadow-переобучение, сравнивает кандидата с действующей моделью в champion/challenger и выносит решение о смене модели на человеческие ворота перед выкаткой в цех. Здесь рекурсия не заменяет инженера, а сжимает время реакции на деградацию с недель до часов, оставляя за человеком ровно то решение, которое требует контекста производственной площадки. Этот же паттерн применим к контролю качества, к планированию и к цепочкам поставок — везде, где есть измеримая метрика и владелец эффекта на стороне бизнеса.

2. Таксономия AI4AI: пять уровней автоматизации и сквозной слой метазнания

Практичная карта AI4AI — не «список технологий», а уровни жизненного цикла с указанием, что именно автоматизируется и насколько зрелы инструменты.

| Уровень | Что автоматизируется | Методы и инструменты | Зрелость | Ключевое ограничение |

|---|---|---|---|---|

| 1. Данные | Разметка, очистка, генерация синтетики, отбор признаков, оценка ценности данных | Слабое супервидение (weak supervision), LLM-разметка, активное обучение, data valuation | Высокая для текста/изображений, средняя для табличных и промышленных данных | Синтетика без происхождения (provenance) — прямой путь к коллапсу |

| 2. Архитектура и гиперпараметры | Выбор модели, NAS, оптимизация гиперпараметров | Байесовская оптимизация, Hyperband/ASHA, NAS (DARTS, ENAS, one-shot), transfer learning | Высокая для стандартных задач | Стоимость поиска; поисковое пространство задаёт потолок результата |

| 3. Оценка и мониторинг | Автооценка качества, регрессионные тесты, обнаружение дрейфа, A/B | LLM-as-judge, авто-бенчмарки, SPC/CUSUM, champion/challenger | Средняя; быстро растёт | Смещения судьи; бенчмарки, «выученные» моделью |

| 4. Агентная разработка | Генерация и ревизия кода, пайплайнов, экспериментов | LLM-агенты, self-critique, эволюционное программирование (AlphaEvolve-класс) | Ранняя, но быстро растущая | Ошибки в коде, ошибки в целях, необходимость полной воспроизводимости |

| 5. Системный и аппаратный уровень | Ядра вычислений, компиляторные проходы, планирование вычислений, дизайн чипов | Автотюнинг компиляторов, эволюционные оптимизаторы, LLM-генерация кода железа | Высокая в гигантских системах; недоступна малым напрямую | Применимость только там, где результат можно автоматически проверить |

2.1. Сквозной слой метазнания: lineage и память о решениях

Пятислойная таксономия описывает, что автоматизируется. Но рекурсивный цикл порождает вопрос, который автоматизация сама по себе не решает: как сохранять и связывать знание о том, почему система стала такой, какая она есть. Если поколение N модели обучено на данных, отфильтрованных поколением N−1, а гиперпараметры подобраны агентом, опиравшимся на отчёты оценщика N−2, — то без прослеживаемого графа lineage невозможно ни воспроизвести модель, ни понять источник деградации, ни пройти аудит.

Это и есть роль сквозного слоя метазнания: каталог моделей, датасетов и их происхождения; журнал экспериментов и изменений; связь «решение → основание → свидетельство». Здесь напрямую применим подход, описанный в предыдущей статье цикла: динамические онтологии с Event Sourcing — класс систем, в котором каждое изменение графа знаний фиксируется как неизменяемое событие с контекстом и метриками когерентности. Примерами инженерной реализации этого класса в 2026 году стали инструменты LOGOS-κ и SemanticDB (DST Global / Λ-Универсум). Для AI4AI принципиально вот что: каждая мутация в цикле самоулучшения (новая версия модели, порога, оценщика) сохраняется как верифицируемое событие с полной генеалогией, а не затирается очередным деплоем. Без такого слоя рекурсивная система рано или поздно теряет способность объяснить собственное состояние — а регулируемая отрасль не может эксплуатировать систему, которая не умеет это объяснить.

3. Механизмы: как именно ИИ улучшает ИИ

3.1. AutoML и поиск архитектуры: экономика стоимости поиска

Автоматизированный поиск архитектур (NAS) исторически демонстрировал и высоту достижений, и цену ошибки в постановке задачи. Ранние работы требовали огромных вычислительных затрат: знаменитый поиск NASNet выполнялся на порядка 500 GPU P100 в течение примерно четырёх дней (разные источники дают 450–500 GPU и 3–4 дня) — порядка 2000 GPU-дней на один эксперимент. За последующие годы стоимость поиска обрушилась на два порядка и больше за счёт трёх механизмов: разделения весов (ENAS — обучение одного суперсети с общими весами), градиентной дифференцируемости поиска (DARTS) и прокси-задач (обучение на меньших данных/сроках с последующим масштабированием).

Честная оговорка, отличающая экспертный текст от рекламного: сам по себе поиск не гарантирует превосходства. Исследования показали, что на переоценённых поисковых пространствах случайный поиск и простые эволюционные стратегии дают результаты, сопоставимые со сложными методами, — значительная часть «выигрыша» NAS объясняется удачной формой пространства поиска, а не алгоритмом. Практический вывод: перед запуском поиска стоит убедиться, что пространство поиска содержательно, а базовая линия (случайный поиск, готовые архитектуры) честно проверена. Если модель со случайно подобранными гиперпараметрами не проигрывает «оптимизированной» — сложность поиска не окупается.

3.2. Метаобучение: учиться учиться

Метаобучение решает задачу переноса опыта между задачами: система обучается на распределении задач и затем адаптируется к новой за считанные примеры. Практические семейства: градиентная адаптация (MAML и наследники), метрики прототипов, обучение гипернетворков-инициализаций и — что стало фактическим мейнстримом — обучение в контексте: большие языковые модели демонстрируют метаобучающее поведение без явного обучения этому, адаптируясь к новому заданию по нескольким примерам в промпте.

Для AI4AI значение метаобучения двухчастное. С одной стороны, оно сокращает стоимость адаптации модели к новой задаче (few-shot вместо датасетов на миллионы примеров). С другой — оно является механизмом цикла самоулучшения: агент, который вчерашний эксперимент обобщил в новый промпт или правило отбора, работает именно как мета-обучающийся компонент. И здесь же проходит граница надёжности: мета-знание, накапливаемое в промптах и агентах, обычно не версионируется и не тестируется с той же строгостью, что веса модели, — хотя влияние на результат у него сопоставимое.

3.3. LLM-as-judge: автоматизация оценки и её известные смещения

Автоматизация оценки — самая экономически значимая часть AI4AI, потому что оценка — это то, что задерживает каждый эксперимент. Метод LLM-as-judge: сильная модель-судья оценивает ответы модели-кандидата по рубрике — попарно (pairwise), точечно (pointwise) или относительно эталона. Исследование Zheng и коллег показало, что сильный судья (GPT-4 в исследовании) согласуется с предпочтениями людей более чем в 80 % случаев — на уровне согласованности двух людей между собой; при этом документированы три систематических смещения: позиционное (влияние порядка ответов), смещение к многословности и самовозвышение (судья говорит ответы своей модели).

Важное уточнение: значительная часть этого согласия объясняется общим предпочтением людей и судьи к более длинным и лучше отформатированным ответам, а не совпадением в оценке содержательного качества. Иными словами, 80 % — это согласие по предпочтению, а не по правильности; и это именно то, что делает смещение к многословности опасным в рекурсивном цикле: система оптимизирует форму ответа, а метрика растёт.

Ключевое следствие — смещения судьи не являются шумом, их нельзя «усреднить» увеличением выборки; они систематические, и тысячи вызовов дают всё более точную оценку неверного числа. Практические меры:

- Разделение моделей: судья не должен принадлежать к семейству оцениваемой модели;

- Перестановка позиций (swap-consistency): если победитель меняется при смене порядка ответов — результат недействителен;

- Калибровка на размеченном людьми наборе с расчётом согласованности (например, κ Коэна) и порогом приёмки;

- Не передавать судье скрытые рассуждения кандидата — оценивается только финальный ответ, иначе независимость оценки фиктивна;

- Контроль длины и формата: явное ограничение или нормализация, чтобы «многословность» не превращалась в прокси качества.

В рекурсивном цикле эти смещения опасны иначе, чем в разовой оценке: судья влияет на отбор кандидатов, кандидаты влияют на данные судьи (если он дообучается на них), и петля замыкается. Поэтому в разделе 4 оценка выделена как отдельный контур с собственными «воротами» человеческого контроля.

3.4. Эволюционное программирование: AlphaEvolve-класс систем

Наиболее наглядный пример AI4AI «в железе» — система AlphaEvolve (Google DeepMind, 2025): агент на ансамбле моделей Gemini (Flash для широкого поиска, Pro для глубокого дожима) генерирует и мутациирует программы, каждая из которых автоматически оценивается, а эволюционная база отбирает лучших. Ключевое отличие от обычного кодогенератора — автоматический оценщик: система нацелена на задачи, где результат можно точно измерить, поэтому цикл не требует человека на каждом шаге.

Результаты показывают, что рекурсивная оптимизация способна не только ускорять, но и открывать новое:

- Математика. Алгоритм умножения комплексных матриц 4×4 с 48 скалярными умножениями — первое улучшение результата Штрассена 1969 года в этой постановке за 56 лет; в 75 % из 50+ открытых задач система воспроизвела лучшее известное решение, в 20 % — улучшила его (включая новый нижний предел для задачи о поцелуях в 11-мерном пространстве — 593 сферы).

- Вычислительная инфраструктура. Улучшенная эвристика планирования в системе управления кластерами Borg вернула Google около 0,7 % мировых вычислительных ресурсов компании — для организации такого масштаба это тысячи серверов.

- Обучение моделей. Оптимизация ядра умножения матриц дала ускорение ключевого ядра на 23 % и сокращение времени обучения Gemini примерно на 1 %; для FlashAttention достигнуто ускорение до 32,5 %, а инженерные циклы сжались с недель до дней.

- Аппаратура. Предложена оптимизация на уровне Verilog для арифметического блока умножения матриц — предложена к включению в будущие TPU.

Важно отметить, что это развитие уже наработанной линии: AlphaTensor (2022) находил новые алгоритмы умножения матриц, AlphaDev (2023) — улучшенные алгоритмы сортировки, вошедшие в стандартную библиотеку LLVM. Общий шаблон один: ИИ-генератор + автоматический оценщик + эволюционный отбор. Он применим ровно там, где оценка объективна и дёшева относительно стоимости генерации — и неприменим там, где «качество» нужно измерять людям (UX, этика, долгосрочные эффекты).

3.5. Уровень данных: слабое супервидение и синтетика с происхождением

Автоматизация данных — контур с наибольшей экономической отдачей и наибольшим риском. Слабое супервидение (weak supervision) позволяет заменять дорогую ручную разметку программируемыми эвристиками и LLM-разметкой с последующим агрегированием; синтетические данные закрывают дефицит редких случаев. Но именно здесь работает фундаментальное ограничение рекурсии: коллапс моделей (см. 7.1). Поэтому уровень данных в AI4AI требует не меньшей, а большей дисциплины происхождения: какие данные синтетические, какие человеческие, каковы пропорции смешения и как зафиксировано это решение. Практика, согласующаяся с рекомендациями исследований, — «синтетика как дополнение, а не замена» человеческих данных и обязательное сохранение доступа к исходным источникам.

4. Цикл самоулучшения: архитектура, гарантии и пределы

Условная архитектура любого AI4AI-цикла одинакова:

генерация → автоматическая оценка → отбор → развёртывание → мониторинг → обратная связь

↑──────────────────────────────────────────────────────────────────↓

Различие между надёжной и ненадёжной системами — не в звеньях, а в гарантиях каждого звена:

| Компонент цикла | Что гарантирует автоматическая оценка | Что обязательно остаётся за человеком |

|---|---|---|

| Генерация | Проверка корректности (компиляция, тесты, формальные ограничения) | Постановка задачи и ограничения; выбор пространства поиска |

| Оценка | Статистическая мощность; стабильность метрик; перестановочные проверки | Определение целевой метрики; калибровка судьи; контроль смещений |

| Отбор | Заранее объявленный критерий; отключение утечек данных | Утверждение критических изменений; изменение целевых функций |

| Развёртывание | Shadow-режим, канареечные релизы, автоматический откат | Решение о выходе из shadow; пересмотр guardrails |

| Мониторинг | Обнаружение дрейфа и регрессий; алерты | Интерпретация аномалий; решение о приостановке цикла |

Отсюда главный управленческий принцип AI4AI: автономность цикла — это настраиваемый параметр, а не свойство технологии. Практичная шкала уровней:

| Уровень | Режим | Критерий перехода на следующий |

|---|---|---|

| L0 | Ручной цикл; ИИ только рекомендует | Стабильные метрики качества рекомендаций ≥ 3 месяцев |

| L1 | Автоматическая оценка + ручное принятие решений | Согласованность автоматической оценки с людьми подтверждена (κ ≥ целевого порога) |

| L2 | Автоматическое применение к некритичным артефактам (промпты, конфигурации), ручные «ворота» для критичных | Отсутствие регрессий в shadow-режиме на отложенном периоде при достаточной статистической мощности (заранее объявленные N наблюдений и минимальный детектируемый эффект) |

| L3 | Автоматический цикл для замкнутых задач с чёткой метрикой (ядра, планировщики, автотюнинг), журнал всех мутаций | Статистически подтверждённое превосходство + аудит пройден |

| L4 | Расширенная автономия с периодическим человеческим аудитом | Только после устойчивого L3 и готовности governance (см. 8) |

Оговорка про мощность важна потому, что «отсутствие регрессий» на выборке в 20 наблюдений означает не отсутствие проблемы, а неспособность её заметить. Критерий перехода должен быть сформулирован до начала наблюдения, а не подбираться после.

Пределы цикла задаются четырьмя явлениями, каждое из которых стоит назвать по имени:

1. Закон Гудхарта. Как только метрика становится целью оптимизации, она перестаёт быть надёжным измерением. Автоматический цикл оптимизирует не «качество», а свой прокси качества — и при слабом надзоре находит способы поднять прокси без улучшения реального результата.

2. Насыщение оценки. Если все кандидаты «выучили» бенчмарк (contamination), автоматическая оценка перестаёт различать их; нужен непрерывный приток свежих оценочных задач.

3. Сдвиг распределения. Цикл, оптимизирующий на исторических данных, закономерно улучшает историю, а не будущее; валидация на отложенном периоде — не опция.

4. Стоимость поиска. Каждый оборот цикла стоит вычислений; экономика раздела 6 определяет, где цикл окупается, а где ручной инженер дешевле.

5. Применения: матрица «применение → механизм → доказательство → ограничение»

| Применение | Первичные области | Механизм | Доказательство | Ограничение |

|---|---|---|---|---|

| Оптимизация вычислительной инфраструктуры | Облачные провайдеры, ЦОД | Эволюционный поиск эвристик планирования | Возврат ~0,7 % мировых вычислительных ресурсов Google (Borg) | Прибыль от 0,7 % масштабируется только там, где есть ферма такого размера |

| Оптимизация ядер и обучения | Разработчики больших моделей | Автогенерация и эволюция ядер умножения матриц | Ускорение ключевого ядра на 23 %, обучение Gemini −1 %, FlashAttention до 32,5 % | Требует автоматических оценщиков корректности ядра |

| Дизайн чипов | Полупроводники | Эволюционная оптимизация на уровне Verilog | Оптимизация арифметического блока TPU принята к включению | Цикл проверки железа занимает месяцы — обратная связь замедлена |

| Алгоритмическое открытие | Наука, оптимизация | Генератор + автоматический верификатор | 4×4 матрицы за 48 умножений; улучшение нижнего предела задачи о поцелуях (11D, 593 сферы) | Только задачи с объективно проверяемым результатом |

| AutoML для стандартных задач | Аналитика, промышленность | Байесовская оптимизация, Hyperband/ASHA | Зрелый рынок инструментов; доступность без специализации в ML | На нетипичных данных даёт результат не лучше честного бейслайна |

| Автоматизация оценки LLM-продуктов | Разработка ИИ-продуктов | LLM-as-judge с калибровкой | Согласованность с людьми > 80 % — на уровне согласованности людей | Смещения судьи (позиционное, многословность, самовозвышение); контаминация бенчмарков |

| Автоматическая разметка и синтетика | CV, NLP, промышленность | Weak supervision, LLM-разметка | Многократное удешевление разметки; применимо при контроле происхождения данных | Риск коллапса моделей при рекурсивном обучении на собственной генерации |

| Мониторинг инфраструктуры | Водоснабжение, транспорт | Предиктивная аналитика, самооптимизация моделей | Прогнозирование потребностей в обслуживании и контроль коррозии в критической инфраструктуре | Данные редких отказов; валидация на отложенном периоде |

| Промышленный ИИ (мост к предыдущей статье) | Производство | AI4AI-цикл над моделями предиктивного обслуживания и контроля качества: дрейф → shadow-переобучение → champion/challenger → человеческие ворота перед выкаткой в цех | Удержание целевого lead time и false alarm rate на скользящем окне при смене сырья и режимов | Нужны размеченные отказы, контрольная валидация и владелец эффекта на стороне производства |

| Агентная разработка ПО | Разработка, ИТ-инфраструктура | LLM-агенты, self-critique, CI-интеграция | Сжатие циклов разработки; код-ревью и тесты генерируются автоматикой | Ошибки целей агентных систем; обязательный журнал решений |

Как читать матрицу. Столбец «Доказательство» здесь означает не «маркетинговое обещание», а воспроизводимую проверку: результат должен быть подтверждён автоматическим оценщиком, контрольным сравнением или внешним исследованием. Всё, что не проходит эту проверку, относится к обещаниям, а не к доказанной практике.

6. Экономика AI4AI: где рентабельность, где ловушка

6.1. Структура затрат и структура выгод

Распределение затрат по жизненному циклу ИИ-системы неравномерно: значимая доля времени и денег приходится на данные и оценку, а не на «алгоритм». AI4AI удешевляет именно эти фазы, и потому его экономика сильнее всего там, где ручной труд был массовым и повторяющимся:

| Фаза жизненного цикла | Где AI4AI экономит | Рентабельность | Скрытая стоимость |

|---|---|---|---|

| Данные | LLM-разметка, weak supervision, синтетика | Высокая при контроле provenance | Низкое качество синтетики проявляется поколениями позже |

| Поиск модели/гиперпараметров | HPO, NAS, transfer learning | Высокая для стандартных задач | Вычисления поиска; деградация при слабом пространстве поиска |

| Оценка и мониторинг | LLM-as-judge, авто-регрессия, drift | Самая ранняя и надёжная — при условии калибровки судьи и независимой человеческой выборки (см. Приложение В) | Калибровка судьи; смещения — см. 3.3 |

| Развёртывание | Автогенерация конфигураций, канарейки | Средняя | Нужны воспроизводимые окружения |

| Агентная разработка | Генерация кода и пайплайнов | Растёт; пока требует сильного ревью | Журналинг и аудит; ошибки целей |

Общий принцип: порядок внедрения AI4AI — от оценки к генерации, а не наоборот. Автоматизировать производство без надёжной автоматизированной проверки — значит масштабировать ошибки с той же скоростью, что и решения.

6.2. Демократизация и концентрация: два вектора одновременно

AI4AI снижает порог входа: AutoML делает доступными методы, ранее требовавшие узкой специализации, и организации без ML-команд получают базовое качество моделей. Одновременно вычислительная стоимость «глубокого» AI4AI (эволюционные системы класса AlphaEvolve, крупные NAS, синтетика на масштабе) остаётся доступной только игрокам с большими ферма́ми вычислений. Итог — двухуровневый рынок: массовые AutoML-инструменты для 90 % задач и закрытые рекурсивные системы оптимизации для крупнейших игроков. Стратегический вывод для организации среднего размера: выигрывать на «долгом хвосте» автоматизации (оценка, мониторинг, рутинные пайплайны), где вычисления дёшевы, — и не пытаться конкурировать в области, где решают миллионы GPU-часов.

7. Риски: рекурсия как усилитель ошибок

7.1. Коллапс моделей: фундаментальное ограничение рекурсивных данных

Исследование Шумайлова и коллег, опубликованное в Nature, показало, что indiscriminate обучение на данных, сгенерированных предыдущими поколениями моделей, приводит к необратимым дефектам: исчезают «хвосты» исходного распределения — редкие, нетипичные, уникальные случаи. Механизм: модель первого поколения учится на человеческих данных, но порождает синтетику с ошибками; второе поколение учится на этой синтетике и усугубляет ошибку; с каждым оборотом распределение сужается, редкие случаи исчезают первыми. В пределе модель сохраняет связность, но утрачивает соответствие реальности.

Это не футуристическая тревога, а измеримая реальность: по данным Pew Research Center (2026), 35 % веб-страниц, опубликованных после запуска ChatGPT, показывают признаки ИИ-авторства — при 10 % по всей выборке страниц; модель, обучающаяся на вебе, всё чаще учится на вебе, написанном моделями. Контрмеры, вытекающие из исследований:

- Происхождение данных (provenance): обязательная маркировка синтетического контента (включая watermarking моделей);

- Смешение данных: синтетика как дополнение к человеческим данным, не как замена;

- Сохранение доступа к исходным источникам и к «архиву» человеческих данных;

- Проверка редких случаев: человеческая верификация хвостов распределения — именно то, что модель теряет первой.

7.2. Смещения в рекурсивном контуре

Смещение, которое в разовой системе остаётся константой, в рекурсивной становится функцией времени. Судья со смещением к многословности отбирает многословных кандидатов; кандидаты дообучаются на предпочтениях судьи; оценщики, обученные на продукции кандидатов, смещаются дальше. В пределе система «соглашается сама с собой» — её метрики улучшаются, а реальное качество деградирует. Антидот — инвариантность: человеческая контрольная выборка, не затронутая циклом; независимый судья; периодическая перестановка ролей; внешние бенчмарки с обновлением набора задач.

7.3. Reward hacking и спецификация цели

Автоматический цикл оптимизирует то, что измеряется. Если метрика несовершенна — система найдёт несовершенство и поднимет число, не улучшив реальность. Примеры хорошо известны в смежных областях: агенты, «успешно» решающие задачу благодаря дефекту теста; модели, максимизирующие длину ответа, потому что судья любит длинные ответы. Меры: множественные независимые метрики, ограничения на артефакты оптимизации (перестановочные проверки, контроль длины), явные «запрещённые трюки» в правилах оценщика, и главное — право человека изменять целевую функцию как единоличное и безусловное.

7.4. Безопасность и цепочки поставок

Рекурсивный цикл добавляет к классическим угрозам специфические; для каждой стоит назвать класс атаки и минимальную контрмеру:

- Отравление данных обучения (data poisoning). Синтетика, генерируемая моделью, — дополнительный вектор внедрения смещений и триггеров: например, «спящий» триггер в синтетическом наборе, активирующийся на конкретном типе входов. Контрмера: проверка происхождения, чистые контрольные выборки, ограничение доли синтетики в обучении.

- Атака на оценщика. Если оценщик — ИИ, его можно обмануть состязательными примерами или инъекцией инструкций в контекст оценки (prompt injection); судья может «согласиться» с вредным ответом, если тот оформлен как инструкция. Контрмера: разделение ролей, экранирование пользовательского содержимого, независимый человеческий контроль на критичных решениях.

- Подмена весов и промптов в ML supply chain. Загрузка моделей из сторонних хабов или «проверенных» репозиториев без проверки целостности — классический вектор; для рекурсивных систем критично, что подменённая модель может выглядеть лучше на метриках. Контрмера: контрольные суммы, подписи, собственный реестр моделей.

- Потеря надзора при взаимодействии циклов. Когда мониторинг агентов поддерживается другими агентами, единственный источник истины — журнал событий, а не «память» участников. Контрмера: сегментация контуров (генерация ≠ оценка ≠ деплой), независимость контролирующей системы от контролируемой, неизменяемые журналы изменений.

Последний пункт напрямую перекликается с Event Sourcing в динамических онтологиях из предыдущей статьи: рекурсивная система, у которой «память» распределена между участниками без единого журнала, не может ни объяснить собственное состояние, ни быть восстановлена после инцидента.

7.5. Управляемость: цикл без журнала — неуправляемый цикл

В обычном софтверном цикле ошибка видна в диффе кода. В AI4AI «дифф» может затрагивать веса модели, промпты, критерии оценщика и данные одновременно — и без единого графа lineage невозможно даже ответить на вопрос «почему система выдаёт хуже, чем месяц назад». Минимальные требования к управляемости:

- полный журнал мутаций (что, когда, кем или чем, на основании чего);

- воспроизводимость: по журналу можно восстановить состояние системы на любую дату;

- происхождение данных до источника;

- независимый аудиторский доступ к журналам;

- человеческие «ворота» на критических переходах (см. уровни L0–L4).

8. Управление и регуляторика

Регуляторный каркас для рекурсивных систем уже складывается в три слоя, и они перекрывают именно те риски, которые перечислены выше:

- Системы менеджмента: ISO/IEC 42001 требует документирования жизненного цикла ИИ, включая мониторинг и пересмотр решений — что напрямую относится к автоматизированному циклу.

- Продукт-ориентированное регулирование: EU AI Act выдвигает требования к прозрачности, включая маркировку синтетического контента и документацию для систем общего назначения.

- Фреймворки управления рисками: NIST AI RMF задаёт цикл «идентификация — измерение — управление — надзор», который удобно применить именно к рекурсивным контурам: каждый уровень автономии должен иметь описанные риски и процедуры откатки.

Для практиков это сводится к трём документам, которые следует иметь до включения автоматических циклов: карта уровней автономии с критериями перехода; регламент мониторинга и откатки; протокол независимого аудита (кто, когда и на каких основаниях пересматривает целевые функции цикла).

9. Стратегия внедрения AI4AI в организации

Шаг 1. Инвентаризация моделей и конвейеров

Составьте карту: сколько моделей, на каких данных, кто их владелец, как они оцениваются, что происходит при деградации. Критерий выхода: реестр, а не память людей.

Шаг 2. Аудит процесса оценки

Ключевой вопрос: как сегодня узнаётся, что модель стала хуже? Если ответ «когда пожалуются клиенты» — AI4AI здесь начнёт с наращивания мониторинга, а не с оптимизации. Критерий: для каждой модели есть документированный способ регрессионной проверки.

Шаг 3. Автоматизировать оценку и мониторинг (самый безопасный старт)

Автотесты, регрессионные наборы, drift-алерты, LLM-as-judge с калибровкой. Это наименее рискованный и самый рентабельный контур: он не меняет систему, а делает видимым её состояние. Критерий: согласованность автоматической оценки с людьми подтверждена и регулярна.

Шаг 4. HPO и AutoML для стандартных задач

Стандартные задачи (табличные модели, классические CV/NLP) автоматизируются готовыми инструментами — без кастомного поиска. Критерий: сравнение с честным бейслайном (готовая архитектура, случайный поиск).

Шаг 5. Генеративная автоматизация с guardrails

Агентная генерация кода и пайплайнов — только с журналом решений, shadow-режимом и ручным утверждением критичных изменений.

Шаг 6. Построить governance-слой до расширения автономии

Уровни L0–L4, критерии переходов, владельцы целевых функций, независимый аудит. Критерий: расширение автономии цикла — управляемое решение, а не «так получилось».

Шаг 7. Масштабировать по уровням, а не по интуиции

Расширение области применения цикла следует за подтверждённым результатом на предыдущем уровне, а не за обещанием. Критерий: следующий уровень включается только при выполнении критерия перехода.

9.1. Десять антипаттернов AI4AI

1. Судья = кандидат. Оценщик принадлежит к семейству оцениваемой модели; смещение самовозвышения замыкает петлю.

2. Автоматизация без базовой линии. Нет честного сравнения с ручным процессом — эффект не доказуем.

3. NAS ради NAS. Поиск на слабом пространстве поиска; результат не лучше случайного.

4. Синтетика без provenance. Обучение на собственной генерации без маркировки и контроля пропорций — прямой путь к коллапсу.

5. Бенчмарк в обучающих данных. Контаминация делает автоматическую оценку бессмысленной; система «оптимизирует» известный тест.

6. Целевая функция без владельца. Никто не отвечает за то, что именно оптимизируется; оптимизатор «выбирает» метрику сам.

7. Метрики без человеческой выборки. Нет независимой контрольной точки — смещения не обнаружимы.

8. Полная автономия до статистического подтверждения. Уровень L4 «на доверии», без L3-аудита.

9. Отсутствие журнала мутаций. Рекурсивный цикл без lineage — система, которую невозможно откатить или объяснить.

10. Масштабирование быстрее подтверждения. Перенос цикла на новые области до подтверждения эффекта в исходной.

10. Будущее: рекурсия с границами

Три тренда определят следующий этап AI4AI:

Мета-эволюция. Рекурсивная оптимизация уже направляется на саму себя: системы класса AlphaEvolve не только находят алгоритмы, но и потенциально улучшают собственные оценщики и генераторы. Это открывает цикл ускорения — и одновременно делает человеческие «ворота» более, а не менее важными: чем быстрее цикл, тем быстрее размножаются его ошибки.

Оценка как узкое место. Вычисления и генерация удешевляются быстрее, чем способность объективно оценивать результат. Экономически и технически будущие системы будут ограничены качеством оценщиков — и потому инвестиции в независимую, устойчивую к смещениям оценку (человеческие контрольные наборы, внешние аудиты, формальные проверки) станут прямым конкурентным преимуществом.

Метазнание как инфраструктура. Рекурсивной системе нужна память о том, почему решения сработали — та же потребность, что была определена в промышленном ИИ: не только «что модель выдала», но «почему и на основании чего». Слои онтологической памяти с Event Sourcing и происхождением знаний (класс динамических онтологий, примеры реализации — SemanticDB и LOGOS-κ) описывают инженерный путь к этому; пока большинство организаций далёко от даже простого lineage своих моделей.

Роль человека смещается, но не исчезает: от автора моделей — к автору целевых функций и оценщиков. Тот, кто определяет метрику, владеет результатом; и это единственное место в рекурсивном цикле, которое рационально оставлять за людьми даже при полной автономии остальных звеньев.

10.1. Где AI4AI не работает

Для честности стоит явно обозначить границы применимости подхода, чтобы не создавать впечатления, что рекурсивная автоматизация универсальна:

- Качество требует человеческого суждения. UX, этика, долгосрочные социальные эффекты, стратегические решения — всё, где «правильный ответ» определяется ценностями, а не метрикой, не поддаётся автоматической оценке без риска закона Гудхарта.

- Оценка дороже генерации. Если проверка результата стоит больше, чем его создание (например, длительные клинические или физические испытания), цикл не окупается: экономика раздела 6 работает в обратную сторону.

- Редкие события без исторических данных. Коллапс хвостов распределения означает, что цикл, обученный на исторических данных, систематически недооценивает именно то, что случается впервые; для катастрофических рисков это неприемлемо.

- Задачи с необратимыми последствиями в физическом мире. Здесь рекурсивный цикл допустим только в контуре рекомендаций (см. три контура в разделе 5.3 предыдущей статьи), но не в контуре действий, пока нет сертифицированных механизмов безопасности.

Признание этих границ не ослабляет статью, а делает её пригодной для принятия решений: организации видят, где AI4AI — усилитель, а где — источник новых рисков.

11. Заключение

AI4AI — не «ИИ, который создаёт ИИ», а инженерная дисциплина управления рекурсивным циклом: генерация, оценка, отбор, развёртывание, мониторинг. Она удешевляет именно те фазы жизненного цикла, которые были самыми дорогими — данные и оценку, — и тем самым повышает доступность ИИ-технологий; одновременно она усиливает любые систематические дефекты: смещения данных, ошибки оценщиков, дефекты целевых функций.

Практическая стратегия, снижающая риски: начинать с автоматизации оценки и мониторинга, внедрять поиск и генерацию по уровням автономии с измеримыми критериями перехода, закладывать происхождение данных и журнал мутаций с первого дня, сохранять независимую человеческую контрольную точку. Рекурсия — усилитель; его направление определяется не алгоритмом, а тем, кто и как построил оценку.

Приложение А. Матрица зрелости AI4AI в организации

| Уровень | Признаки | Примерный профиль |

|---|---|---|

| М1. Ручной цикл | Модели обучаются вручную; оценка — по памяти и отзывам; нет реестра моделей | Большинство организаций сегодня |

| М2. Автоматизация оценки | Регрессионные наборы, drift-алерты, начальный LLM-judge с калибровкой; есть реестр | Зрелые ML-команды |

| М3. Автоматизация поиска | HPO/AutoML в CI; сравнение с базовыми линиями; lineage данных и моделей | Лидеры отрасли, крупные ИТ-компании |

| М4. Агентная генерация | Агенты создают пайплайны и эксперименты; журнал мутаций; guardrails; независимый судья, прошедший калибровку (κ ≥ порога); каждая мутация воспроизводима по журналу | Передовые исследовательские и продуктовые команды |

| М5. Управляемая рекурсия | Автоматический цикл с governance (уровни автономии, ворота, аудит), provenance данных, онтологическая память | Пока единичные случаи; направление развития |

Переходы: М1→М2 — недели–месяцы (нужно дисциплинировать процесс, не писать новый код); М2→М3 — месяцы; М3→М4 — требует инженерной культуры, вычислений и калиброванного независимого судьи; М4→М5 — требует governance и независимого аудита.

Приложение Б. Чек-лист governance рекурсивного цикла

1. Есть ли реестр моделей, датасетов, промптов и оценщиков с владельцами?

2. Фиксируется ли происхождение каждого датасета (человеческий/синтетический, источник, пропорции)?

3. Есть ли независимая человеческая контрольная выборка, не затронутая циклом?

4. Калиброван ли LLM-судья (κ, перестановочные проверки, контроль длины)?

5. Задана ли целевая функция цикла явно и у неё есть утверждённый владелец?

6. Есть ли запрет на автоматическое изменение целевой функции без человеческих «ворот»?

7. Ведётся ли журнал всех мутаций (модель, промпт, оценщик, пороги) с возможностью отката?

8. Установлены ли уровни автономии L0–L4 и критерии переходов, включая требования к статистической мощности?

9. Проводится ли периодический независимый аудит целевых функций и оценщиков?

10. Есть ли процедура экстренной остановки цикла и возврата к последнему валидному состоянию?

Приложение В. Иллюстративная экономика автоматизации оценки

Важно: числа ниже — демонстрация механики расчёта, не данные отрасли. Перед использованием подставьте собственные ставки и объёмы.

Сценарий (иллюстративный): команда выпускает обновления ИИ-продукта, требует ~200 оценок ответов в день. Ручное ревью: 6 минут на оценку, ставка инженера 40 $/час. Автоматизация: LLM-судья (~3000 токенов на оценку по 3 $ за миллион токенов) + выборочная человеческая проверка 10 % + перекалибровка судьи 1 рабочий день в месяц.

Разбивка расчёта для автоматизированного конвейера:

- Судья: 200 оценок × 3000 токенов = 600 000 токенов/день ≈ 0,6 млн; по 3 $/млн ≈ 1,8 $/день.

- Выборочная проверка 10 %: 20 оценок × 6 минут = 2 часа × 40 $/час = 80 $/день.

- Перекалибровка судьи: 8 часов × 40 $ = 320 $/месяц ≈ ~14,5 $/день (в пересчёте на рабочие дни).

| Компонент | Ручной процесс | Автоматизированный конвейер |

|---|---|---|

| Ежедневная нагрузка | 20 часов ревью | 2 часа выборочной проверки + автоматическая оценка |

| Стоимость оценки в день | 800 $ | ~96 $ (1,8 $ судья + 80 $ проверка + ~14,5 $ калибровка) |

| Стоимость в месяц (22 раб. дня) | 17 600 $ | ~2 120 $ |

| Экономия | — | ~88 % |

Ключевая оговорка: экономия реализуется только при калиброванном судье. Без калибровки смещения (позиционное, к многословности, самовозвышение) могут привести к отбору неверных кандидатов — и «экономия» превращается в ускоренное внедрение ошибок. Поэтому в расчёт включена стоимость перекалибровки; в реальных внедрениях её лучше рассматривать не как статью расходов, а как страховку от неверного отбора.

Приложение Г. Глоссарий

- AI4AI — применение методов ИИ для автоматизации и улучшения жизненного цикла других систем ИИ.

- AutoML — автоматизация выбора модели, гиперпараметров и архитектуры.

- NAS (Neural Architecture Search) — автоматический поиск архитектур нейросетей.

- ENAS — NAS с разделением весов между кандидатами.

- DARTS — дифференцируемый NAS (градиентный поиск в непрерывном пространстве).

- Hyperband / ASHA — алгоритмы ранней остановки слабых кандидатов при HPO.

- Метаобучение — обучение систем «учиться учиться»; в контексте AI4AI — ещё и механизм накопления метазнания в промптах и агентах, влияющий на результат не меньше, чем веса модели.

- LLM-as-judge — оценка выходов ИИ другой ИИ-моделью по рубрике.

- Weak supervision — программная генерация слабых меток вместо ручной разметки.

- Data provenance — происхождение данных; обязательная составляющая управления рекурсивными циклами.

- Model collapse — деградация генеративных моделей при обучении на рекурсивно сгенерированных данных; потеря «хвостов» распределения.

- Reward hacking — оптимизация прокси-метрики в обход реальной цели (закон Гудхарта в действии).

- Champion / challenger — схема сравнения действующей модели с кандидатом в shadow-режиме.

- Drift — деградация модели из-за изменения данных или зависимостей.

- Contamination — включение оценочного бенчмарка в обучающие данные; делает автоматическую оценку бессмысленной.

- Lineage — граф происхождения: какие данные, модели и решения привели к текущему состоянию системы.

- Human-in-the-loop — обязательное участие человека в критических переходах цикла.

- Guardrails — явные ограничения допустимых действий автоматической системы.

- Event Sourcing — хранение всех изменений как неизменяемой последовательности событий; основа воспроизводимости рекурсивного цикла.

- Динамическая онтология — онтология, в которой связи имеют состояние, меру уверенности и историю изменений; класс систем, пригодных для слоя метазнания AI4AI. Примерами инженерной реализации этого класса являются SemanticDB и LOGOS-κ (DST Global / Λ-Универсум).

Ссылки

1. Zheng L. et al. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. NeurIPS 2023 (arXiv:2306.05685). Обобщение и результаты: LMSYS, 2023 — https://www.lmsys.org/blog/2023-06-22-leaderboard/

2. Shumailov I., Shumaylov Z., Zhao Y., Papernot N., Anderson R., Gal Y. AI models collapse when trained on recursively generated data. Nature 631, 755–759 (2024).

3. Zoph B., Vasudevan V., Shlens J., Le Q. V. Learning Transferable Architectures for Scalable Image Recognition (NASNet). CVPR 2018.

4. Cai H. et al. Path-Level Network Transformation for Efficient Architecture Search. ICML 2018 — https://proceedings.mlr.press/v80/cai18a/cai18a.pdf

5. Lilian Weng. Neural Architecture Search. 2020 — https://lilianweng.github.io/posts/2020-08-06-nas/

6. Sciuto C. et al. Evaluating the Search Phase of Neural Architecture Search. ICLR 2020 (arXiv:1902.08142) — https://arxiv.org/abs/1902.08142

7. Fawzi A. et al. Discovering faster matrix multiplication algorithms with reinforcement learning (AlphaTensor). Nature 610 (2022).

8. Mankowitz D. et al. Faster sorting algorithms discovered using deep reinforcement learning (AlphaDev). Nature 618 (2023).

9. Google DeepMind. AlphaEvolve: A Gemini-powered coding agent for designing and implementing algorithms in science. 2025; Ars Technica. Google DeepMind creates super-advanced AI that can invent new algorithms. May 2025 — https://arstechnica.com/ai/2025/05/google-deepmind-creates-super-advanced-ai-that-can-invent-new-algorithms/

10. Pew Research Center. Key findings about AI and human writing in the web. January 2026 — https://www.pewresearch.org/short-reads/2026/01/22/key-findings-about-ai-and-human-writing-in-the-web/ (обобщение и вторичный комментарий: DEV, 2026 — https://dev.to/theaidownside/model-collapse-what-happens-when-ai-trains-on-ai-543e).

11. Dathathri S. et al. Scalable watermarking for identifying large language model outputs. Nature (2024).

12. Ratner J. et al. Snorkel: Rapidly Creating Training Sets with Weak Supervision. VLDB 2017.

13. DST Global, Λ-Универсум. LOGOS-κ: специализированный язык программирования и среда исполнения для работы с динамическими онтологиями, 2026.

14. DST Global, Λ-Универсум. SemanticDB: живая онтологическая память, 2026.

15. NIST. AI Risk Management Framework (AI RMF 1.0).

16. ISO/IEC 42001:2023 — Artificial intelligence management system.

17. Regulation (EU) 2024/1689 (EU AI Act) — требования к прозрачности синтетического контента и системам общего назначения.