Искусственный интеллект, машинное и глубокое обучение

Три термина — искусственный интеллект (ИИ), машинное обучение (МО) и глубокое обучение (ГО) — сегодня на слуху, но их часто путают или используют как синонимы. Между тем за этими понятиями стоит не только иерархия технологий, но и драматичная история научных взлётов и разочарований, разные математические парадигмы и инженерные практики. Понимание этих различий критично не только для исследователей, но и для бизнеса, который выбирает между простой регрессией и многомиллиардной языковой моделью.

В этой статье разработчики компании DST Global разберут эволюцию подходов, объясним ключевые архитектуры, сравним классическое машинное обучение и глубокое обучение с точки зрения данных, вычислений, интерпретируемости и жизненного цикла. Мы также затронем вопросы MLOps и этики, без которых невозможно построить надёжную промышленную систему.

1. Иерархия технологий: луковица интеллекта

Искусственный интеллект — это широкая область информатики, цель которой — создание систем, имитирующих когнитивные функции человека: восприятие, рассуждение, обучение, планирование. Однако способы достижения этой цели исторически менялись.

- Искусственный интеллект включает любые интеллектуальные системы: от экспертных систем, основанных на правилах, до современных нейросетевых моделей.

- Машинное обучение — подход, при котором система не программируется явно, а обучается на данных, выявляя закономерности.

- Глубокое обучение — метод машинного обучения, использующий многослойные нейронные сети для автоматического извлечения иерархических признаков.

Таким образом, ГО ⊂ МО ⊂ ИИ. Но чтобы понять, почему эти слои сформировались именно так, нужно обратиться к истории.

2. Исторический контекст: зимы и возрождения ИИ

Развитие ИИ никогда не было линейным. Оно шло через циклы завышенных ожиданий, провалов и возрождений.

2.1. Символический ИИ и первая зима (1950–1970-е)

Первые системы ИИ (1950–1960-е) строились на символьных вычислениях: логических правилах, деревьях поиска, экспертных базах знаний. Считалось, что интеллект можно описать формальными символами и манипуляциями над ними. Однако к началу 1970-х стало ясно: машинный перевод далёк от совершенства, а универсальные решатели задач упираются в комбинаторный взрыв. Финансирование (особенно от DARPA) резко сократилось — наступила первая «зима ИИ».

2.2. Экспертные системы и вторая зима (1980-е — начало 1990-х)

В 1980-х наступил ренессанс: коммерческий успех экспертных систем (например, XCON для конфигурации компьютеров DEC) привлёк инвестиции. Появились специализированные Lisp-машины, японский проект Fifth Generation обещал создать компьютер нового поколения. Но рынок рухнул: экспертные системы оказались дорогими в сопровождении, хрупкими и плохо масштабировались. К началу 1990-х вторая зима похоронила символический подход.

2.3. Статистическое обучение: тихое возрождение (1990-е — 2000-е)

Пока символисты доминировали, статистические методы — байесовские сети, SVM, ансамбли — постепенно набирали силу. Именно они легли в основу современного машинного обучения. Алгоритмы вроде Random Forest и градиентного бустинга показали, что можно строить точные модели на табличных данных без попыток воспроизвести «мышление». Этот период ознаменовал переход от «инженерии знаний» к «обучению на данных».

2.4. Взрыв глубокого обучения (2012 — настоящее время)

Переломным моментом стала победа сверточной нейросети AlexNet в конкурсе ImageNet в 2012 году: ошибка классификации изображений снизилась с 26% до 15%, что было качественным скачком. Дальше последовали:

- AlphaGo (2016) — победила чемпиона мира по го, используя глубокое обучение с подкреплением.

- Архитектура Transformer (2017) — революция в обработке естественного языка, породившая BERT, GPT и всю генеративную волну.

Глубокое обучение не заменило классические методы — оно расширило границы возможного для неструктурированных данных и сверхбольших датасетов.

3. Типология задач машинного обучения

Машинное обучение не монолитно. В зависимости от типа доступных данных и цели различают три основные парадигмы:

3.1. Обучение с учителем (Supervised Learning)

Самый распространённый тип. Модель обучается на парах «признаки → целевая переменная» (размеченные данные). Задачи:

- Классификация — предсказание категории (спам/не спам, диагноз).

- Регрессия — предсказание числового значения (цена квартиры, доход).

Практически все промышленные системы кредитного скоринга, прогнозирования спроса, распознавания образов используют supervised learning.

3.2. Обучение без учителя (Unsupervised Learning)

Данные не размечены — модель ищет скрытые структуры. Задачи:

- Кластеризация — сегментация клиентов, группировка документов.

- Понижение размерности — PCA, t-SNE, автоэнкодеры для визуализации и сжатия признаков.

- Поиск аномалий — детекция мошенничества, поломок оборудования.

3.3. Обучение с подкреплением (Reinforcement Learning, RL)

Агент взаимодействует со средой, получая награды или штрафы, и учится оптимальной стратегии. Не требует размеченных данных, но требует моделирования среды. Используется в робототехнике, игровых агентах (AlphaGo), оптимизации ресурсов (управление дата-центрами). RL — отдельная ветвь, тесно связанная с глубоким обучением (Deep RL).

4. Классическое машинное обучение: принципы и инструменты

Классическое МО опирается на статистические и алгоритмические методы, работающие с табличными (структурированными) данными, где каждая строка — объект, а столбцы — признаки (features).

Ключевые алгоритмы:

- Линейные модели: линейная и логистическая регрессия — прозрачные, быстрые, хорошо интерпретируемые.

- Деревья решений и ансамбли: Random Forest, Gradient Boosting (XGBoost, LightGBM, CatBoost) — мощные нелинейные модели, часто лучший выбор для табличных данных.

- Метод опорных векторов (SVM) — эффективен для задач с чёткой границей разделения.

- Наивный Байес — для текстовой классификации с малыми данными.

Когда выбирать классическое МО?

- Данных мало (сотни–десятки тысяч примеров).

- Признаки уже структурированы или могут быть созданы вручную.

- Требуется объяснимость решений (медицина, финансы, право).

- Ограничены вычислительные ресурсы (обучение на CPU за минуты).

5. Глубокое обучение: сила иерархий и автоматического извлечения признаков

Глубокое обучение заменяет ручную работу по созданию признаков обучением иерархических представлений через множество слоёв нейронов. Первые слои выделяют простые паттерны (линии, градиенты), средние — части объектов, последние — целостные концепты.

5.1. Ключевые архитектуры

| Архитектура | Область применения | Комментарий |

|-------------|-------------------|-------------|

| CNN (сверточные сети) | Компьютерное зрение: классификация, детекция, сегментация изображений и видео | Локальные связи и разделение весов позволяют эффективно обрабатывать сетки пикселей |

| RNN / LSTM / GRU | Последовательности: временные ряды, текст (исторически) | Страдают от исчезающего градиента, постепенно вытесняются трансформерами |

| Transformer | Обработка естественного языка, мультимодальные задачи | Основа современного NLP, доминирующая архитектура с 2017 года |

| GAN (генеративно-состязательные сети) | Генерация синтетических изображений, улучшение качества | Состязание генератора и дискриминатора; сложны в обучении |

| Diffusion Models | Генерация изображений (Stable Diffusion, DALL-E) | Последовательное удаление шума; стабильнее GAN, но медленнее |

5.2. Революция трансформеров и механизм внимания

В 2017 году статья «Attention Is All You Need» представила архитектуру Transformer, основанную на self-attention — механизме, позволяющем модели взвешивать важность каждого элемента последовательности относительно других. Это устранило ограничения рекуррентных сетей и позволило эффективно распараллеливать обучение.

Масштабирование трансформеров (рост числа параметров и объёма данных) привело к эмерджентным способностям — умениям, которые не были явно заложены, но проявились при достижении определённого размера (например, рассуждения, решение математических задач, генерация кода). Современные LLM (GPT-4, Claude, Llama) — это гигантские трансформеры, обученные на триллионах токенов.

5.3.

- Неструктурированные данные: изображения, звук, видео, текст.

- Очень большие датасеты (миллионы и более примеров).

- Задачи, где ручное выделение признаков невозможно или неэффективно.

- Высокая точность распознавания образов важнее интерпретируемости.

6. Сравнительный анализ: кривые обучения, ресурсы, компромиссы

6.1. Зависимость точности от объёма данных

Классические алгоритмы (особенно линейные модели и деревья) хорошо работают при малых объёмах данных и быстро выходят на плато. Нейронные сети требуют больших данных, но после определённого порога (точки перехода) обгоняют классику по точности.

График (мысленный): ось X — количество примеров, ось Y — точность. Кривая классического МО поднимается быстро, но асимптота ниже. Кривая ГО начинается ниже, но затем резко растёт и превосходит классику. Этот порог зависит от сложности задачи, но обычно составляет сотни тысяч или миллионы записей.

6.2. Вычислительные требования

- Обучение классического МО: CPU, минуты–часы, стоимость незначительна.

- Обучение глубоких сетей: GPU/TPU, дни–недели. Стоимость может достигать миллионов долларов для frontier-моделей (обучение GPT-4 оценивается в $78–100 млн, по некоторым данным).

- Инференс: нейросети также требуют дорогих ускорителей, особенно при масштабном развёртывании (например, обслуживание ChatGPT стоит миллионы долларов в день).

6.3. Bias-Variance Trade-off

Классические модели с регуляризацией (ридж, лассо, ограничение глубины деревьев) легче контролировать: они имеют высокое смещение, низкую дисперсию. Нейросети обладают огромной ёмкостью и склонны к переобучению на малых выборках, поэтому требуют много данных, аугментации, dropout и других техник регуляризации.

6.4. Интерпретируемость

- Классическое МО: деревья решений показывают правила, линейная регрессия — веса признаков, SHAP/LIME работают эффективно.

- Глубокое обучение: чёрный ящик. Существуют методы Explainable AI (XAI), но они дают лишь приблизительное объяснение. Во многих регулируемых областях (кредитование, медицина) законодательство требует объяснимости, поэтому классика остаётся предпочтительной.

7. Практический выбор: метрики и критерии

Выбор между подходами должен опираться не только на тип данных, но и на бизнес-метрики.

7.1. Основные метрики качества

- Классификация: Accuracy (общая точность), Precision/Recall, F1-score (для несбалансированных классов), ROC-AUC.

- Регрессия: RMSE (корень из среднеквадратичной ошибки), MAE (средняя абсолютная ошибка), MAPE (процентная ошибка).

- Текст: BLEU (для машинного перевода), ROUGE (для суммаризации), Perplexity.

- Генерация изображений: FID (Frechet Inception Distance), Inception Score.

Выбор метрики должен соответствовать бизнес-задаче: например, в медицине важнее высокий recall (не пропустить болезнь), чем precision.

7.2. Критерии выбора алгоритма

- Объём и тип данных: табличные данные → градиентный бустинг; изображения → CNN/Transformer; текст → Transformer (BERT, GPT).

- Требования к латентности: для мобильных устройств выбирают лёгкие модели (MobileNet, DistilBERT), а не гигантские сети.

- Бюджет на обучение и инференс: классика дешевле на порядки.

- Необходимость объяснения решения: если регулятор требует объяснения — только классика или прозрачные модели (например, логистическая регрессия).

8. MLOps: жизненный цикл модели в продакшене

Обучение модели — лишь малая часть реальной работы. Чтобы модель приносила пользу, её необходимо развернуть, мониторить и поддерживать.

8.1. Data Drift и Concept Drift

Распределение входных данных со временем меняется (data drift), или меняется сама зависимость между признаками и целью (concept drift). Модель деградирует. Необходим постоянный мониторинг статистик признаков и предсказаний, настройка алертов.

8.2. Версионирование и воспроизводимость

Инструменты: DVC для версионирования данных, MLflow или Weights & Biases для трекинга экспериментов, Git для кода. Это позволяет воспроизводить результаты и откатываться к предыдущим версиям.

8.3. A/B-тестирование моделей

Новая модель внедряется постепенно: сначала на 5% трафика, затем сравнение метрик со старой версией. Только после статистически значимого улучшения происходит полный rollout.

8.4. Автоматизация переобучения

Пайплайны (CI/CD для ML) могут автоматически переобучать модель по расписанию или при обнаружении дрейфа. Однако это требует тщательного тестирования, чтобы не ухудшить систему.

9. Этические и регуляторные аспекты

С ростом влияния ИИ возрастают риски, связанные с предвзятостью, прозрачностью и надёжностью.

9.1. Смещение данных (Bias)

Модели наследуют предвзятость, присутствующую в обучающих данных. Примеры: системы найма, отдававшие предпочтение мужчинам; алгоритмы кредитного скоринга, дискриминирующие меньшинства; программы правосудия, непропорционально часто отправлявшие в тюрьму афроамериканцев. Борьба с bias — это не только техническая, но и социальная задача.

9.2. Регуляция

В Европейском союзе принят EU AI Act (вступит в силу поэтапно с 2024 по 2026), который классифицирует системы ИИ по уровню риска и предъявляет строгие требования к высокорисковым приложениям (медицина, транспорт, право). В США и других странах также разрабатываются нормативные акты. Требования к интерпретируемости и аудиту моделей становятся обязательными.

9.3. Галлюцинации LLM

Генеративные модели (ChatGPT и др.) склонны уверенно выдавать ложную информацию — галлюцинации. Это фундаментальное свойство архитектуры, обучающейся предсказывать следующее слово, а не факты. Для критических применений (медицинские советы, юридические заключения) такие системы требуют дополнительных проверок или не допускаются вовсе.

Заключение

Искусственный интеллект прошёл долгий путь от символьных правил до нейросетей с триллионами параметров. Машинное обучение дало нам инструменты для извлечения знаний из данных, а глубокое обучение открыло двери к обработке неструктурированной информации, приблизившись к человеческим способностям в зрении и языке.

Однако выбор между классическим МО и глубоким обучением — это всегда инженерный компромисс, определяемый данными, ресурсами, требованиями к объяснимости и бизнес-целями. И даже самая мощная модель бесполезна без правильного внедрения, мониторинга и этического контроля.

Понимание этой экосистемы — от математических основ до MLOps и регуляторики — необходимо каждому, кто хочет создавать ответственные и эффективные интеллектуальные системы в 2026 году и далее.