Рекомендательные системы

Что такое рекомендательные системы и как они работают. Откуда соцсети, интернет-магазины и онлайн-кинотеатры знают, что вы любите? Разбираемся вместе с разработчиками компании DST Global.

Покупая что-то в онлайн-магазине, вы наверняка замечаете блок «Рекомендованное». И чем больше времени вы рассматриваете товары, тем более качественными становятся рекомендации.

Пока вы изучаете ассортимент, специальный алгоритм собирает досье: какие цвета и модели вам нравятся, что покупаете, а что удаляете из корзины. Программа находит похожие товары и в первую очередь показывает вам именно их — как если бы в ассортименте магазина были только ваши любимые вещи.

Сложно устоять перед соблазном и не потратить все деньги. На это и рассчитывают заказчики рекомендательных систем — они пытаются увеличить конверсию в покупку и средний чек своих магазинов.

Виды рекомендательных систем

Представьте, что вам нужно порекомендовать кому-то фильм. На чём вы будете основываться? Другу, с которым у вас много общего, можно посоветовать то, что понравилось вам. Но восьмилетней сестре вы вряд ли предложите «Декстера» — и вкусы, и потребности явно будут отличаться.

Логика рекомендательных систем тоже может быть разной:

- Фильтрация, основанная на контенте (content-based filtering).

- Коллаборативная фильтрация (collaborative filtering).

- Фильтрация, основанная на знаниях (knowledge-based filtering).

- Гибридные рекомендательные системы (hybrid filtering).

Рассмотрим каждый из типов подробнее.

Фильтрация, основанная на контенте (content-based filtering)

Посмотрели ужастик про зомби? Рекомендательная система, основанная на контенте, посоветует ещё 25. Постоянно слушаете Queen? Вот вам плейлист рок-музыки семидесятых. Кажется, что это безотказный метод. Но нет.

Допустим, вы купили диван. Это крупная и дорогая покупка, большинство людей не приходит за новым диваном каждый месяц. Если рекомендательная система посоветует вам купить ещё 15 диванов, то магазин явно будет в убытке. А вот рекламные системы вроде «Яндекс.Директа» о факте покупки не знают, поэтому ещё долго будут кидаться в вас всевозможными диванами — то есть фильтровать рекламу, основываясь на контенте.

Коллаборативная фильтрация (collaborative filtering)

Что же делать магазину мебели в такой ситуации? Рецепт простой — можно отследить историю корзин всех покупателей диванов. И окажется, что спустя пару месяцев многие покупают средства и губки для чистки мебели, какие-то аксессуары, чехлы, накидки. Порекомендовать их клиенту — значит сделать его жизнь проще, а заодно заработать. Но и этот подход не универсален.

Фильтрация, основанная на знаниях (knowledge-based filtering)

Если на сайте продаются дома или машины, полагаться на отзывы других пользователей система не может: покупки штучные и редкие, а значит, информации слишком мало — нет статистической значимости. Но мы же хотим, чтобы пользователь купил дом своей мечты у нас, а не у конкурентов?

В этом случае можно добавить фильтры: дом в городе или в деревне, количество этажей и квадратных метров, материал стен. После этого рекомендательная система подбирает наиболее подходящие дома из каталога.

Такой тип рекомендаций точен: пользователю показывают именно то, что он хочет видеть. Но алгоритмы фильтрации, основанной на знаниях, сложнее продумать, потому что параметров поиска может быть очень много.

Гибридные рекомендательные системы (hybrid filtering)

Гибридные рекомендательные системы сочетают разные подходы. Так можно избавиться от большинства недостатков «несмешанных» систем. Например, в онлайн-магазинах одежды в рекомендациях показываются вещи, похожие на те, что вы уже смотрели, а также те, которые покупали пользователи с похожими вкусами, — то есть одновременно включаются механизмы фильтрации, основанной на контенте, и коллаборативной фильтрации.

Как работает рекомендательная система Netflix

Считается, что рекомендательная система Cinematch, созданная Netflix, — одна из наиболее продуманных в мире. Netflix не раскрывает всех деталей работы своей модели машинного обучения, но основные принципы известны.

При регистрации вас сразу просят указать несколько любимых фильмов и сериалов. На их основе генерируется лента, которая будет подстраиваться под ваши вкусы. С помощью лайков и дизлайков вы можете корректировать её и добавлять понравившиеся фильмы в плейлист.

Netflix хочет знать о вас всё: что вы смотрите, что смотрели до и после конкретной программы, в какое время суток используете сервис и сколько времени в нём проводите. Алгоритм учитывает ваши возраст, пол и геопозицию.

Каждое видео на Netflix сначала просматривают специалисты. Они вручную маркируют и размечают контент, то есть описывают, что зритель увидит на экране. Пользователи иногда ищут очень конкретные вещи — например, «британская комедия про зомби» — и Netflix может выдать релевантный контент даже на такие сложные запросы.

Видеосервис использует данные о фильмах и пользователях, чтобы с помощью алгоритмов машинного обучения оценить, какая информация важнее всего. Например, что больше влияет на ваши вкусы сегодня: то, что вы смотрели год или неделю назад? Обычно чем свежее данные, тем лучше. Хотя если сейчас конец декабря, то новогодние и рождественские комедии окажутся более уместными — но только для стран с христианскими традициями.

Cinematch рассматривает как явные, так и неявные источники информации. Если вы добавляете сериал в избранное, значит, он вас заинтересовал. Но если вы посмотрели три сезона сериала за два дня и при этом не добавили его в избранное, это тоже хороший знак.

Алгоритм машинного обучения анализирует не только каждого отдельного пользователя, но и группы пользователей со сходными вкусами — сегменты. У Netflix таких сегментов по интересам больше 2 тысяч. В итоге на рекомендации влияет даже то, что смотрели другие люди из вашего сегмента.

В Интернете множество сайтов, на которых фильмы можно смотреть бесплатно, но Netflix в 2020 году набрал почти 200 млн платных подписчиков. А значит, их рекомендательная система чего-то стоит.

Плюсы и минусы рекомендательных систем

Рекомендательные системы приносят очевидную выгоду владельцам онлайн-магазинов, различных сервисов и приложений. Они показывают пользователю именно то, что ему интересно, и генерируют прибыль.

Но есть и минусы. Человек привыкает к подсказкам рекомендательных сетей при выборе книг, фильмов и музыки. У него пропадает стимул изучать новые непривычные жанры — ведь всё, что предлагает сеть, ему в принципе нравится.

Особенно остро стоит проблема потребления новостей и выдачи умной ленты в социальных сетях. Потому что здесь речь идёт уже не столько о развлечениях, сколько о формировании мировоззрения.

Например, у расиста или у конспиролога, верящего в рептилоидов, в ленте будут преобладать поддерживающие его точку зрения материалы — а значит, его шансы познакомиться с качественными альтернативными источниками стремятся к нулю и он будет лишь ещё больше укрепляться в своём мнении. И это может привести к печальным последствиям или неадекватным поступкам.

Социальные сети и алгоритмы выдачи борются с таким явлением. Так что бояться полной потери индивидуальности не стоит. Все мы в какой-то степени полагаемся на гаджеты и современные технологии, а рекомендации помогают ориентироваться в потоке информации и находить интересные материалы быстрее.

Лучшие практики от разработчиков DST Global

Рекомендательные системы прогнозируют предпочтения, используя обратную связь, решая проблемы разреженности и холодного запуска с помощью совместной фильтрации, матричной факторизации и гибридных моделей.

Рекомендательные системы служат основой электронной коммерции, потоковых платформ и онлайн-рынков, обеспечивая персонализированный пользовательский опыт путем прогнозирования предпочтений и предложения товаров на основе исторических взаимодействий. Они создаются с использованием явной и/или неявной обратной связи от пользователей.

Явная обратная связь включает в себя прямой пользовательский ввод, такой как рейтинги и обзоры, которые дают четкие указания на предпочтения, но часто скудны. Неявная обратная связь, такая как клики, просмотры, история покупок и время ожидания, более распространена, но требует специализированных алгоритмов для точной интерпретации намерений пользователя.

В отличие от обычных задач контролируемого обучения, рекомендательные системы часто сталкиваются с неявной обратной связью, крайней разреженностью данных и многомерными взаимодействиями пользователя и элемента. Эти характеристики отличают их от традиционных задач регрессии или классификации. Конкурс Netflix Prize стал важной вехой в этой области, продемонстрировав превосходство моделей латентных факторов с матричной факторизацией над эвристическими или наивными подходами регрессии.

В этой статье рассматривается, почему стандартные регрессионные модели неэффективны при настройке рекомендаций, а также излагаются лучшие практики проектирования эффективных систем совместной фильтрации.

Определение проблемы

Суть проблемы рекомендации заключается в матрице пользователь-элемент, обозначенной как Y, где Yui представляет рейтинг, присвоенный пользователем u элементу i. В реальных наборах данных эта матрица обычно разрежена, т. е. в ней отсутствует большинство записей.

Например, в наборе данных Netflix Prize каждый фильм оценивали примерно 5000 из 500 000 пользователей, что привело к преимущественно пустой матрице (MIT 2025).

Почему традиционная регрессия неэффективна в рекомендательных системах?

Например, в системе рекомендаций фильмов наивным подходом было бы рассматривать задачу как проблему регрессии, используя такие характеристики, как метаданные фильма и пользователя, например, жанр, актеры, режиссер, год выпуска и предпочтения пользователя, для прогнозирования неизвестных оценок пользователей. Однако этот подход имеет несколько ограничений:

- Выбор признаков . Контролируемое обучение зависит от четко определенных входных признаков. Однако в таких задачах определяющие факторы — например, предпочтения пользователя — часто скрыты, их трудно спроектировать и сложно количественно оценить.

- Разреженные данные и отсутствующие взаимодействия . Матрица пользователь-элемент в системах рекомендаций изначально разрежена, большинство записей отсутствуют. Эта разреженность делает прямую регрессию по сырым рейтингам непрактичной.

- Проблема холодного старта . Новые пользователи и элементы часто не имеют достаточных исторических данных для точных прогнозов. Например, новый фильм может не иметь достаточного количества оценок, чтобы оценить его популярность, а новые пользователи могут не оценить достаточно элементов, чтобы определить свои предпочтения. Вменение отсутствующих оценок также не является жизнеспособным решением, поскольку оно не позволяет уловить поведенческий контекст, необходимый для точных рекомендаций.

Это создает потребность в альтернативном подходе, который не полагается исключительно на предопределенные характеристики элементов. Совместная фильтрация устраняет эти ограничения, используя взаимодействие пользователя с элементом для изучения скрытых представлений, что делает ее одним из самых эффективных методов в современных рекомендательных системах.

Совместная фильтрация

Совместная фильтрация работает по принципу, что пользователи, которые демонстрируют схожие пользователи, вероятно, разделяют схожие предпочтения. В отличие от контролируемых методов регрессии, которые полагаются на вручную спроектированные функции, совместная фильтрация напрямую изучает закономерности из взаимодействий пользователя с элементами, что делает ее мощным и масштабируемым подходом для персонализированных рекомендаций.

Метод K-ближайших соседей (KNN)

KNN, контролируемый обучающийся классификатор , может использоваться для совместной фильтрации. Он предоставляет рекомендации пользователю, просматривая отзывы от похожих пользователей.

В этом методе, учитывая функцию сходства S(u,v) между двумя пользователями u и v, рейтинг пользователя для элемента может быть оценен как средневзвешенное значение рейтингов его ближайших соседей. Общие меры сходства включают:

- Сходство косинуса . Измеряет косинус угла между векторами предпочтений двух пользователей. Это особенно полезно, когда оценки пользователей редки и не имеют собственной шкалы.

- Корреляция Пирсона . Корректирует различия в индивидуальных предубеждениях в оценке, что делает ее более надежной, когда пользователи используют разные шкалы оценок.

Однако эффективность KNN ограничена ее зависимостью от выбора меры сходства.

Факторизация матрицы

Матричная факторизация — это мощный метод для рекомендательных систем, который разлагает разреженную матрицу «пользователь-элемент» Y на две матрицы меньшей размерности, U и V, таким образом:

Y≈УФ

U представляет скрытые факторы, специфичные для пользователя, а V представляет скрытые факторы, специфичные для элемента.

Эти скрытые факторы фиксируют базовые характеристики, определяющие предпочтения пользователя и характеристики элемента, что позволяет делать более точные прогнозы даже при наличии отсутствующих данных. Факторизация матрицы может быть реализована с помощью таких методов, как разложение по сингулярным значениям и метод наименьших квадратов.

Лучшие практики совместной фильтрации

Предварительная обработка данных

Этапы предварительной обработки данных включают обработку пропущенных значений, удаление дубликатов и нормализацию данных.

Масштабируемость

По мере роста размера матрицы пользователь-элемент, вычислительная эффективность становится проблемой. Приблизительные ближайшие соседи или чередующиеся наименьшие квадраты предпочтительны для обработки больших наборов данных.

Разнообразие в рекомендациях

Хорошая рекомендательная система также должна отдавать приоритет разнообразию, то есть рекомендовать разнообразные товары, включая новые или неожиданные варианты, которые могут повысить удовлетворенность и вовлеченность пользователей.

Обработка неявной обратной связи

Во многих реальных сценариях явные оценки пользователей редки, и системы должны полагаться на неявную обратную связь (например, клики, просмотры или историю покупок). Специализированные алгоритмы, такие как Weighted Alternating Least Squares, разработаны для эффективной обработки неявной обратной связи. Эти методы интерпретируют поведение пользователя как индикаторы предпочтений, что позволяет делать точные прогнозы даже без явных оценок.

Решение проблемы холодного запуска

Рекомендации для новых пользователей или элементов с ограниченными или отсутствующими данными о взаимодействии — это проблема, которую можно решить следующими способами:

Гибридные модели

Объединение коллаборативной фильтрации с фильтрацией на основе контента или подходами на основе метаданных может эффективно решить проблему холодного старта. Например, если у нового элемента нет достаточных оценок, система может использовать его метаданные, например, жанр, актеров или описания продукта, чтобы рекомендовать его на основе сходства с другими элементами. Аналогично, для новых пользователей демографическая информация или начальные предпочтения могут использоваться для начальной загрузки рекомендаций.

Передача обучения

Передача обучения — это мощный метод использования знаний из смежных доменов или групп пользователей для улучшения рекомендаций для новых пользователей или элементов. Например, в таких отраслях, как здравоохранение или электронная коммерция, где взаимодействие пользователя с элементом может быть редким, передача обучения может использовать идеи из домена с большим объемом данных для улучшения прогнозов в домене с небольшим объемом данных.

Активное обучение

Методы активного обучения могут помочь собрать целевую обратную связь от новых пользователей или для новых элементов. Стратегически побуждая пользователей оценивать или взаимодействовать с определенными элементами, система может быстро создать профиль и улучшить рекомендации. Этот подход подходит для сценариев, где вовлеченность пользователей высока, но исходные данные скудны.

Рекомендации по умолчанию

Для новых пользователей или товаров рекомендации по умолчанию, основанные на популярных или трендовых товарах, могут служить временным решением, пока не будет собрано достаточно данных. Хотя этот подход не персонализирован, он гарантирует, что пользователи получают релевантный контент, в то время как система изучает их предпочтения с течением времени.

Совместная фильтрация — мощный инструмент для создания рекомендательных систем. Следуя лучшим практикам надлежащей предварительной обработки данных, регуляризации и оценки, а также используя передовые методы, такие как гибридные модели и трансферное обучение, специалисты могут создавать надежные и масштабируемые рекомендательные системы, которые предоставляют точные, разнообразные и привлекательные рекомендации.

Развенчание мифов о рекомендательных системах на основе искусственного интеллекта: углубленный анализ

Одной из наиболее значимых областей применения ИИ являются рекомендательные системы, которые стали неотъемлемой частью нашего цифрового опыта.

Искусственный интеллект (ИИ) проник в нашу жизнь множеством способов, делая повседневные задачи проще, эффективнее и персонализированнее. Одно из самых важных применений ИИ — это рекомендательные системы, которые стали неотъемлемой частью нашего цифрового опыта. От предложения фильмов на потоковых платформах до предложения товаров на сайтах электронной коммерции, рекомендательные системы на основе ИИ произвели революцию в потреблении контента и онлайн-покупках.

В этой статье мы углубимся во внутреннюю работу рекомендательных систем на основе ИИ, изучим их различные типы, алгоритмы и проблемы. Мы также обсудим потенциальные будущие разработки в этой области.

Понимание рекомендательных систем

Рекомендательная система — это сложный алгоритм, который анализирует предпочтения пользователя, его поведение и другие контекстные факторы для предоставления персонализированных рекомендаций. Эти системы позволяют компаниям предлагать пользователям релевантный контент или продукты, улучшая пользовательский опыт и вовлеченность.

Рекомендательные системы становятся все более популярными из-за экспоненциального роста цифрового контента и необходимости фильтровать огромный объем информации, доступной пользователям. Предоставляя пользователям релевантный контент или продукты, рекомендательные системы помогают пользователям делать выбор более эффективно и повышать удовлетворенность клиентов.

Типы рекомендательных систем

Рекомендательные системы на основе искусственного интеллекта можно условно разделить на три категории:

1. Фильтрация на основе содержания

Эти системы рекомендуют элементы на основе их характеристик и предпочтений пользователя или его прошлого поведения. Например, если пользователь смотрел боевики в прошлом, система порекомендует ему больше боевиков. Фильтрация на основе контента опирается на анализ характеристик элемента и предпочтений пользователя для генерации рекомендаций.

2. Совместная фильтрация

Системы коллаборативной фильтрации выдают рекомендации на основе коллективного поведения пользователей. Существует два основных типа коллаборативной фильтрации:

- Совместная фильтрация пользователей: этот метод находит пользователей со схожими предпочтениями или поведением и рекомендует элементы, которые понравились этим похожим пользователям или с которыми они взаимодействовали в прошлом.

- Совместная фильтрация элементов: этот подход выявляет элементы, похожие на те, которые понравились пользователю или с которыми он взаимодействовал, и рекомендует эти похожие элементы пользователю.

3. Гибридные рекомендательные системы

Эти системы объединяют методы фильтрации на основе контента и коллаборативной фильтрации для предоставления более точных и разнообразных рекомендаций. Используя сильные стороны обоих методов, гибридные системы могут преодолеть ограничения каждого отдельного подхода.

Ключевые алгоритмы, используемые в рекомендательных системах на основе ИИ

При построении рекомендательных систем на основе ИИ используется несколько алгоритмов, вот некоторые из них:

Факторизация матрицы

Этот метод уменьшает размерность матрицы взаимодействия пользователя с элементом, находя скрытые факторы, объясняющие наблюдаемые взаимодействия. Методы факторизации матриц, такие как разложение по сингулярным значениям (SVD), широко используются в системах совместной фильтрации.

Глубокое обучение

Методы глубокого обучения, такие как сверточные нейронные сети (CNN) и рекуррентные нейронные сети (RNN), можно использовать для анализа и извлечения признаков из содержимого элементов, что позволяет системам фильтрации на основе содержимого генерировать более точные рекомендации.

Ближайшие соседи

Алгоритм k-ближайших соседей (k-NN) является популярным выбором для систем совместной фильтрации, поскольку он может быстро идентифицировать похожих пользователей или элементы на основе их взаимодействий. Алгоритм вычисляет сходство между пользователями или элементами и рекомендует пользователю наиболее похожие.

Обучение с подкреплением

Некоторые рекомендательные системы используют методы обучения с подкреплением, такие как Q-learning и Deep Q-Networks (DQN), чтобы изучать лучшие рекомендации путем постоянного обновления своих моделей на основе отзывов и взаимодействий пользователей.

Проблемы рекомендательных систем на основе ИИ

Несмотря на свой повсеместный успех, рекомендательные системы на основе ИИ по-прежнему сталкиваются с рядом проблем:

Проблема холодного запуска

Когда в систему вводится новый пользователь или элемент, информация об их предпочтениях или функциях ограничена, что затрудняет создание точных рекомендаций. Это известно как проблема холодного старта. Одним из решений этой проблемы является включение демографической информации, данных социальных сетей или других контекстных факторов для создания первоначальных рекомендаций.

Масштабируемость

По мере увеличения числа пользователей и элементов растет вычислительная сложность рекомендательной системы, что создает проблемы с точки зрения вычислительной мощности и требований к хранению. Однако такие методы, как факторизация матриц, приблизительный поиск ближайшего соседа и распределенные вычисления, могут помочь решить проблемы масштабируемости .

Разнообразие и удача

Рекомендательные системы могут стать слишком сосредоточенными на предоставлении похожего контента или продуктов, что приведет к отсутствию разнообразия в рекомендациях. Это может привести к тому, что пользователи попадут в так называемый пузырь фильтров, где они будут видеть только тот контент, который соответствует их существующим предпочтениям. Чтобы преодолеть это, системы могут быть разработаны так, чтобы включать разнообразие и случайность, предоставляя пользователям неожиданные рекомендации, которые могут быть интересны.

Конфиденциальность и безопасность

Рекомендательные системы на основе ИИ полагаются на пользовательские данные для генерации рекомендаций, что вызывает опасения по поводу конфиденциальности пользователей и безопасности личной информации. Для снижения этих рисков можно использовать такие методы, как анонимизация, шифрование данных и федеративное обучение.

Будущее рекомендательных систем на основе искусственного интеллекта

По мере дальнейшего развития технологий искусственного интеллекта и машинного обучения можно ожидать, что рекомендательные системы будут развиваться несколькими способами:

Рекомендации с учетом контекста

Будущие рекомендательные системы, вероятно, будут учитывать больше контекстной информации, такой как местоположение пользователя, устройство, время суток и другие ситуативные факторы, чтобы генерировать более релевантные рекомендации.

Объяснимый ИИ

Пользователи могут потребовать большей прозрачности и интерпретируемости от рекомендательных систем на основе ИИ. Поэтому разработка моделей, которые могут давать четкие объяснения своим рекомендациям, будет иметь решающее значение для укрепления доверия и стимулирования вовлеченности пользователей.

Рекомендации по мультимодальным перевозкам

Рекомендательные системы могут начать включать в себя несколько типов данных, таких как текст, изображения и аудио, чтобы лучше понимать предпочтения пользователей и характеристики товаров, что приведет к более точным и разнообразным рекомендациям.

Рекомендации от разработчиков DST Global, по междоменным вопросам

Рекомендательные системы на основе искусственного интеллекта могут быть разработаны для предоставления рекомендаций в различных областях, например, предлагая фильмы на основе любимых книг пользователя или рекомендуя направления путешествий на основе его предпочитаемых занятий.

Заключение

Рекомендательные системы на основе ИИ стали неотъемлемой частью нашей цифровой жизни, помогая нам ориентироваться в огромном количестве контента и продуктов, доступных в сети. Понимая базовые алгоритмы и методы, а также проблемы и потенциальные будущие разработки, мы можем лучше оценить мощь и ценность этих систем. Поскольку технология ИИ продолжает развиваться, мы можем ожидать, что рекомендательные системы станут еще более точными, персонализированными и разнообразными, что еще больше улучшит наш цифровой опыт.