Комментарии

Как работает генеративный ИИ и обработка естественного языка (НЛП)? Если конечно можно простыми словами

Как работает генеративный ИИ и обработка естественного языка (НЛП)? Если конечно можно простыми словами

Генеративный ИИ сейчас горячая тема в отрасли — почти каждый поставщик технологий имеет предложение, подобное ChatGPT (или утверждает, что оно у него есть).

Они заявляют, что используют одну и ту же технологию — большую языковую модель (LLM) (на самом деле существует множество больших языковых моделей, как с открытым исходным кодом, так и проприетарные, точно настроенные для различных отраслей и целей) для доступа и организации содержательных знаний предприятия.

Как и в случае с предыдущими новыми технологиями, LLM становится все более популярным. Но что такое генеративный ИИ?

Генеративный ИИ — это технология, которая отвечает на вопросы на естественном языке на основе алгоритмов, «обученных» на больших объемах текста из Интернета. Это означает, что они «понимают» терминологию, понятия и отношения между понятиями до такой степени, что способны создать ответ, который звучит так, как будто он исходит от человека.

Хотя технология создает впечатление разумной, возможности ChatGPT и другие приложения на базе LLM используют алгоритмы, основанные на математическом анализе.

Вместо того, чтобы извлекать ответ из существующего контента, алгоритм создает этот ответ на основе встроенных знаний языка и концепций, прогнозируя текст, который должен следовать дальше.

Генеративный ИИ создает новый контент на основе своих знаний языка, концепций и отношений между концепциями.

Важность контента в генеративном искусственном интеллекте

Одна из проблем генеративного ИИ заключается в том, что эти реакции основаны на шаблонах, полученных в результате поглощения общедоступной информации, которая необходима для получения необходимых больших объемов обучающего контента.

Но что, если организация захочет использовать генеративный ИИ для обработки своей внутренней информации?

В этом случае организации необходимо использовать несколько иной подход. Вместо того, чтобы использовать только встроенные знания языка, корпоративному приложению потребуется извлекать информацию из базы знаний, системы управления контентом (CMS) или другого источника данных, который курируется конкретными сотрудниками организации. Это называется поисковой расширенной генерацией (RAG).

Кажется, что использовать LLM для данных вашей организации очень просто, — надо указать на эти данные и позволить модели найти ответ (хотя именно это утверждают многие поставщики).

Вместо того, чтобы признать, что контент требует структуры и курирования посредством использования таксономии и архитектуры контента, некоторые поставщики в этой области будут заявлять, что не используют таксономии или метаданные. Вместо этого они признают, что им приходится «маркировать данные».

Но на самом деле метки — это метаданные. Контент должен содержать подсказки относительно его контекста. Метаданные предоставляют контекстные подсказки для интерпретации контента.

Представьте, что вы используете LLM для поддержки клиента, ищущего информацию о конкретном продукте.

Если информация является закрытой, конфиденциальной или частной интеллектуальной собственностью, раскрытие ее широкой языковой модели может поставить под угрозу корпоративную интеллектуальную собственность.

Например, OpenAI утверждает, что функциональность, доступная через API, не поставит под угрозу корпоративную интеллектуальную собственность, но некоторые данные слишком конфиденциальны, чтобы доверять этому утверждению.

Даже если они не являются конфиденциальными, нам все равно необходимо иметь возможность получать конкретную информацию о конкретном продукте и инструкции, необходимые для поддержки этого продукта.

Следовательно, часть контента, добавляемая в LLM, должна быть помечена такими атрибутами, как название продукта, модель продукта, любые инструкции по установке и коды ошибок.

Знания организации должны быть структурированы таким образом, чтобы LLM можно было использовать для извлечения этих знаний в контексте проблемы клиента, его биографии, уровня его технической квалификации, точной конфигурации его установки и т. д.

Генеративный ИИ сейчас горячая тема в отрасли — почти каждый поставщик технологий имеет предложение, подобное ChatGPT (или утверждает, что оно у него есть).

Они заявляют, что используют одну и ту же технологию — большую языковую модель (LLM) (на самом деле существует множество больших языковых моделей, как с открытым исходным кодом, так и проприетарные, точно настроенные для различных отраслей и целей) для доступа и организации содержательных знаний предприятия.

Как и в случае с предыдущими новыми технологиями, LLM становится все более популярным. Но что такое генеративный ИИ?

Генеративный ИИ — это технология, которая отвечает на вопросы на естественном языке на основе алгоритмов, «обученных» на больших объемах текста из Интернета. Это означает, что они «понимают» терминологию, понятия и отношения между понятиями до такой степени, что способны создать ответ, который звучит так, как будто он исходит от человека.

Хотя технология создает впечатление разумной, возможности ChatGPT и другие приложения на базе LLM используют алгоритмы, основанные на математическом анализе.

Вместо того, чтобы извлекать ответ из существующего контента, алгоритм создает этот ответ на основе встроенных знаний языка и концепций, прогнозируя текст, который должен следовать дальше.

Генеративный ИИ создает новый контент на основе своих знаний языка, концепций и отношений между концепциями.

Важность контента в генеративном искусственном интеллекте

Одна из проблем генеративного ИИ заключается в том, что эти реакции основаны на шаблонах, полученных в результате поглощения общедоступной информации, которая необходима для получения необходимых больших объемов обучающего контента.

Но что, если организация захочет использовать генеративный ИИ для обработки своей внутренней информации?

В этом случае организации необходимо использовать несколько иной подход. Вместо того, чтобы использовать только встроенные знания языка, корпоративному приложению потребуется извлекать информацию из базы знаний, системы управления контентом (CMS) или другого источника данных, который курируется конкретными сотрудниками организации. Это называется поисковой расширенной генерацией (RAG).

Кажется, что использовать LLM для данных вашей организации очень просто, — надо указать на эти данные и позволить модели найти ответ (хотя именно это утверждают многие поставщики).

Вместо того, чтобы признать, что контент требует структуры и курирования посредством использования таксономии и архитектуры контента, некоторые поставщики в этой области будут заявлять, что не используют таксономии или метаданные. Вместо этого они признают, что им приходится «маркировать данные».

Но на самом деле метки — это метаданные. Контент должен содержать подсказки относительно его контекста. Метаданные предоставляют контекстные подсказки для интерпретации контента.

Представьте, что вы используете LLM для поддержки клиента, ищущего информацию о конкретном продукте.

Если информация является закрытой, конфиденциальной или частной интеллектуальной собственностью, раскрытие ее широкой языковой модели может поставить под угрозу корпоративную интеллектуальную собственность.

Например, OpenAI утверждает, что функциональность, доступная через API, не поставит под угрозу корпоративную интеллектуальную собственность, но некоторые данные слишком конфиденциальны, чтобы доверять этому утверждению.

Даже если они не являются конфиденциальными, нам все равно необходимо иметь возможность получать конкретную информацию о конкретном продукте и инструкции, необходимые для поддержки этого продукта.

Следовательно, часть контента, добавляемая в LLM, должна быть помечена такими атрибутами, как название продукта, модель продукта, любые инструкции по установке и коды ошибок.

Знания организации должны быть структурированы таким образом, чтобы LLM можно было использовать для извлечения этих знаний в контексте проблемы клиента, его биографии, уровня его технической квалификации, точной конфигурации его установки и т. д.

Сейчас самое время привести в порядок своё цифровое пространство знаний. Генеративный ИИ — это потрясающее достижение, но использование той же общей языковой модели, что и у ваших конкурентов, не создаст конкурентного преимущества.

Разговорный искусственный интеллект (еще одно название Диалогового ИИ ) используется в различных приложениях, таких как голосовые помощники, чат-боты для онлайн-поддержки, виртуальных ассистентов и т. д. Его цель — сделать взаимодействие человека с компьютером более естественным и удобным, предоставляя возможность вести диалог на разных языках и в различных контекстах.

— Диалоговый ИИ (или разговорный ИИ) — это подвид искусственного интеллекта, который предназначен для интерактивного общения с людьми. Он включает в себя разработку алгоритмов, способных имитировать естественный диалог, понимать и генерировать человеческую речь.

Диалоговый ИИ применяется в различных областях, таких как:

— Голосовые помощники: Диалоговый ИИ используется для создания голосовых помощников, которые могут отвечать на вопросы, предоставлять информацию и выполнять задачи.
— Чат-боты: Диалоговый ИИ также используется для создания чат-ботов, которые могут общаться с пользователями через интернет или мобильные приложения.
— Виртуальные ассистенты: Диалоговый ИИ может быть использован для создания виртуальных ассистентов, которые могут помочь пользователям в решении различных задач.
— Обучение и тестирование: Диалоговый ИИ может использоваться для создания обучающих программ и тестов, которые помогают студентам лучше усваивать материал.
— Игры: Диалоговый ИИ может использоваться в играх для создания более реалистичных персонажей и сценариев.

Это только некоторые из возможных применений диалогового ИИ. В будущем можно ожидать еще большего расширения области применения этого типа искусственного интеллекта.

Диалоговый ИИ используется в различных веб-приложениях и операционных системах. Примеры диалогового ИИ включают в себя:

— Siri от Apple;
— Alexa от Amazon;
— Google Assistant;
— Cortana от Microsoft;
— Алиса от Яндекса.

Добрый день! Как я понимаю, обеспечить оперативную обратную связь человека с веб-сервисом позволяет Диалоговый ИИ верно? О Диалоговом ИИ сейчас нет почти никакой информации, можете рассказать по подробнее

Кстати Макс Липовецкий, директор по продукту Cyara, объяснил, что может произойти в 2024 году с точки зрения основных технологических прогнозов (источник): генеративный ИИ заменит диалоговый ИИ на основе NLU*. Бизнес-организации будут уделять приоритетное внимание качеству обслуживания клиентов, а не инвестициям в миграцию в облако.

NLU (Natural Language Understanding) — это технология, которая позволяет компьютерам понимать и анализировать естественный язык. Она используется в различных приложениях, таких как чат-боты, голосовые помощники и системы автоматического ответа на вопросы. NLU включает в себя различные методы обработки языка, такие как распознавание речи, анализ текста и генерация ответов.

Липовецкий считает, что 2024 год станет годом революционного перехода от технологии NLU к генеративному ИИ.

Основное различие между генеративным ИИ (GAI) и диалоговым ИИ (CAI) заключается в том, что генеративный ИИ создает оригинальный контент по запросу, в то время как разговорный ИИ специализируется на поддержании аутентичного и полезного двустороннего взаимодействия с людьми, понимая и отвечая в текстовой или устной форме.

Липовецкий заявляет: «Хотя боты NLU изначально казались многообещающими, их ограничения и особенно стоимость развертывания и обслуживания стали очень очевидными недостатками. Акцент будет смещен в сторону более глубокой интеграции моделей большого языка (LLM*) в диалоговый искусственный интеллект, что значительно повысит удовлетворенность клиентов, уменьшит время простоя при развертывании, значительно улучшит окупаемость инвестиций в веб-сервис».

NLU позволяет компьютерам понимать чувства, выраженные на естественном языке, используемом людьми, например английском, французском или китайском, а возможность объединить это с генеративным искусственным интеллектом призвана изменить путь развития коммуникационных технологий.

«Это ознаменует эпоху беспрецедентных инноваций, направленных на изменение способа взаимодействия клиентов с продуктами и услугами. Мы можем ожидать всплеска творческих стратегий и новых подходов для улучшения качества обслуживания клиентов, преодолевая ограничения, наложенные на этапе миграции в облако».

Одним из примеров Генеративного ИИ является генеративно-состязательная сеть (GAN), которая состоит из двух частей: генератора и дискриминатора. Генератор создает новые данные, а дискриминатор пытается отличить их от настоящих. В процессе обучения генератора и дискриминатора их навыки улучшаются, и в результате генератор может создавать очень реалистичные данные.

Генеративный ИИ позволяет создавать уникальных контент для веб-сервисов:

— Компьютерное зрение: Генеративный ИИ используется для генерации изображений, которые могут быть использованы для обучения моделей компьютерного зрения.
— Обработка естественного языка: Генеративный ИИ может использоваться для генерации текста, который может быть использован для обучения моделей обработки естественного языка.
— Генерация видео: Генеративный ИИ может генерировать видео, используя различные методы, такие как генерация кадров или генерация видео последовательностей.
— Дизайн: Генеративный ИИ может помочь дизайнерам создавать новые идеи и концепции.

Generative AI также позволяет развернуть на базе веб-сервиса некоторый функционал:

— Безопасность: обнаружение и предотвращение кибератак.
— Образование: создание персонализированных образовательных программ и материалов.
— Медицина: создание персонализированных медицинских препаратов и методов лечения.
— Финансы: анализ финансовых рынков и прогнозирование цен на акции.
— Музыка: ИИ может создавать музыку, используя различные алгоритмы генерации.

Примеры Генеративного ИИ включают в себя:

— GAN (Генеративно-состязательные сети);
— Автокодировщики;
— Порождающие латентно-семантические анализаторы (PLSA);
— Порождающие рекуррентные нейронные сети (RNN).

DST Platform это система управления контентом (CMS) на базе искусственного интеллекта, которая сочетает в себе мощь искусственного интеллекта с передовыми функциями для создания комплексного решения по управлению контентом.

Ключевые особенности

Гибкая структура контента:
DST Platform предлагает гибкую структуру контента с настраиваемыми полями и вложенными моделями, что позволяет пользователям создавать структуру контента, соответствующую их конкретным потребностям.

Чатбот на базе искусственного интеллекта:
Встроенный чат-бот обеспечивает поддержку в режиме реального времени, отвечая на вопросы пользователей и направляя их в процессе управления контентом.

Генерация изображений:
Возможности искусственного интеллекта DST Platform позволяют генерировать высококачественные изображения на основе заданных пользователем параметров, исключая необходимость использования внешних источников изображений.

Масштабируемый API:
DST Platform предоставляет масштабируемый API, позволяющий осуществлять расширенный поиск и манипулирование данными, облегчающий интеграцию с другими системами и позволяющий автоматизировать рабочие процессы.

Эффективное управление контентом:
Функции DST Platform, основанные на искусственном интеллекте, повышают эффективность задач по управлению контентом, облегчая его создание, организацию и работу с ним.

Примеры использования

Разработка сайтов и приложений: DST Platform может использоваться как мощная CMS для создания и управления контентом для веб-сайтов и приложений, с дополнительными преимуществами в виде функций искусственного интеллекта и генерации изображений.
Производство и управление контентом: Гибкая структура контента DST Platform и чатбот с поддержкой искусственного интеллекта позволяют оптимизировать рабочие процессы по созданию и управлению контентом, повышая производительность и удобство работы пользователей.
Интеграция и автоматизация: Масштабируемый API, предоставляемый DST Platform, обеспечивает бесшовную интеграцию с другими системами, позволяя автоматизировать рабочие процессы и расширить возможности поиска и манипулирования данными.

DST Platform сочетает в себе преимущества искусственного интеллекта и передовые функции управления контентом, предоставляя пользователям комплексное решение для эффективного управления контентом с использованием искусственного интеллекта.

Конечно нашей компании не нужен встроенный ИИ в систему управления, но в будущем вполне возможно, у меня вопрос, наш сайт на ДСТ Платформ имеет полную интеграцию с искусственным интеллектом? А также кроме контента и чата в чем он может быть еще полезен?

Работаем в DST CRM уже несколько лет, отличная и очень удобная система

Для приоритетного размещения и его брендированного подвида необходимо создать профиль компании в Яндекс Бизнесе и подключить Рекламную подписку. Права на организацию нужно будет подтвердить по телефону, дождавшись звонка оператора или бота. Сетевым компаниям нужно создать карточки для всех филиалом и связать их в сеть.

Профиль в Яндекс Бизнесе также необходим, чтобы размещать пины, баннеры, билборд и рекомендацию на маршруте. Информацию о физическом местонахождении точек продаж и категории бизнеса рекламный алгоритм берет именно из профиля. А вот размещать и оплачивать эти форматы можно только через платформу Яндекс Геореклама.

Подытожим, какие действия следует предпринять пошагово, чтобы разместить рекламу в геосервисах:

— Оформите профиль компании со всеми филиалами в Бизнесе, подтвердить права;

— Зарегистрируйтесь от имени этой же организации в Георекламе;

— Для приоритетного размещения и брендированного приоритетного размещения оплатите рекламную подписку Яндекс Бизнеса. Учтите: в нее по умолчанию также входит реклама на поиске и в РСЯ! Если вам не нужны эти площадки, или вы уже размещаетесь на них через Яндекс Директ, отключите их до расчета бюджета.

— Для размещения баннеров, пинов, билборда, рекомендации зайдите в Яндекс Георекламу.

— Выберите формат, настроить таргетинги, посмотрите, какой бюджет рассчитает платформа.

— Если все устраивает, оплатите размещение.

Спасибо за ответ, а как тогда лучше подключить рекламу на Яндекс Картах?

Размещение георекламы имеет ряд преимуществ, которые можно получить только с ней. Так, для автомобилистов реклама в Навигаторе заметнее и лучше привлекает внимание, чем офлайн-билборды и плакаты вдоль автотрасс. Так как баннер транслируется в движущейся машине, а не остается на обочине дороге, время просмотра его не лимитировано скоростью проезда.

Форматы георекламы универсальны. Они могут использоваться на разных этапах воронки и закрывают основные потребности пользователей, которые пользуются геосервисами.

Отсутствие эффекта баннерной слепоты. Пока что геомедийные форматы воспринимаются как нативная часть интерфейса.

Удобные таргетинги для офлайн-бизнеса. Помимо традиционного нацеливания по геолокации, полу, возрасту, интересам можно, например, настроить показ рекламы в часы работы офлайн-точки продаж, указанные в профиле Яндекс Бизнеса.

Рекламу в геосервисах можно использовать для ретаргетинга, возвращая тех, кто уже заходил физически, ведя повторные продажи.

Отслеживание статистики. В зависимости от формата рекламы вы будете получать статистику по ней в кабинете Яндекс Бизнеса или Яндекс Георекламы – там, где вы ее настраивали. Если на сайте установлен счетчик Яндекс Метрики, можно использовать UTM-метки, чтобы собирать статистику по переходам на страницы из георекламы. При наличии подменного номера будут получены данные по звонкам из объявлений.

А тогда чем геомедийная реоклама отличается от других видов?

Реклама на Яндекс Картах позволяет охватить и заинтересовать потенциальных клиентов, пока они планируют маршруты, гуляют или едут по делам. Так компания получает новую аудиторию, узнаваемость, возможность выделиться среди конкурентов и повысить продажи.

Яндекс Карты помогают строить маршруты на карте и находить информацию о фактическом размещении домов и сооружений, культурных объектов и организаций. Сервис доступен в браузере и в приложении Яндекс Go.

По данным Яндекса, Картами в десктопной версии ежемесячно пользуются 24 млн человек, а в мобильной — 38 млн человек. 75% совокупной аудитории геосервисов Яндекса — Карт, Навигатора и Метро — платежеспособные пользователи, которые путешествуют, водят личный автомобиль, часто заказывают товары онлайн и офлайн.

Охватить часть этой аудитории можно бесплатно — достаточно разместить компанию на Яндекс Картах и пользователи увидят ее при просмотре локации, где эта компания расположена. Но если важно привлечь больше трафика и быть заметнее конкурентов, стоит подключить георекламу.

Если вам нужно давать рекламу за пределами России, то никаких проблем с ведением нет. Нужно только разобраться с тем, как пополнять баланс. И тут есть 2 пути:

— Зарубежный клиент сам пополняет баланс.

— Оформить карту в ближнем зарубежье.

Главное понимать, что вы охватываете зарубежных клиентов на русском языке. То есть ваш продукт должен подходить им — это может быть интернет-магазин, сервис, курсы-, онлайн-услуга и т. д. Для рекламы салона красоты в конкретном районе РФ Google Ads сейчас плохо подходит.

Если вам нужно давать рекламу за пределами России, то никаких проблем с ведением нет. Нужно только разобраться с тем, как пополнять баланс. И тут есть 2 пути:

— Зарубежный клиент сам пополняет баланс.

— Оформить карту в ближнем зарубежье.

Главное понимать, что вы охватываете зарубежных клиентов на русском языке. То есть ваш продукт должен подходить им — это может быть интернет-магазин, сервис, курсы-, онлайн-услуга и т. д. Для рекламы салона красоты в конкретном районе РФ Google Ads сейчас плохо подходит.

Последние годы всех запутали. К нам постоянно приходят клиенты с вопросами: Google Ads все же работает или нет? Запрещен ли? А как оплачивать рекламу? А эффективно ли это вообще?

Начнем с последнего вопроса — про эффективность. Дальше поговорим про способы оплаты рекламы в Google Ads и запреты. И, наконец, дадим советы, как работать в Google Ads в 2025 году.

Три аргумента, почему не стоит отказываться от Google Ads, даже если у вас только российская аудитория

Аргумент первый: только в ноябре 2023 года, по данным Mediascope, Google.com охватывал 81,5% населения России, Youtube — 78,1%. Оба эти ресурса входят в топ-5 самых посещаемых веб-сайтов, и реклама в них настраивается с использованием Google Ads. Здесь даже приостановка рекламы для российских рекламодателей и пользователей мало что изменила.

Аргумент второй, связанный с точностью таргетинга и качеством пользовательского опыта в Google. Реклама работает хорошо в первую очередь в тех платформах, где есть рекомендательные системы — модели машинного обучения. Если сильно упростить, о чем это: чем больше данных о поведении пользователей платформа собрала, тем она эффективнее. Учитывая, сколько человек сегодня пользуются Google по всему миру, мы можем говорить о самом точном таргетинге среди рекламных платформ в мире.

Рекомендательные системы могут также помочь в определении оптимального времени для показа рекламы или выборе наиболее подходящего формата и места размещения рекламных объявлений. Кроме того, рекомендательные системы могут использовать машинное обучение для обработки больших объемов данных и поиска более точных паттернов поведения пользователей.

Аргумент третий: конкуренция в Google Ads сейчас значительно ниже, чем до того, как Google Ads приостановил рекламу для российских рекламодателей и пользователей, поэтому вероятность конверсии выше.

Но разве Google Ads не запрещен? Его ведь нельзя оплатить

Нет, Google Ads в России не запрещен, как и поисковик Google: решение о приостановке работы рекламной системы в России приняла сама компания. Она озвучила его в марте 2022 года. Позже, летом 2023 года, Google приостановил показ объявлений российских рекламодателей на ресурсах и в сетях Google по всему миру.

Оплатить рекламу в Google Ads и запустить кампании можно, если завести аккаунт, привязанный к зарубежному счету. Для агентств и фрилансеров в таком случае клиент с зарубежным счетом сам пополняет баланс. Для инхаус-исполнителей надо оформить счет в иностранном банке.