Как генеративный ИИ революционизирует облачные операции

В этой статье, специалисты компании DST Global расскажут, почему внедрение облачных технологий является ключом к внедрению генеративного искусственного интеллекта.

Генеративный ИИ попадает в заголовки и вызывает ажиотаж, казалось бы, во всех сферах, благодаря таким инструментам, как ChatGPT, которые способны полностью изменить обширные сегменты «белой» работы в различных отраслях, связанных с интеллектуальным трудом.

Однако не каждая организация в равной степени готова извлечь выгоду из этих разработок: компании, использующие локальные технологические продукты, могут остаться в стороне от революции генеративного ИИ.

Становится всё более очевидным, что если компании надеются использовать эту мощную новую технологию, им нужно будет работать на облачных платформах. От технических причин до более финансовых обоснований и просто более высокой скорости внедрения инноваций — все факты указывают в одном направлении: на облака.

Техническая сложность укрощения

Одна из основных причин, по которой генеративный ИИ подходит для использования в облаке, — это сложность самого программного обеспечения ИИ и поддерживающего его программного стека.

Технология трансформеров, лежащая в основе генеративных больших языковых моделей, таких как ChatGPT, довольно «молода» — её развитие можно проследить по исследовательской статье, опубликованной Google в 2017 году. Тот факт, что это относительно «новая» технология, означает, что она всё ещё находится в стадии разработки, в отличие, например, от технологии баз данных, которая существует с 1960-х годов и на данный момент является довольно «прочной».

Сложна не только наука, лежащая в основе программного обеспечения больших языковых моделей, но и стек, необходимый для запуска моделей. Генеративный ИИ построен на таких технологиях, как Python, Rust, Linux и контейнеры Docker, ни одна из которых не используется по умолчанию в большинстве корпоративных ИТ-сред. Добавьте всё это вместе, и вы получите очень молодой программный стек с множеством сложностей и движущихся частей, который работает в программной экосистеме, незнакомой большей части корпоративного мира.

Если бы это было единственной причиной для запуска генеративного ИИ в облаке, а не локально, то, скорее всего, этого было бы достаточно. Но помимо сложности с точки зрения ИТ, есть ещё проблема стоимости…

Что выявил бы анализ затрат и выгод?

Как правило, использование ИИ — это «импульсный» сценарий. Большую часть времени сервис простаивает, но затем поступает запрос — например, пользователь инициирует двустороннее взаимодействие по типу ChatGPT — и в этот момент требуются значительные вычислительные ресурсы.

Если бы компания использовала этот генеративный ИИ локально, то вычислительные мощности простаивали бы большую часть времени. С точки зрения затрат, облачная модель, при которой вычислительные мощности оплачиваются только при необходимости, более выгодна.

Также необходимо провести анализ затрат и выгод, связанных с оборудованием. Для работы новейших форм ИИ требуется специализированное оборудование — в частности, графические процессоры (GPU). Хотя изначально они появились в мире игр, графические процессоры настолько хорошо справляются с массовыми параллельными вычислениями матриц, что их также используют для приложений, таких как генеративный ИИ.

Эти графические процессоры не только дорогие, но и узкоспециализированные по своим функциям. Фирмы могут использовать их разве что для игр или майнинга криптовалют, но ни то, ни другое, скорее всего, не является основной задачей большинства организаций. Конечно, можно приобрести это специализированное оборудование и установить его на серверах локально, но гораздо разумнее платить за те минуты или часы, когда оно действительно необходимо, через облако.

Что касается затрат, то трудно избежать влияния генеративного ИИ на окружающую среду. Как упоминалось ранее, ИИ требует больших вычислительных мощностей, и все эти графические процессоры потребляют много энергии и нуждаются в охлаждении.

Облачные технологии — это способ снизить эти расходы. Для ясности: ИИ по-прежнему будет потреблять много энергии независимо от того, работает ли он локально или в облаке. Но поставщики облачных услуг, такие как Microsoft Azure, стремятся к 100% возобновляемым источникам энергии к 2025 году и к 2023 году перейти на безотходное производство — у Google и Amazon схожие амбиции, что является ещё одним аргументом в пользу использования генеративного ИИ в облаке.

Устранение трений, облегчение проблем

Помимо устранения технических и финансовых сложностей, связанных с поддержкой генеративного ИИ локально, его запуск в облаке позволяет ускорить внедрение инноваций. По сути, всё, что нужно сделать компании, — это ввести данные своей кредитной карты и начать пользоваться ИИ. Вместо того чтобы тратить 90% своего времени на инфраструктуру, чтобы поддерживать её в рабочем состоянии, и 10% своего времени на то, чтобы понять, как использовать ИИ для получения конкурентных преимуществ, они могут изменить модель и начать внедрять инновации.

К другим препятствиям, которые традиционно мешали людям переходить в облако, относятся опасения по поводу безопасности хранения данных в облаке или беспокойство по поводу требований к юрисдикции данных или их передачи за пределы определённой географической зоны.

Все эти проблемы были решены основными поставщиками облачных услуг. Что касается безопасности, то на данный момент хорошо известно, что размещение данных в облаке невероятно безопасно благодаря огромному количеству выделенных ресурсов, которые основные поставщики облачных услуг могут направить на обеспечение безопасности. Они также обеспечивают детальный контроль над тем, где находятся данные, даже когда выполняется такая услуга, как обработка данных с помощью ИИ, что ещё больше устраняет опасения, которые исторически мешали компаниям переходить в облако.

Стоимость обучения

По оценкам, один цикл обучения модели GPT-3, в ходе которого большая языковая модель получает огромные объёмы данных для формирования мировоззрения, на основе которого она генерирует ответы, обошёлся OpenAI примерно в 4,5 миллиона долларов, что делает эту задачу недоступной для всех, кроме крупнейших или наиболее обеспеченных ресурсами предприятий. (Обратите внимание, что эта умопомрачительная сумма — это только затраты на вычисления при обучении; она не включает расходы на инженеров, которые разрабатывают модель).

Это правда, что после того, как у вас появятся эти модели, вы сможете сократить их до более мелких моделей, которые дешевле в обучении и требуют гораздо меньше вычислительных мощностей, но первоначальное обучение — это огромное препятствие, которое мало кто сможет преодолеть.

По этой причине, а также по множеству других, о которых мы говорили ранее, все признаки указывают на то, что в краткосрочной и среднесрочной перспективе, если компании хотят воспользоваться преимуществами генеративного ИИ и всеми потенциальными выгодами, которые он предлагает, облачные технологии станут лучшим способом использования этого сервиса, предлагая наиболее выгодный путь развития.

Как генеративный ИИ революционизирует облачные операции

Генеративный ИИ преобразует то, как технологические компании приближаются к надежности и операциям облака. В этой статье мы исследуем самые убедительные приложения.

LLMS позволила использовать облачные сервисы более эффективно и дешево, чем когда -либо прежде. Они могут ассимилировать естественный язык и код, обеспечивая новые профилактические и исправления инструментов. Языковые модели улучшаются с головокружительной скоростью. По мере того, как модели становятся лучше, услуги, которые интегрировали их в их операции, будут бесплатно воспользоваться преимуществами.

В этой статье мы исследуем наиболее убедительные приложения, многие из которых уже развернуты в ведущих технологических компаниях.

Сканирование уязвимости кода

Языковые модели переваривают код более существенным образом, чем обычные анализаторы.

Это пойдет на ранее существовавшие уязвимости, но также важно интегрировать языковые модели в инструмент подачи кода. Всякий раз, когда предлагается новое изменение кода, модель будет отмечать любые уязвимости и предлагать изменения автору.

В ведущих технологических компаниях интеграция языковых моделей в процесс представления кода является основной областью инвестиций.

Анализ журнала

Корская причина продолжающегося инцидента часто похоронен в горе неактуальных бревен, иглы в стоге сена. Поиск, способный LLM (с использованием RAG), может помочь по выходам добраться до сути проблемы за считанные секунды, а не часы. Модель будет оценивать журналы против симптомов инцидента и сообщать о записях, которые, скорее всего, будут актуальны. Модель может быть вызвана с помощью вызовов или даже непосредственно интегрирована с системой отслеживания проблем, так что она автоматически выпускает свой анализ журналов в любой новый билет.

Другое применение анализа журналов - безопасность изменений. Модель может периодически выбирать журналы и автоматически запускать откат любого постоянного изменения, если она обнаруживает подозрительную новую ошибку.

Помощь по вызову

Обучение по вызову-неточный и грязный процесс. Новые вызывы подвергаются только недавним вопросам и редко имеют широту системного понимания, необходимого для решения новых проблем. Они в основном учатся на лету, что увеличивает воздействие риска в дополнение к подавляющему вызову.

Языковые модели могут сочетать новые проблемы для более старых и быстро ассимилировать документацию по обслуживанию. Эффективная стратегия заключается в том, чтобы точно настроить модель по прошлым вопросам, а также зажигания и документацию службы. В качестве помощника можно использовать тонкую модель, чтобы рекомендовать действия по любым входящим вопросам и даже подготовить команды для выполнения вызовов.

Позвоночные проводят много времени на поиск правильной процедуры или соответствующего контекста на влияемой службе; Умные помощники значительно ускоряют этот процесс. Помощник может даже генерировать новые процедуры или записи Runbook после решения проблемы, создавая цикл самосовершенствования при обработке инцидентов .

Отслеживание инцидентов

Сложные инциденты часто длится несколько часов, когда несколько инженеров и лидеров и лидеров по инциденту. Многие из более тонких деталей того, как был обработан инцидент, теряются из-за несовершенного принятия заметок. Реконструкция этой информации для посмертного поступления занимает ценную пропускную способность.

Новая парадигма состоит в том, чтобы интегрировать речь в тексте с живым вызовом и суммирование вывода с помощью языковой модели. Это создает подробный разбивку временной шкалы инцидента, повышая посмертную точность, а также сокращает время, потраченное на реконструкцию сроков.

Трекер инцидентов также может обновить центральную ошибку с любыми новыми идеями от живого звонка. Например, если он будет установлен на инцидентном вызове, что восстановление займет 30 минут, система может автоматически опубликовать это в резюме ошибки. Это улучшает видимость статуса для ключевых заинтересованных сторон, освобождая инженеров, чтобы сосредоточиться на исправлении проблемы.

Выдать приоритет

Для вызовов типично иметь больше ошибок, чем они могут справиться. Они используют свое суждение, чтобы определить, какие ошибки требуют их внимания. Это несовершенный процесс - нередко иметь сбой, а затем понять, что в заброшенной проблеме были знаки о ранних предупреждениях.

Языковые модели могут сканировать все ошибки и классифицировать их как безобидные или касающиеся, а также объяснить, почему важна конкретная ошибка (или нет). Они могут даже оценить, сколько времени в прошлом может занять конкретную проблему на основе аналогичных проблем.

В конце концов, у нас будет самостоятельно обработать простые ошибки, которые будут самостоятельно обрабатывать простые ошибки, что позволит на выходе сосредоточиться на более сложных проблемах.

Заключение

Подводя итог специалисты DST Global считают, что существует много низко висящих моментов для оптимизации облачных операций в продолжающейся революции ИИ:

- Предотвратить проблемы до того, как они пройдут через анализ кода для ошибок надежности

- Быстро обнаруживает проблемы и аномалии с помощью интеллектуального анализа журналов

- Повышение вызова вызыв в обработке проблем с интеллектуальными помощниками искусственного интеллекта

- Отслеживать сложные инциденты с ИИ

- Сортировка и расставить приоритеты с ИИ, чтобы на наиболее важных вопросах были сосредоточены на наиболее важных вопросах

С недавними достижениями в LLMS и AI в целом, в стеке есть огромные возможности для повышения эффективности работы и устойчивости. Новые компании, особенно создающие продукты на основе искусственного интеллекта, должны быть в поисках таких возможностей. Существует много синергии между использованием ИИ для обеспечения ценности клиентов и использования его для улучшения операций самого продукта.