Последние сообщения

Встала недавно задача делать небольшие генерации в DST AI с помощью нейронок. После тестов API решил сравнить, сколько будут стоить одни и те же действия в «эталонном» ИИ от OpenAI и в «нашем» конкуренте от Яндекса. Тем более что не у всех сейчас есть возможность пользоваться зарубежной системой из-за санкций. Плюс бонусом проверим не окажется ли выгодно использовать перевод для экономии токенов. Итак, вводные.

Предположим что мы задали нейросети какой-то вопрос, а в ответ получили следующий текст: «проверка количества токенов в предложении чтобы понять сколько это будет стоить в различных генеративных сетях. причем я хочу попробовать на английском и на русском посчитать стоимость чтобы понять выгодно ли будет переводить». На нем и будем проводить расчеты.

Яндекс насчитал здесь своим токенизатором 44 токена, OpenAI же 92. Это не удивило, т.к. давно известный факт что кириллица всегда разбивается на почти вдвое большее количество кусочков для обработки. Просто Яндекс скорее всего это сразу же закладывает в токенизатор.

Сравнивать цены будем у Яндекса в синхронном режиме для честности, т.к. у конкурента асинхронного режима нет вовсе. Доллары считаем по курсу 92 рубля. Дата эксперимента — 13.01.2024. У яндекса 1к токенов стоит 0.4 рубля, у гпт турбо 0.0020 доллара.

YandexGPT Lite: 44 * (0.40 / 1000) = 0.0176 ₽

OpenAI GPT-3.5 Turbo: 92 * (0.0020 / 1000) * 92 = 0.0169 ₽

Как видим, разницы практически нет. Но стоит учитывать три важные особенности:

— Входные токены, т.е. запрос к модели, у OpenAI стоят в два раза дешевле чем токены в ответе, по которым мы считаем выше. Это значит что если входных данных много, а на выходе предполагается например обобщение в короткий ответ — то цифры будут значительно ниже.

— При этом в асинхронном варианте использование YandexGPT Lite обойдется вдвое дешевле и за вопрос и за ответ.

— По личным ощущениям нейронка от OpenAI работает намного лучше чем детище Яндекса — точнее следует промтам, меньше галлюционирует и в целом выдает более качественные ответы.

Попробовать перевод?

И тут хитрому мне пришла идея — а что если я буду писать промты и получать ответы от OpenAI на английском языке, тратя вдвое меньше токенов чем используя русский язык, а результат просто буду переводить? Например через API переводчика от того же Яндекса. Считаем количество символов в тестовом тексте, переведенном на английский — получаем всего 45 токенов, вдвое дешевле. Количество символов в тексте — 239. Отлично, осталось только перевести. Цена за 1 млн символов 492,2 рублей, за один 0.0004922, значит за весь переведенный текст получится… 0,1176358 рубля. Упс =) В десятки раз дороже чем сделать генерацию просто на русском языке.

Не знаю конечно, может быть где-то есть апишки для автоматического перевода значительно более дешевые, но сомневаюсь что они будут дешевле именно во много раз. Так что эту идею отбрасываю, хотя честно говоря странно. Я не раз слышал что вроде как тактику с генерацией текста и последующим переводом используют для удешевления генераций. Или может использовали раньше? Или делают это как-то по другому? Хз.

Выводы

Что выбрать? Решать вам. Я склоняюсь к идее что какие-то простые и не критичные генерации можно отдавать Яндексу в асинхронном режиме — так выйдет дешевле. Но серьезные вещи лучше все-таки делать через API лидера рынка и получать качественный результат за адекватные деньги.

Николай Хорошев

Ваши расчеты очень показательны! Действительно, разница в стоимости между YandexGPT Lite и OpenAI GPT-3.5 Turbo минимальна для простых запросов. Однако, как вы правильно заметили, при работе с большими входными данными OpenAI может оказаться выгоднее из-за более низкой стоимости входных токенов. Что касается качества, то здесь OpenAI действительно демонстрирует более стабильные результаты — меньше галлюцинаций и лучшее понимание контекста. Для небольших проектов и простых задач YandexGPT Lite может быть оптимальным выбором с учетом асинхронного режима, который делает его еще дешевле. Но если требуется высокая точность и качество ответов, то OpenAI остается золотым стандартом, несмотря на чуть более высокую стоимость.

Такая же ситуация была, с хостером решали этот вопрос вместе. Сайт с 200к+ записями. Нам в какой-то момент 32 гб стало мало при TTL кеша редис в 86400. Было решено просто добавить еще 1 плашку на 32 гб.

PS Скажу сразу что редис очень не любит когда его ограничивают в ОЗУ. При ограничении в ОЗУ начинает страдать ЦП. Замкнутый круг получается.
Итог: или откажитесь от объектного кеша или разрешите брать столько ОЗУ сколько надо или попробуйте уменьшить TTL кеша (но это тоже спорно)

Игорь Симонян

Полностью согласен с вашим опытом! Действительно, Redis показывает наилучшую производительность, когда ему позволяют использовать столько памяти, сколько необходимо. Ограничение объема ОЗУ приводит к тому, что система начинает активно использовать механизм выгрузки данных, что создает дополнительную нагрузку на CPU и может существенно снизить производительность.

В вашем случае с сайтом, имеющим более 200 тысяч записей, увеличение памяти до 64 ГБ — это абсолютно правильное решение. При TTL в 86400 секунд (24 часа) такой объем данных просто физически не может уместиться в меньший объем памяти без существенного влияния на производительность.

Что касается уменьшения TTL — это действительно спорный момент. Да, это может помочь снизить потребление памяти, но при этом увеличится нагрузка на базу данных и время отклика системы, так как придется чаще доставать данные из основной БД. В итоге можно получить ситуацию, когда выигрыш в памяти будет нивелирован потерей в производительности.

На мой взгляд, если у вас есть возможность предоставить Redis достаточно памяти — это самый оптимальный путь. Это позволит системе работать максимально эффективно, без дополнительных накладных расходов на управление памятью и выгрузку данных. Главное — правильно оценить необходимый объем памяти с учетом роста данных в будущем.

В вашей ситуации заполнение Redis-кеша до предела — это ожидаемое поведение, так как Redis по умолчанию стремится использовать всю выделенную ему память. При этом важно понимать, что использование 127 МБ из 128 МБ не является проблемой само по себе, если система работает стабильно.

Однако в вашем случае с таким объемом контента (30 тысяч записей и 200 страниц) стоит рассмотреть несколько подходов к оптимизации. Во-первых, можно увеличить объем памяти для Redis, но это лишь временное решение. Более эффективным будет настроить политику выгрузки данных (eviction policy). Например, можно использовать стратегию LRU (Least Recently Used), которая будет удалять наименее используемые ключи при достижении лимита памяти.

Также стоит проанализировать, какие именно данные кэшируются и насколько они актуальны. Возможно, некоторые данные можно кэшировать на более короткий срок или вообще исключить из кэширования. Регулярная очистка кеша — это тоже рабочий вариант, но его лучше автоматизировать, настроив соответствующие параметры в конфигурации Redis.

Рекомендую также отслеживать метрики использования памяти и частоту промахов в кэше (miss rate), чтобы найти оптимальное соотношение между размером кэша и производительностью системы. Это поможет найти баланс между скоростью работы портала и объемом используемой памяти.

Вы можете сколько угодно критиковать Bootstrap. Но если технология популярна и остаётся таковой десятилетиями, значит, она не так уж и плоха. В интернете всё быстро устаревает или теряет актуальность. Однако Bootstrap, как и PHP, каждый год подвергаются критике со стороны новомодных программистов, которые пророчат им забвение. Но, несмотря на это, они остаются в ТОПе уже десять лет.

Доброго дня всем!

Хочу спросить по поводу Bootstrap. Никогда не верстал на нем, и недавно посмотрел видео по верстке на нем, чтобы понять, что и как.

Мои выводы — вы скажете, прав я или не прав.

Итак, с grid system от Bootstrap у меня никогда вопросов не было — все просто и понятно.

Стилизация элементов конкретного макета (дизайна) производиться тупо перезаписью дефолтных стилей Bootstrap своими собственными стилями, за счет CSS-каскадности. Я прав?

Получается своего рода подгонка готового дизайна на CSS под конкретные нужды?

Если так, тогда становиться понятно, почему существуют верстальщики, которые не любят Bootstrap. Получается много лишнего кода. Много переопределений, что само по себе уже нечистый код.

Но для production Bootstrap — самое то получается! Ляп, ляп — и сайт готов! Быстро и сердито. Сделал, продал и забыл.

Тогда возникает вопрос — почему все так любят Bootstrap? 

И еще вопрос — макет на том же DST Store создан под Bootstrap. Реально ли существуют макеты, созданные дизайнерами именно под Bootstrap? Хочу сказать — есть ли просто макеты и макеты именно под Bootstrap? И в чем их отличие тогда? 

Игорь Симонян

Ваши выводы очень точны! Bootstrap действительно работает по принципу “подгонки” под конкретный проект, и это нормально. Что касается популярности — всё просто: это экономит время и силы. Представьте, что вам не нужно писать стили для базовых компонентов, адаптивности и кроссбраузерности — всё это уже готово. 

Конечно, для простых проектов это может показаться избыточным, но для крупных приложений или когда время — деньги, это бесценно. По поводу макетов — да, существуют специальные “bootstrap-friendly” дизайны. Они учитывают сетку 12 колонок, стандартные отступы и размеры элементов фреймворка. Такие макеты обычно имеют более строгую структуру и меньше “дизайнерских вольностей”, что делает процесс вёрстки более предсказуемым и быстрым.

Вы абсолютно верно подметили основные особенности работы с Bootstrap. Действительно, основная стилизация происходит через перезапись дефолтных стилей, и это вполне нормальный подход. Что касается лишнего кода — да, его может быть больше, чем при нативной вёрстке, но это плата за скорость разработки и кроссбраузерность. Bootstrap любят за то, что он решает множество проблем “из коробки”: адаптивность, кроссбраузерность, базовые компоненты интерфейса. Дизайнеры часто создают макеты специально под Bootstrap, учитывая его сетку и стандартные отступы. Такие макеты обычно имеют чёткие блоки, соответствующие колонкам сетки, и стандартные размеры элементов, что значительно упрощает процесс вёрстки.

Ну по порядку:

— для изменения стиля, да, перезаписываете дефолтный стиль. Можно также добавлять свой.

— Тут скорей подгонка Bootstrap под предварительный дизайн.

— Про нечистый код, это спорно. Есть те кто верстают от бога а есть простые люди. Каждый раз писать стили с нуля, когда у тебя в неделю по пять сайтов, не удобно.

— Bootstrap -это CSS framework. С коробки он дает grid, responsive design, css-плюшки. Я предполагаю что заказчики любят его за быстроту, красоту и responsive design.

— Даже не знаю пишут ли макеты специально под Bootstrap. Скорей Bootstrap подстраивается под макеты.

Сила и мощь в Bootstrap в его простоте и изменяемости.

Кстати ребят раз тема про редакторы зашла, не подскажите, пожалуйста, WYSIWYG-редактор, который можно кастомизировать. На панель форматирования нужно добавить раскрывающийся список. При нажатии на элемент списка — этот элемент должен вставляться в редактор.Сайт на ДСТ Платформ 2. 

Смотрел в сторону Imperavi Redactor — какое-то API у них запутанное…CKEditor — у них есть 2 версии — build и framework. 

Вот framework как раз нужен для кастомизации на сколько я понял. Но установить не получается.

Виталий Литвинов

У CKEditor действительно есть две версии: 4 (редактор) и 5 (фреймворк). Это, в общем-то, два принципиально разных продукта, сравнивать их не совсем корректно, именно поэтому на их сайте они доступны (и развиваются) оба параллельно. CKEditor 5 вам подойдет если вы хотите запрограммировать (а не просто установить) что-то кастомное-кастомное, если для каких-то задач вам надо влезать под капот и переопределять логику работы. Если вам всего этого не надо (или надо, но в меньшей степени), то CKEditor 4 — готовый к использованию редактор, который можно усилить плагинами. Например, N1ED, который добавляет кучу разных штук и виджетов, интегрируясь как простой, казалось бы, плагин. Т. е. возможность кастомизации там всё также неплохая, но самый главный плюс — вы быстро компонуете подходящее решение из уже готовых блоков (в CKEditor 5 их придется частенько пилить самому), и уже потом, если хотите чего-то эдакого, добавляете свой код (плагин) через прекрасно документированный CKEditor 4 API.

Кстати ребят раз тема про редакторы зашла, не подскажите, пожалуйста, WYSIWYG-редактор, который можно кастомизировать. На панель форматирования нужно добавить раскрывающийся список. При нажатии на элемент списка — этот элемент должен вставляться в редактор.Сайт на ДСТ Платформ 2. 

Смотрел в сторону Imperavi Redactor — какое-то API у них запутанное…CKEditor — у них есть 2 версии — build и framework. 

Вот framework как раз нужен для кастомизации на сколько я понял. Но установить не получается.

Как написали выше: html, markdown, но прогоняют через функцию для безопасного сохранения специальных символов в БД, чтобы на инъекцию какую не напороться

Ну, обычно такой редактор рендерится на какой-нибудь textarea и постоянно с ней синхронизирует свое содержимое, так что отправка на сервер происходит как обычно.

Просто сохраняет POST-переменную как обычно и все.

В каком-то структурированном формате — markdown, html.

Популярность мультимодального искусственного интеллекта продолжает стремительно расти за счет его гибкости и эффективности в решении сложных задач, для качественного выполнения которых нельзя обойтись без взаимодействия с различными видами входной информации.

Увеличению востребованности технологии способствуют в том числе следующие факторы:

— Рост объемов разносторонних данных. Классические ИИ, работающие с одним видом данных, не способны полностью использовать потенциал массивов данных. Это значительно ограничивает их возможности в специфических задачах.

— Повышение вычислительных возможностей. Мощные графические процессоры сделали возможным обучение и использование мультимодальных моделей на больших объемах данных.

Вот лишь несколько популярных примеров задач, которые уже решаются мультимодальными ИИ:

— Автоперевод видео с субтитрами. Мультимодальный ИИ может анализировать аудио и видео вместе с субтитрами для точного перевода, учитывая жесты и мимику.

— Поиск по изображениям и тексту. ИИ позволяют пользователям находить информацию, сочетая текстовые запросы с изображениями, что особенно полезно в сфере продаж.

— Диагностика в медицине. Работающие с различными видами информации модели могут анализировать рентгеновские снимки и текстовые записи из медицинской карты пациента для более точных диагнозов.

Мультимодальный искусственный интеллект – это не просто очередной тренд в ИИ, а ключевая технология, которая открывает перед нами возможности более глубокого и комплексного анализа. С каждым годом эта отрасль продолжает быстро развиваться.

Чем мультимодальные ИИ отличаются от традиционных?

Мультимодальные(MLLM) и традиционные большие языковые модели (LLM) – это два разных подхода к обработке и анализу данных, хотя оба варианта базируются на нейронных сетях. Основное различие между ними заключается в том, как они обрабатывают данные и какие задачи могут решать. В этом разделе мы рассмотрим ключевые различия между технологиями.

Обработка различных типов данных

Большие языковые модели LLM, такие как GPT-3 или BERT, разработаны для работы исключительно с текстом. В их сфере компетенции лежат такие задачи, как проведение анализа, создание текстовых массивов, перевод текстового материала с одного языка на другой, суммаризация. Однако этим их функционал ограничен.

Мультимодальные ИИ может исследовать изображение и приведенное пользователем текстовое описание к нему одновременно, обеспечивая более глубокое понимание контекста и более точный анализ поступающей на вход информации.

Взаимодействие между модальностями

Традиционные LLM ограничены текстовой модальностью, поэтому они могут работать только с линейными зависимостями внутри текстовых данных. Это значит, что LLM не могут анализировать взаимосвязи между текстом и другими видами информации, например изображениями и звуком.

Мультимодальные модели, напротив, могут выявлять сложные связи между разной информацией. Взаимодействие между модальностями делает такие модели полезными в более сложных сценариях, где информация, полученная из разных источников, органично дополняет друг друга.

Архитектурные различия

Архитектура традиционных LLM базируется на обработке последовательности токенов в тексте. Она обучается предсказывать следующий токен в последовательности или выполнять задачи, связанные с пониманием текста (например, классификация или извлечение информации). В основном такие модели используют трансформеры, которые справляются с задачами обработки естественного языка, но не могут напрямую работать с визуальными или другими типами данных.

Мультимодальные архитектуры, напротив, включают несколько разноплановых модулей. Например, в модели CLIP используется текстовый и визуальный модуль, которые объединяются для совместного обучения и анализа. Эти модули могут быть отдельными частями одной сети или работать параллельно, интегрируя результаты для получения более полной картины. Некоторые модели (тот же GPT-4) развивают свои возможности, добавляя мультимодальные компоненты к уже существующим моделям, что расширяет их функционал.

Принцип действия псевдо мультимодального ИИ заключается в подключении специализированных движков для распознавания голоса и генерации изображений к существующим языковым моделям (LLM). Этот подход позволяет имитировать функционал мультимодальных систем, обеспечивая видимость интеграции различных типов данных. Однако «под капотом» такая система остается ограниченной в масштабируемости и не может обучаться на датасетах, отличных от текстовых, что существенно ограничивает её возможности. Источник: Youtube.

Вычислительная сложность

Поскольку традиционные LLM работают только с текстом, их вычислительная сложность зависит от размера текстовых данных и архитектуры модели. Они требуют значительных вычислительных ресурсов для обучения и использования, но их сложность ограничена только одной модальностью.

Мультимодальные модели значительно более сложны в вычислительном плане, так как они работают с различными типами данных, каждый из которых требует своей архитектуры для обработки. Это делает их обучение и внедрение более ресурсоемким процессом. Например, обработка изображений требует мощных графических процессоров (GPU), а объединение с текстовой информацией в значительной степени увеличивает объем необходимых вычислений.

В чем реальная польза от мультимодальных ИИ?

Технология изменила подход к решению сложных задач в самых разных сферах деятельности человека. Вот несколько примеров их успешного реального применения:

— Медицина. Искусственный интеллект помогает анализировать сложные медицинские данные, такие как рентгеновские снимки, MRI или текстовые записи пациентов, что улучшает диагностику и ускоряет процесс принятия решений врачами.

— Искусство и творчество. С помощью моделей типа DALL-E и CLIP художники, дизайнеры и создатели контента могут легко генерировать визуальные элементы по запросу, создавать уникальные изображения и воплощать креативные идеи на базе описаний.

— Инженерия. В инженерии мультимодальные ИИ используются для анализа чертежей и технических документов, и это позволяет инженерам быстрее разрабатывать и тестировать новые проекты, улучшать процессы проектирования и производства.

В образовательной сфере мультимодальные ИИ помогают создавать интерактивные обучающие платформы, где студенты могут одновременно взаимодействовать с текстом и изображениями.

Мультимодальное обучение позволяет моделям ИИ понимать и обрабатывать информацию из различных источников данных, улучшая точность и адаптивность в различных задачах.

Многомодельная система в машинном обучении относится к подходу, который использует несколько отдельных моделей, каждая из которых специальна для различных задач, а не единую интегрированную мультимодальную модель. 

Елена Коврегина

Интересно а как работают мультимодальные модели, в смысле как мультимодальный ИИ обучается, как понимаю у них нет прямого доступа к нейросетям?

Металл Профиль

Мультимодальный подход в ИИ включает обработку и сочетание различных типов данных для создания более полного понимания заданного ввода.

Мультимодальные модели обрабатывают различные типы входных данных отдельно, выравнивают данные, а затем объединяют информацию для получения более точных и контекстно-осведомленных результатов.

Мультимодальный ИИ обучается на разнообразных наборах данных, включающих несколько типов данных, с применением таких методов, как контрастное обучение, обучение с переносом и предобучение на мультимодальных корпусах.