Комментарии

Влияние ИИ на производительность разработчиков

Это одно из первых исследований на эту тему, в котором приняли участие почти 5 тыс. разработчиков из трех ведущих IT компаний. Важно, что это не лабораторное исследование, а в живых «полевых» условиях. Поэтому стоит обратить внимание на его результаты.

Какого эффекта ожидать от использования ИИ?

Ожидания в целом большие. Так, одни экономисты подсчитали, что генеративный ИИ может выполнять задачи более чем 80% рабочих мест в США, и вопреки представлениям, в первую очередь — высококвалифицированных профессий. Другие, однако, менее оптимистичны в отношении такого роста производительности.

Сложность реальных измерений эффекта затрудняет оценку того, оправдан ли такой оптимизм в отношении роста производительности.

Как проводилось исследование?

Методика

Проведено три рандомизированных контролируемых исследования (что важно!): в Microsoft, Accenture и IT компании из списка Fortune-100.

Важно, что эти исследования не были лабораторными, а проводились компаниями в рамках их обычной деятельности.

Большинство исследований влияния ИИ инструментов на производительность проводилось в контролируемых лабораторных условиях. Как правило, такие исследования показывали рост производительности.

Участники

В случае Microsoft и Accenture тестовой группе разработчиков случайным образом был предоставлен доступ к GitHub Copilot, тогда как другая группа (контрольная группа) не имела доступа к инструменту в течение семи (Microsoft) или четырех (Accenture) месяцев. В эксперименте компании из списка Fortune 100 все пользователи получили доступ к инструменту в течение двух месяцев, но даты доступа были рандомизированы, и некоторые команды получили доступ на шесть недель раньше других.

В эксперименте в Microsoft (стартовал в сентябре 2022 года) приняли участие 1 746 разработчиков. Из них 50,4% были случайным образом выбраны для получения доступа к Github Copilot. Участники тестовой группы были проинформированы по электронной почте о возможности зарегистрироваться в GitHub Copilot. Помимо этого письма, участники, прошедшие лечение, не получили никаких дополнительных инструкций. Эксперимент завершился 3 мая 2023 года, поскольку растущая осведомленность об инструментах кодирования с использованием ИИ заставила участников контрольной группы искать доступ к Copilot.

Эксперимент в Accenture начался в июле 2023 года и проходил в Юго-Восточной Азии. Рандомизация происходила на уровне разработчиков, и 61,3% из 320 разработчиков попали в тестовую группу. Участники тестовой группы были проинформированы по электронной почте о возможности зарегистрироваться в GitHub Copilot. Они также приняли участие в обучающем тренинге. Контрольной группе был предоставлен доступ к Copilot в декабре 2023 года.

В компании из списка Fortune-100 эксперимент начался в октябре 2023 года. В нем приняли участие 3 054 разработчика, которые были приглашены использовать Copilot. Даты приглашений были рандомизированы, новые приглашения рассылались еженедельно в период с сентября 2023 года по октябрь 2023 года

Как оценивалась производительность

В этом исследовании изучается эффект одного из известных (наряду с Amazon CodeWhisperer и Replit Ghostwriter) ИИ инструментов — GitHub Copilot.

GitHub Copilot был разработан GitHub в партнерстве с OpenAI, значительный объем кода из публичных репозиториев GitHub использовался для обучения Copilot.

Когда разработчики пишут код или комментарии, Copilot анализирует контекст и генерирует соответствующие фрагменты кода, комментарии и документацию. Он может автоматически дополнять код или предлагать фрагменты, которые им в противном случае пришлось бы искать в Интернете. Это может сэкономить время разработчиков и потенциально улучшить качество кода. Однако, как и все инструменты на основе LLM, Copilot может совершать ошибки. Если разработчики будут полагаться на него без проверки, он может потенциально привносить ошибки и снижать качество кода.

Основным результатом работы разработчика являются «pull requests», которые можно рассматривать как единицу работы. Исследователи обоснованно предполагают, что рамках компании понимание pull requests является стабильным.

Также используются три дополнительных параметра:

— “commit’ы” — процесс сохранения внесенных в код изменений в системе контроля версий.
— “build” / сборки кода- периодически разработчик будет собирать код, и можем наблюдать, как он собран.
— успешная сборка как мера качества кода.

В дополнение к этим выходным показателям отслеживается, как разработчики используют Copilot. Для каждого разработчика, использующего Copilot, считалось как количество предложений от Copilot, так и количество принятых разработчиком приложений.

Для эксперимента Microsoft также был доступ к данным о дате найма и грейда в компании, что позволило провести анализ по опыту и стажу работы в компании.

РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ

Производительность разработчиков

Использование ИИ помощника при написании кода приводит к увеличению:

— выполненных задач на 26,1%

— обновлений кода (коммитов) на 13,6%,

— сборок кода на 38,4%.

Есть интересное исследование: Выяснилось, что ИИ-ассистенты не повышают продуктивность программистов

Авторы исследования Uplevel, охватившего деятельность примерно 800 разработчиков программного обеспечения, утверждают, что применение инструментов с искусственным интеллектом для написания программного кода пока не выявило ни повышения производительности труда профильных специалистов, ни снижения их эмоционального выгорания.

В ходе исследования сравнивались результаты труда выборки из 800 разработчиков на протяжении двух трёхмесячных периодов. В первом периоде программисты трудились с использованием традиционных инструментов, во втором они перешли на использование ИИ-ассистента GitHub Copilot. Примечательно, что на производительности труда разработчиков подобная миграция особо не сказалась в рамках данного эксперимента.

Первоначально ожидалось, что применение GitHub Copilot снизит количество ошибок в программном коде и увеличит производительность труда, но по факту в первом случае наблюдался рост количества ошибок на 41 %, а ещё попытки применять ИИ-ассистента не привели к существенному улучшению ситуации с эмоциональным выгоранием специалистов. По данным GitHub, применение помощника Copilot способно на 55 % повысить скорость написания кода разработчиками.

Некоторые эксперты признались, что написанные с помощью ИИ участки программного кода трудно поддаются анализу и выявлению ошибок, поэтому порой проще переписать нужный фрагмент заново. На ранних этапах развития ChatGPT, например, отмечалось, что этот чат-бот более половины всех запросов, связанных с оптимизацией работы создателей программного кода, просто неверно истолковывает. Представители Gehtsoft, например, убеждены, что разработка программного обеспечения на 90 % зависит от функций человеческого мозга, в части понимания требований, разработки системы и определения ограничений. Превращение сформированных взаимных зависимостей в программный код является самой простой частью работы программиста.

С другой стороны, находятся и те, кто восхваляет возможности ИИ в разработке программного кода. Представители провайдера облачных услуг Innovative Solutions, например, отмечают почти троекратное повышение производительности после перехода на использование ИИ-ассистентов типа Claude Dev и Copilot.

Уверен что в будущем ИИ может позволить разработчикам создавать программное обеспечение с использованием естественного языка. Технологии обработки естественного языка (NLP) будут использоваться для понимания и интерпретации запросов на человеческом языке и генерации соответствующего кода. Это сделает программирование доступным для более широкого круга людей, снижая порог входа в профессию.

Автоматизация полного цикла разработки

ИИ может автоматизировать полный цикл разработки программного обеспечения, включая планирование, написание кода, тестирование, развертывание и поддержку. Это приведет к созданию автономных систем, которые будут способны самостоятельно разрабатывать и поддерживать программное обеспечение. Такие системы смогут адаптироваться к изменениям требований и условий, обеспечивая непрерывное улучшение и оптимизацию.

Искусственный интеллект уже оказывает значительное влияние на программирование, повышая эффективность, качество и скорость разработки программного обеспечения. Автоматизация рутинных задач, оптимизация кода, интеллектуальные среды разработки и интеграция машинного обучения — все это открывает новые возможности для разработчиков. В будущем ИИ продолжит трансформировать индустрию программирования, делая её более доступной, гибкой и инновационной.

Все верно. В основе успешного запуска маркетплейса лежит четкое понимание, что это не универсальная платформа, которую можно просто доработать или интегрировать в существующие решения, а отдельный технологический продукт, разработанный с нуля именно для данных целей. Безусловно, заинтересованные компании, особенно крупные и опытные в сфере ритейла, зачастую задумываются о использовании уже существующих ERP или CRM-систем, однако здесь важно помнить, что такие подходы зачастую ограничивают масштабируемость и гибкость бизнеса. Для полноценного функционирования маркетплейса необходимо рассматривать его как самостоятельную IT-экосистему, в которой каждый компонент — от интерфейса для покупателей и продавцов до систем учета и логистики — интегрируется через API и работает в рамках микросервисной архитектуры, что обеспечивает простоту обновлений и расширений. Важнейшим аспектом является правильный выбор бизнес-модели и стратегии, ведь одна схема — комиссионная или прямых продаж — определяет архитектурные решения и инструменты автоматизации, а также влияет на взаимодействие с участниками рынка. В качестве стартового набора рекомендуется реализовать основные системы, такие как управление информацией о продуктах, интерфейсы для продавцов, управление заказами и логистические модули, что позволит запустить минимальную рабочую версию платформы за короткий срок и с разумными затратами. В дальнейшем развитие платформы предполагает постепенное внедрение новых элементов, расширение функций и адаптацию под изменяющиеся потребности рынка, что возможно только при использовании модульной и расширяемой архитектуры, такой как микросервисы, дающей возможность масштабировать внутренние системы и интегрировать их друг с другом без ограничений. Именно этот подход позволяет не только быстро выйти на рынок, но и обеспечить долговременный рост и адаптацию бизнеса к новым вызовам, что сейчас особенно важно в условиях динамичного развития электронной коммерции.

Создание маркетплейса — это не просто внедрение очередной программной платформы, а целый стратегический проект, требующий тщательного планирования и профессионального подхода. В этом контексте важна не только архитектура системы, но и понимание, какой именно бизнес-модель будет наиболее эффективной: комиссионной или прямых продаж; именно от этого зависит дальнейшая структура платформы и особенности её функционирования. Не стоит пытаться реализовать все технические решения внутри одной ERP-системы или классического интернет-магазина, поскольку такие системы изначально не рассчитаны на масштабируемое и гибкое взаимодействие с множеством продавцов и покупателей одновременно. Настоящее решение — построить полноценную IT-платформу, основанную на микросервисной архитектуре, где каждый компонент отвечает за свою функциональную область, и все эти компоненты легко масштабировать и развивать. Ключевыми элементами минимального набора для запуска маркетплейса становятся системы управления продуктами, интерфейс для продавцов, инструменты автоматизированного управления заказами и логистикой, а также системы, обеспечивающие удобство и безопасность для конечных потребителей. Такой подход позволяет минимизировать временные и финансовые затраты на старт, при этом обеспечивая рост и развитие платформы в будущем, привлекая новых участников и расширяя функциональность. И, наконец, использование проверенных решений, таких как DST Маркетплейс, существенно сокращает сроки выхода на рынок, снижает риски ошибок и гарантирует стабильную работу платформы, что крайне важно в условиях высокой конкуренции в сегменте электронной коммерции.

То что DST LMS представляет собой целостную систему, где все процессы замкнуты в едином интерфейсе, это уже очень интересно. Больше не нужно использовать разные платформы для размещения курсов, проведения тестирований и отслеживания успеваемости студентов, в нашем случае сотрудников.

Из анонса особенно впечатляет возможность автоматической генерации сертификатов и дипломов – это существенно сэкономит нам время на рутинных операциях. Интеграция с платежными системами и инструменты для проведения маркетинговых акций открывают новые возможности для монетизации образовательных программ, что особенно актуально в современных условиях, интересное ПО, ждем демо.

Премиальный клиент -)) все кто на Enterprise получают обновления, дополнения немного раньше остальных.

Когда успели?

Скоро в продаже появится тематический маркетплейс с курсами по психологии. Его выпустит социальная сеть Epsylon специально для психологов. Платформа запустится на DST LMS уже к концу этого месяца.

Проще говоря Екатерина, DST LMS — это настоящий маркетплейс, в духе Ozon и WB только не с товарами и поставщиками, а с курсами и преподавателями. Сейчас на рынке представлены только агрегаторы курсов, которые притворяются маркетплейсами. Но на самом деле ни одного настоящего маркетплейса курсов пока не существует

Агрегатор курсов и маркетплейс курсов — это два разных типа платформ для онлайн-образования, каждый из которых имеет свои особенности и функционал.

Агрегатор курсов — это, по сути, каталог образовательных материалов, где собрана информация о различных курсах с разных платформ. Его основная задача — помочь пользователям найти нужный курс. Агрегатор не занимается продажей курсов напрямую, а лишь предоставляет информацию о них: описание, стоимость, отзывы, иногда демо-версии. Он работает как поисковая система или справочник, где можно сравнить предложения разных образовательных платформ.

Маркетплейс курсов — это полноценная торговая площадка, где происходит весь процесс обучения. На маркетплейсе курсы не просто рекламируются, а продаются и реализуются внутри единой экосистемы. Здесь есть все необходимые инструменты для проведения обучения: личный кабинет ученика, система тестирования, отслеживание прогресса, выдача сертификатов. Маркетплейс предоставляет продавцам курсов (преподавателям или образовательным организациям) готовые инструменты для ведения бизнеса: платежную систему, аналитику, маркетинговые инструменты, систему управления контентом.

Основные различия между ними:

— Функциональность: агрегатор только показывает курсы, а маркетплейс позволяет их покупать и проходить обучение

— Интеграция: маркетплейс имеет единую систему управления, включая оплату, обучение и отчетность, тогда как агрегатор работает как посредник между пользователем и образовательной платформой

— Контроль качества: на маркетплейсе платформа отвечает за качество курсов и может устанавливать определенные стандарты, в то время как агрегатор не контролирует содержание курсов

— Монетизация: маркетплейс может взимать комиссию с продаж, иметь собственную систему скидок и акций, тогда как агрегатор обычно зарабатывает на рекламе или партнерских программах

— Пользовательский опыт: на маркетплейсе пользователь получает все услуги в одном месте, что создает более удобный и целостный опыт обучения

Таким образом, агрегатор курсов — это скорее информационный портал, а маркетплейс — это полноценная образовательная платформа с торговыми функциями, где весь процесс от поиска до получения образования происходит в одном месте.

Объясните в чем отличие агрегатора курсов и маркетплейса курсов?

​Ну что, с точки зрения бизнеса, DST LMS выглядит крайне перспективным решением для компаний, стремящихся выйти на рынок онлайн-образования. Возможность гибкой настройки системы монетизации, включая комиссионные сборы и рекламные инструменты, создает широкие возможности для масштабирования бизнеса. Отдельно стоит отметить инновационную систему генерации контента с помощью ИИ – это действительно революционный подход, который может кардинально изменить процесс создания образовательных материалов. Особенно ценно то, что платформа позволяет не только создавать текстовые курсы, но и автоматически генерировать видеоуроки с виртуальными преподавателями. Это открывает новые горизонты для быстрого масштабирования образовательных программ и снижения затрат на производство контента, так что интересно пощупать продукт, хотелось бы увидеть демо

Ну мы ориентировались что все продукты DST так или иначе в районе до 1 млн. руб, так что нас устраивает, в любом случае дешевле.

Тут в анонсе не указана стоимость ДСТ ЛМС, возможно, она будет больше чем написать систему самостоятельно. Что касается сроков, то если речь идет о серьезном проекте, то его реализация вряд ли займет меньше года, тут да лучше готовое. Также стоит отметить, что хороших специалистов по Laravel сейчас немного.

Проблема Дмитрий в том что писать свое на Ларавел минимум год и реальная стоимость проекта составит примерно 2,5 млн.руб, знаете как то не с руки столько времени на это потратить, вот и ждали когда выйдет что-то готовое.

В чем проблема? Laravel позволяет создать мощную и качественную систему. Это один из лучших современных фреймворков.

Мы долго ждали и наконец дождались — выходит решение, которое нам так нужно. Еще месяц назад я убедила генерального директора не начинать с нуля разработку LMS-системы на Laravel, как предлагали наши разработчики. Я предложила подождать, пока не появится готовое решение.

Лучшим показателем хорошего дизайна будет ваше личное участие в проекте, как части команды, которая решила конкретную «боль» или проблему пользователя. Вы предстанете перед аудиторией, как человек — мыслящий, а не просто рисующий — красиво=). Это очень важно. Даже решение одной, небольшой конкретной проблемы — это показатель настоящего профессионализма.

Пример 1

У нас есть сайт электроники. Путем нехитрой аналитики отдел маркетинга + отдел онлайн продаж выяснил, что через сайт мало заказов или меньше, чем статистика прошлого месяца или квартала. Яндекс метрика нам показала, что больше всего реальных, живых клиентов отваливаются, например, сразу на фильтре каталога или уже в конце онлайн-сделки на этапе заполнения данных.

В первом случае дизайнер должен предложить, в первую очередь, удобный фильтр поиска товара и приятное визуальное решение этого UX. То есть не просто отрисовать «красиво», а с умом. И не забыть про мобильную версию, ведь во многих случаях «mobile first» =) И, если на этом этапе после внедрения нового дизайна при тестировании метрика улучшилась, значит вы — решили задачу и хорошо поработали).

Пример 2

Возможно, вы заметили на каком-то сайте что-то не удобное, или у вас не возникло желания сделать целевое действие, то вы можете сами себе поставить ТЗ и реализовать это, предложив несколько вариантов.

Если резюмировать, то степень мастерства заключается в нескольких основных факторах:

— продуманный UX

— удобный и приятный Ui

— конверсия, заявка или продажи на сайте-

— отзывы «старших» коллег дизайнеров или арт-директоров, которые давно в этом варятся.

— никто не отменял тестирование вашей страницы сайта у коллег по цеху, друзей или родителей с точки зрения UX. В идеале на ЦА (целевой аудитории). Все ли им удобно, видят ли они кнопку «купить» или «заказать» или она не очевидна и тд.

Спасибо большое за познавательную информация! Подскажите, пожалуйста, где лучше всего набирать себе проекты для портфолио? И как научиться определять степень своего «мастерства» (если можно его так обозвать)))? Просто иногда кажется, практикуясь, что получается более-менее (для самого начального уровня), узнаешь мнение у друзей/близких, но хотелось бы получить какой-то фидбэк от человека разбирающегося?

Заранее спасибо!