Комментарии

Kubernetes и Serverless отличаются по уровню контроля над инфраструктурой следующим образом:

Kubernetes предоставляет более высокий уровень контроля и гибкости. Он позволяет управлять всей инфраструктурой, включая серверы, хранилище данных, сеть и т. д. Это даёт разработчикам возможность более детально настраивать и управлять приложениями.

Serverless предоставляет только среду выполнения для кода и не даёт доступа к инфраструктуре. Облачный провайдер берёт на себя управление серверами и другими ресурсами, что упрощает процесс разработки и развёртывания приложений.

Чем отличается Serverless от Kubernetes по уровню контроля над инфраструктурой?

Хорошая статья, спасибо автору, сейчас подумываем масштабировать свой старенький Интернет-магазин сменив его и сделав новый маркетплейс, тем более в нашей нише вообще еще никого нет.

Лично я бы посоветовал обязательно прочитать 3 книги и несколько ресурсов, включая книги, статьи, онлайн-курсы и руководства, доступны для изучения темных данных. Крайне важно экспериментировать со многими ресурсами, чтобы увидеть, какой из них лучше всего подходит вашему стилю обучения и навыкам.

Кроме того, полезно быть в курсе последних достижений и тенденций в отрасли, следя за соответствующими блогами, форумами и экспертами отрасли.

1. Темные данные: почему то, чего вы не знаете, имеет значение

Эта книга представляет собой практическое руководство по глубокому пониманию принципов темных данных. Она включает в себя несколько реальных примеров и тематических исследований, чтобы помочь читателям понять тему.

Автор приводит различные примеры из других компаний, чтобы продемонстрировать темы, представленные в книге. Эти примеры помогают читателям из всех слоев общества лучше понять и понять книгу.

2. Dark Data: Control, Alt, Delete

Эта книга представляет собой увлекательное и поучительное руководство, в котором дается подробный обзор проблем и возможностей, которые представляют собой темные данные в современном цифровом мире.

Автор представил пошаговый подход к выявлению, сбору и анализу темных данных и их использованию для достижения конкурентного преимущества в бизнесе.

3. Темные данные и темные социальные сети

Эту книгу необходимо прочитать всем, кто хочет оставаться на шаг впереди в эпоху данных.

Кроме того, автор осветил различные вопросы, такие как управление данными, конфиденциальность и безопасность, что делает книгу бесценным источником информации для всех, кто занимается наукой о данных или управлением бизнесом.

Спасибо за ответ, а есть полезные ресурсы для изучения темных данных?

Источники тёмных данных многообразны и пронизывают всю ИТ-инфраструктуру предприятия. В 2025 году, когда интернет вещей, мобильные технологии и цифровое взаимодействие станут ещё более распространенными, объём теневой информации вырастет экспоненциально.

Основные категории источников Dark Data:

— Цифровые взаимодействия: логи веб-серверов, записи API-вызовов, данные о просмотрах страниц, прерванные транзакции, поисковые запросы на сайте
— Коммуникации: электронная почта, чаты поддержки, телефонные разговоры, сообщения в корпоративных мессенджерах
— Операционные системы: журналы событий, данные мониторинга, отчеты об ошибках
— Пользовательский опыт: записи перемещения мыши (heatmaps), сессии использования приложений, отказы от заполнения форм
— IoT и датчики: телеметрия оборудования, сенсорные данные, геопространственная информация
Особенно интересны с точки зрения бизнес-ценности такие источники тёмных данных как:

— Прерванные транзакции и брошенные корзины — содержат ценные инсайты о препятствиях к конверсии
— Данные о взаимодействии с интерфейсами — выявляют точки фрикции и возможности для улучшения пользовательского опыта
— Метаданные документов — могут указывать на неэффективные рабочие процессы или информационные утечки
— Временные данные системы — помогают выявить периоды пиковой нагрузки и оптимизировать ресурсы

Объясните мне простым языком, как выглядят темных данные, где я мог бы я мог их найти и увидеть источники и типы Dark Data в корпоративных системах?

Одним из примеров темных данных являются журналы сервера, которые регистрируют активность веб-сайта. Эти журналы часто содержат ценную информацию о поведении пользователя, например, какие страницы пользователи посещали, как долго они оставались и на что нажимали. Но без надлежащего анализа эти данные часто остаются неиспользованными.

Полезны ли темные данные?

Да — при анализе темные данные могут выявлять скрытые закономерности, повышать операционную эффективность и поддерживать стратегические решения. Их потенциал зависит от инструментов и фреймворков, используемых для анализа.

Объясните что является примером темных данных? А также полезны ли они?

Насколько я понимаю, использование темных данных сопряжено с различными затратами и рисками например:

Тратить место для хранения впустую

Даже неиспользуемые данные требуют физической или цифровой инфраструктуры хранения, такой как серверы, центры обработки данных, облачные решения и системы резервного копирования. По мере накопления темных данных они часто потребляют ценные ресурсы хранения, которые могли бы быть лучше использованы активными данными. Чтобы не отставать, организациям приходится инвестировать в большее пространство, что приводит к увеличению эксплуатационных расходов.

Юридическая ответственность

На протяжении многих лет правительства по всему миру внедряли строгие законы о конфиденциальности, которые распространяются на все данные, включая неиспользуемую информацию, хранящуюся в аналитических репозиториях. Даже если данные не используются или о них забыли, они все равно должны соответствовать этим правилам, что создает серьезные юридические (и потенциально финансовые) риски.

Операционная неэффективность

Необходимость просеивать огромные объемы нерелевантной информации затрудняет процесс поиска и анализа данных, заставляя сотрудников тратить чрезмерное количество времени на поиск релевантных данных. Эта неэффективность снижает производительность и увеличивает затраты на рабочую силу.

Риски безопасности

Наличие темных данных делает организации более уязвимыми к утечкам данных, потере данных и другим рискам кибербезопасности. Без надлежащего надзора конфиденциальная информация, скрытая в темных данных, может быть непреднамеренно раскрыта или неправильно использована, что может привести к финансовым штрафам и репутационному ущербу.

Альтернативные издержки

Компании часто упускают ценные возможности, пренебрегая неиспользуемыми данными. Хотя устранение этих данных может снизить риски и затраты, предварительный анализ имеющихся данных имеет важное значение для выявления потенциальной ценности.

Изначально мы были довольно скептично настроены по отношению к готовым решениям, полагая, что только индивидуальный подход может обеспечить все необходимые нам функции. Однако после детального изучения возможностей платформы DST наши сомнения развеялись. Особенно впечатляет гибкость системы – мы смогли настроить практически все ключевые процессы под специфику нашего бизнеса.

Техническая поддержка работает на высшем уровне: специалисты не просто решают возникающие вопросы, но и дают ценные рекомендации по оптимизации работы площадки. За три месяца работы на платформе мы увеличили количество продавцов в три раза и значительно повысили конверсию. DST Marketplace действительно оправдывает все вложенные в него средства.

В нашем случае выбор DST Marketplace стал поворотным моментом в развитии компании. Мы долго искали оптимальное решение для запуска маркетплейса и перепробовали несколько альтернативных платформ, но только DST полностью удовлетворил наши требования. Особенно хочу отметить качество технической реализации – система работает стабильно, без сбоев, даже при пиковых нагрузках во время распродаж. Интеграция с платежными системами прошла гладко, а модуль аналитики предоставляет все необходимые данные для принятия управленческих решений. Наша команда довольна простотой управления платформой, а продавцы отмечают удобство работы с личным кабинетом. За полгода работы на платформе мы вышли на запланированные показатели и продолжаем активно развиваться. DST Marketplace – это именно то решение, которое позволяет сосредоточиться на развитии бизнеса, а не на технических проблемах.

В нашем случае выбор DST Marketplace стал поворотным моментом в развитии компании. Мы долго искали оптимальное решение для запуска маркетплейса и перепробовали несколько альтернативных платформ, но только DST полностью удовлетворил наши требования. Особенно хочу отметить качество технической реализации – система работает стабильно, без сбоев, даже при пиковых нагрузках во время распродаж. Интеграция с платежными системами прошла гладко, а модуль аналитики предоставляет все необходимые данные для принятия управленческих решений. Наша команда довольна простотой управления платформой, а продавцы отмечают удобство работы с личным кабинетом. За полгода работы на платформе мы вышли на запланированные показатели и продолжаем активно развиваться. DST Marketplace – это именно то решение, которое позволяет сосредоточиться на развитии бизнеса, а не на технических проблемах.

В нашем случае выбор DST Marketplace стал поворотным моментом в развитии компании. Мы долго искали оптимальное решение для запуска маркетплейса и перепробовали несколько альтернативных платформ, но только DST полностью удовлетворил наши требования. Особенно хочу отметить качество технической реализации – система работает стабильно, без сбоев, даже при пиковых нагрузках во время распродаж. Интеграция с платежными системами прошла гладко, а модуль аналитики предоставляет все необходимые данные для принятия управленческих решений. Наша команда довольна простотой управления платформой, а продавцы отмечают удобство работы с личным кабинетом. За полгода работы на платформе мы вышли на запланированные показатели и продолжаем активно развиваться. DST Marketplace – это именно то решение, которое позволяет сосредоточиться на развитии бизнеса, а не на технических проблемах.

Решили масштабировать наш онлайн-магазин «Мир Мебели» до полноценного маркетплейса и столкнулись с необходимостью выбора технологической платформы. После долгих поисков и анализа различных решений остановили свой выбор на DST Marketplace. Первое, что поразило – это широчайшие возможности кастомизации под конкретные бизнес-задачи.

Команда разработчиков помогла нам адаптировать платформу под уникальные требования нашего проекта, включая интеграцию с существующими системами учета и CRM. Отдельно хочу отметить высокую производительность системы – даже при значительных нагрузках платформа работает стабильно и без сбоев.

За время работы с DST мы значительно увеличили объемы продаж и расширили базу продавцов. Это действительно профессиональное решение для тех, кто хочет быстро и эффективно запустить свой маркетплейс.

Хочу поделиться своим опытом внедрения DST Marketplace в нашем бизнесе. Изначально мы рассматривали различные варианты запуска маркетплейса и долго сомневались между разработкой с нуля и готовым решением. Выбор в пользу DST оказался более чем оправданным. Платформа действительно впечатляет своей функциональностью и удобством использования. Особенно хочу отметить работу службы поддержки – специалисты оперативно решают любые возникающие вопросы и всегда готовы помочь с настройкой дополнительных модулей. За несколько недель мы смогли полностью настроить платформу под наши бизнес-процессы и запустить полноценную работу маркетплейса. Сейчас наша площадка активно развивается, и мы ни разу не пожалели о принятом решении.

Можно пойти по методу «в лоб» и разработать маркетплейс с чистого листа. Для этого придется нанять команду опытных разработчиков: менеджера, бизнес-аналитика, несколько программистов и тестировщиков, заплатить им значительную сумму за разработку, интеграцию и внедрение. Данный метод является очень затратным как с финансовой точки зрения, так и с временной — придется ждать несколько месяцев пока платформа заработает.

Выгоднее будет воспользоваться готовыми коробочными решениями, мы взяли ДСТ Маркетплейс лицензию «Премиум» пока всем довольны

Масса интересных примечаний и в целом опыт совпадает, хотя у меня его значительно меньше:

AI более эффективен в опытных руках.
Без четкого понимания архитектуры продукта использовать AI неэффективно.
Если тупо соглашаться со всем предложенным, то получается ком необъяснимого кода.

AI удобно использовать для изучения новых областей, но с четким пониманием требуемого функционала.
Например, потребовалось написать интегрированный API Gateway с Service Discovery, и несмотря на то, что тема для меня была новая, AI помог набросать каркас необходимого функционала и затем допилить фишки в едином стиле.

AI-инструменты значительно разгружают рутинное кодирование и дают свободу для экспериментов, на которые раньше просто не хватало времени.
Никак не мог допилить один проект, жаль времени, но когда подключил Cursor, то разбив проект на модули, работа пошла шустрее при передаче рутинных задач AI.

Как инструменты GenAI меняют нашу работу в качестве разработчиков ПО

На протяжении всей истории технологий новые инновации обещали бизнесу возможность сжать или обойти «техническую» часть и перейти прямо к работающему программному обеспечению из высокоуровневых запросов. Это было стремлением:

1960-е годы: высокоуровневый язык программирования COBOL. COBOL расшифровывается как «common, business-oriented language» (общий, бизнес-ориентированный язык). Заявленной целью этого языка было позволить бизнес-людям без опыта программирования использовать его.

1990-е годы: Visual Basic. Язык программирования, предназначенный для очень низкой кривой обучения, плюс визуальная среда, где формы можно создавать с помощью перетаскивания.

Конец 2010-х: Движение no-code. С помощью шаблонов и визуального редактирования, no-code решения, такие как Bubble, предлагают способ создания программных приложений.

Неудивительно, что несколько стартапов по кодированию на базе GenAI стремятся к той же цели: позволить любому создавать программное обеспечение, используя английский язык. В прошлом мы видели успех для более простых случаев использования. Например, сейчас для создания веб-сайта не требуется знание программирования: нетехнические люди могут использовать визуальные редакторы и сервисы, такие как Wix.com, Webflow, Ghost или WordPress.

Чем выше уровень абстракции, тем сложнее указать, как именно должно работать программное обеспечение. No-code решения уже столкнулись с этим ограничением. Как пишет консультативный CTO Алекс Хадсон в своей статье The no-code delusion:

«Разработка этих синтаксисов обычно сталкивалась с проблемой выразительности: как только они становились достаточно простыми для быстрого освоения, они уже не были достаточно выразительными для использования во многих сценариях. И наоборот: некоторые языки имеют возможность определять в них специализированный язык, называемый предметно-ориентированными языками (DSL).

Немногие из этих языков когда-либо были по-настоящему успешными среди сообщества разработчиков в целом, в первую очередь потому, что они снова делают вещи чрезвычайно сложными».

Для более сложного программного обеспечения трудно представить, что не потребуется участие разработчиков ПО в планировании, создании и поддержке программного обеспечения. И чем больше GenAI снижает барьер для нетехнических людей в создании программного обеспечения, тем больше будет программного обеспечения, требующего поддержки.
AI-агенты: большое обещание, но также и большая «неизвестность» для 2025 года

Два года после запуска LLM многие из нас хорошо освоились в их использовании для улучшения нашей работы по кодированию и разработке ПО. Они отлично подходят для прототипирования, перехода на менее знакомые языки и задач, где вы можете проверить их корректность и выявить галлюцинации или неверный вывод.

С другой стороны, AI-агенты находятся в зачаточном состоянии. Большинство из нас их широко не использовало. Существует только один общедоступный агент, Devin, по цене $500/месяц, и первые отзывы неоднозначны.

Много венчурного финансирования будет направлено в эту область. Мы увидим запуск большего количества инструментов AI-кодирования с агентами, и цена, безусловно, снизится в результате. GitHub Copilot, вероятно, сделает что-то вроде Copilot Workspace (агентный подход) общедоступным в 2025 году. И мы, вероятно, увидим продукты от стартапов, такие как то, что основал бывший технический директор Stripe, Дэвид Синглтон (/dev/agents.)

AI-агенты обменивают задержку и стоимость (гораздо более длительное время, затрачиваемое на вычисление результатов и многократный запуск запросов, перефразированное этими стартапами как «мышление») на точность (лучшие результаты на основе запросов). Есть хорошие вопросы о том, насколько повысится точность с этим компромиссом задержки+стоимости, и какие инженерные случаи использования увидят значительное повышение производительности в результате.
Спрос на опытных разработчиков программного обеспечения может возрасти

Опытные разработчики программного обеспечения могут быть более востребованы в будущем, чем сейчас. Общая тема, которую мы наблюдаем с AI-инструментами, заключается в том, что инженеры уровня старше среднего могут использовать эти инструменты более эффективно, так как они могут лучше «прицеливаться» с ними. Когда вы знаете, как выглядит «отличный результат», вы можете лучше формулировать запросы, останавливать генерацию кода, когда она допускает ошибки, и вы знаете, когда прекратить запросы и перейти непосредственно к исходному коду для исправления самого кода.

Мы увидим гораздо больше кода, созданного с помощью этих AI-инструментов, и гораздо больше людей и предприятий начнут создавать свои собственные решения. Когда эти решения достигнут определенного уровня сложности, можно с уверенностью предположить, что многим из них потребуется привлечь профессионалов для укрощения сложности: сложности, с которой могут справиться только опытные инженеры. Существующие технологические компании почти наверняка будут производить больше кода с помощью AI-инструментов: и они будут полагаться на опытных инженеров для работы с возрастающей сложностью, которая неизбежно следует за этим.

Как разработчик ПО, освоение AI-ассистированной разработки сделает вас более продуктивным, а также более ценным. Это захватывающее время для работы в этой области: мы живем в эпоху ускоренных инноваций в инструментах. Нужно время, чтобы понять, как «укротить» текущие инструменты таким образом, чтобы они сделали вас максимально продуктивными: так что экспериментируйте с ними!

Все верно Роман. Искусственный интеллект (ИИ) переосмысливает будущее разработки программного обеспечения (ПО) через изменение подхода к созданию программ. ИИ трансформирует процессы разработки, освобождает разработчиков от рутинных задач и предоставляет новые возможности для улучшения существующих решений.