Комментарии

Я заметил что в последнее время в мире набирает обороты тренд на создание облачных сред на базе энергоэффективных технологий, что связано как с ростом стоимости энергоресурсов, так и с ростом потребления облачных мощностей. Энергоэффективные технологии применяются на всех уровнях – от инженерной инфраструктуры дата-центров до серверного оборудования, на котором разворачиваются облачные среды.

Кстати отметил что большинство мировых трендов будут также актуальны для российского рынка. Активную миграцию в облака стимулирует растущий объем корпоративной информации и растущий дефицит специалистов, которые нужны для поддержки физической инфраструктуры. Ежегодно рост рынка облачных сервисов растет на 35-40%. При этом российские разработчики также работают над развитием новых технологий, например, по данным «Сколково» в 2023 году было одобрено финансирование ИИ-проектов более чем на 1,6 млрд рублей.

Примерно половине пользователей датабрикс нужны. тренировка моделей не сильно от расчетов ядерного синтеза отличается. или видосик разложить на кадры и прогнать через опознавание лиц через opencv.

Кому нужны расчеты ядерного синтеза, это бред, а sql нужен всем

Snowflake же просто sql engine, может и быстрый, не трогал, но запустить жава код как у бриксов с расчетами хоть ядерного синтеза не выйдет.

Становится популярным еще больше облачных тенденций, таких как блокчейн, облачные игры, квантовые вычисления и т.д. С учетом предстоящих тенденций и новых достижений в области облачных вычислений, высокая масштабируемость может быть достигнута уже сейчас с минимальными затратами времени благодаря формату оплаты по мере поступления.

Это стимулирует компании по всему миру использовать облачные сервисы и максимально использовать эти технологии для масштабирования своего бизнеса. Сервисы облачных вычислений обеспечивают экономическую эффективность благодаря таким высоким функциям, как безопасность данных, восстановление и резервное копирование данных, бессерверная архитектура, а также современные технологии, такие как AI, IoT, Kubernetes и Docker.

Что подают в России

Большинство мировых трендов будут также актуальны на нашем рынке. Так, вероятно, в ближайшие годы российские компании продолжат активно осваивать виртуальную инфраструктуру. Прогноз подтверждается текущей статистикой.

К кон­цу 2023-го ры­нок об­лач­ных ре­шений увеличился на 40% — сообщают эксперты Comnews. В 2022 году прирост был таким же (42%). Активную миграцию в облака стимулируют импортозамещение, бум на разработку собственных ИИ-решений и растущий объем корпоративной информации. Особую роль играет растущий дефицит специалистов, которые нужны для поддержки материальной инфраструктуры.

Второй общий тренд, который только недавно появился на российском поле, — усиленная кибербезопасность. По данным F.A.C.C.T. (Group-IB), за три квартала 2023 года на 140% выросло число атак по политическим мотивам. За тот же период на 44% увеличилась интенсивность атак на веб-ресурсы организаций — отмечают в Positive Technologies.

Теперь российский бизнес поспешно защищается от хактивистов, в том числе от утечек данных и DDoS. Атаки все чаще выводят из строя ключевую инфраструктуру компаний, оставляя их с огромными финансовыми и репутационными потерями. Именно поэтому компании стремятся обеспечить максимальную безопасность виртуальной инфраструктуры, переходят в защищенные облака, используют услуги и продукты ИБ-ориентированных провайдеров. А еще — активно интересуются возможностями хранения бэкапов и быстрого восстановления инфраструктуры в облаке (Disaster Recovery).

Однако есть в России особый тренд, который явно отличает наш рынок от мирового. В 2023 году страну охватил бум на строительство дата-центров. По данным Tadviser, ажиотаж объясняется тем, что большинство крупных проектов были заморожены из-за геополитических событий. И именно поэтому многие ЦОД запускаются только сейчас.

В общем, мировые и российские аналитики не ждут от 2024 года чего-то особенного. Их прогнозы во многом похожи на заявления прошлых лет. Но может быть, это даже неплохо. Смотреть в будущее порой бывает приятнее, когда видишь горизонты четко и не ждешь сюрпризов.

Инвестиции в облака растут как на дрожжах. В Gartner отмечают, что объем рынка за последний год уже увеличился на 20,4%. Речь идет о 678,6 млрд долларов. Именно столько, по мнению аналитиков, конечные потребители потратят на облачные сервисы в 2024 году.

Есть и более смелые ожидания от мирового рынка. Аналитики IDC, например, недавно заявляли, что к 2024 году мировые расходы на облака могут превысить 1 трлн долларов.

Все аналитики сходятся в одном — причины роста остаются теми же, что и раньше. Бизнес по-прежнему стремится сокращать издержки на инфраструктуру, использовать передовые технологии и минимизировать зависимость процессов от офиса. Все это компании получают благодаря облакам.

На вкус и цвет облака разные

Еще один тренд от Gartner — развитие отраслевых платформ. Универсальные облака все реже соответствуют требованиям разных сфер бизнеса. Именно поэтому возникает спрос на отраслевые виртуальные решения и услуги, в том числе предоставляемые по модели IaaS.

Аналитики считают, что к 2027 году отраслевые платформы будут закрывать больше 50% ключевых задач бизнеса. Вероятно, уже скоро появятся облака, которые будут использовать исключительно в закупках, обработке платежей, доставке товаров и других процессах.

Из горячего — Web3

Как считают аналитики McKinsey, многое на рынке облачных технологий изменит интернет следующего поколения (что бы это ни значило). Эксперты называют его Web3 и связывают перемены с блокчейном.

К преимуществам блокчейна часто относят конфиденциальность и децентрализованность. Теоретически это может означать, что компании будут стремиться работать сразу с несколькими поставщиками услуг, а также размещать инфраструктуру в разных виртуальных серверах и дата-центрах. Такой подход поможет бизнесу усилить информационную безопасность и добиться безотказной работы ключевых веб-ресурсов.

Главное — не обжечься

Интернет следующего поколения, основанный на принципах блокчейна, предполагает максимально безопасную работу в Сети. Причем в гарантиях нуждаются как компании, так и частные лица — сотрудники, покупатели и клиенты.

Многие компании уже используют инфраструктуру с архитектурой нулевого доверия (zero-trust). Более 80% уже применяют этот подход в облаках. Во всяком случае, такие данные появились в недавнем исследовании MIT.

Тренд на усиленную защиту данных в виртуальной среде появился по объективным причинам. Любые кибератаки, а особенно утечки персональной и иной конфиденциальной информации, теперь чаще приводят к тяжелым последствиям для бизнеса.

Горько, но факт: больше 50% успешных атак на веб-ресурсы совершаются из-за слабых логинов и паролей. К таким выводам пришли аналитики Google. В том числе из-за слабых учетных данных пользователей страдают компании.

Есть вероятность, что на фоне такой статистики уже в 2024 году усилится спрос на сервисы многофакторной аутентификации и облака со встроенными сервисами защиты, а также на дополнительные услуги и продукты от ИБ-ориентированных облачных провайдеров.
Вишенка на теме с ИИ

Искусственный интеллект остается главным драйвером развития многих сфер бизнеса. Компании создают новые продукты с ИИ, все чаще используя для этого виртуальную инфраструктуру с GPU.

Сегодня о влиянии искусственного интеллекта не говорит только ленивый. Вот и эксперты по облакам отмечают особое развитие генеративного ИИ (GenAI), которое должно определить тренды облаков на ближайшие годы.

Миру уже хорошо известны ChatGPT, DELLE-2 и другие продукты с GenAI под капотом. Масштабы их использования в корпоративном сегменте будут стремительно расти, считают во многих аналитических агентствах.

По мнению Gartner, к 2026 году применять или развертывать модели GenAI в облаке будут 80% компаний по всему миру. И главная причина такого спроса — демократизация генеративного ИИ, к которой приводит сочетание облачных технологий и открытого кода.

Так в итоге и не понятно, зачем вам даталейк, если подшел в итоге вариант с реляционной ДБ

У нас несколько иной опыт работы со Snowflake. Нужен был data lake, а самописное решение на Postgress/RDS уже явно не тянуло.

Ребята из Snowflake аккуратно и правильно собрали все требования и выкатили кастомизированную презентацию, которая покрывала 97% проблем. Не было никаких продаванов и левых менеджеров. Было 2 программиста-ставших-сейлсами, которые очень грамотно и четко отвечали на все проблемы либо сами сразу, либо посовещавшись с командой разработки.

Прототип запилили тоже они, причем всего за пару недель.

В итоге осталось очень приятное впечатление. Единственный неприятный момент — негибкая система кредитов по принципу «use it or loose it», которая держит на коротком поводке.

Отчасти, поэтому и ушли в итоге на BigQuery, но это уже совсем другая история…

Databricks — это в первую очередь Spark и сопутсвующая экосистема, плюс сейчас инструменты для всяких ML/AI/Data Science. Данные они для вас тоже могут хранить, но это необязательно — мы, например, этой функциональностью не пользуемся. Никакую БД они не предлагают — lakehouse это другое, но SQL интерфейс у этого всего есть.

Как я понимаю Databricks, как и Snowflake, предлагает быструю, размещаемую на хостинге поставщика базу данных с практически бесконечными возможностями масштабирования.

MVC — это шаблон программирования, который позволяет разделить логику приложения на три части:

Model (модель) — получает данные от контроллера, выполняет необходимые операции и передаёт их виду.

View (вид или представление) — получает данные от модели и выводит их для пользователя.

Controller (контроллер) — обрабатывает действия пользователя, проверяет полученные данные и передаёт их модели.

Этот паттерн разработки нужен для того, чтобы разделить логические части приложения и создавать их отдельно друг от друга. То есть писать независимые блоки кода, которые можно как угодно менять, не затрагивая другие.

Спасибо познавательно, было бы интересно посмотреть и познакомиться поближе с панелью управления, клиентская часть выглядит и работет замечательно

Спасибо познавательно, было бы интересно посмотреть и познакомиться поближе с панелью управления, клиентская часть выглядит и работет замечательно

Наверно три основные библиотеки, которые использую вместе с Django, это Celery для асинхронных тасков, Django Rest Framework для REST API и Python Social Auth для интеграции с соцсетями.

Спасибо познавательно.

Долго искал решение наподобие Django, на Nodejs, но так и не нашел, пробовал разные поделки типа keystone, feather JS и т.д, потом увлёкся Python и сейчас осваиваю Django, в целом нравится, пока делаю для себя блог, в дальнейшем есть планы на интернет магазин, да знаю что все уже давно есть на PHP, но PHP не хочется учить. Было бы неплохо увидеть статью, про то что используют разработчики при разработке различных проектов на Django, какие библиотеки есть для него и т.д.

вот тут то я и вижу основную проблему. очевидность это антоним TDD, так как если вы кейс тестами покрыли — то он для вас очевиден и предсказуем.

а те проблемы, которые я имел ввиду, могут возникнуть уже в проде, когда какой-то рэйс кондишн или флаки поведение при взаимодействии компонентов или неожиданный мемори лик, который будет влиять на перформанс ранее стабильно работающего функционала нивелирует(или вероятнее сделает хуже) текущий функционал.

я не хочу, чтобы вы меня поняли неправильно, вы по книжке описали теорию того, как следует проводить рефакторинг функционала, это полезно и кому-то определенно пригодится, но в то же время я считаю, что чаще всего код рефакторить очень опасно, особенно ключевого функционала, и намного полезнее для бизнеса будет запечатать такой код в каком-то модуле и рефакторить его только в случае самой крайней необходимости.

Рефакторинг через TDD помогает обезопасить себя от неочевидных ошибок, здесь также очень сильно зависит от того, насколько правильно разработчик понимает текущую бизнес-логику. Если тесты хорошо провалидированы, то промахов не возникает. Отмечу, что регрессионное тестирование всё равно проводится после написания тестов.

Касательно целесообразности, то конечно, проводить рефакторинг ради рефакторинга — сомнительная идея. Если код работает и он потенциально не расширяется, а самое важное, что это не является часто изменяемой функцией приложения и не приносит сильных неудобств, то можно оставить такой код до лучших времен.

На словах оно всегда красиво, а на деле никакое tdd не спасет от рандомных или совсем неочевидных регрессий.

да и целесообразность чаще всего очень туманна. Менять не сильно качественный код, прошедший кучу багфиксов и испытаний времени, на новый классный, стильный и молодежный может быть очень опрометчиво.

Все просто: рефакторинг кода является необходимой частью разработки программного обеспечения, а также процессом, который следует не только не бояться, но и приветствовать. Хотя на первый взгляд рефакторинг может показаться сложным и довольно затратным по времени, но именно он является ключевым инструментом для поддержания качества кода и обеспечения его эффективности и гибкости в долгосрочной перспективе.

Важно понимать, что рефакторинг это еще и непрерывный процесс, который должен быть внедрен в процесс разработки. Регулярное обновление и улучшение кода помогает снизить технический долг, упростить сопровождение кода и повысить эффективность работы команды.

И главное — не бойтесь рефакторинга, ведь он помогает создавать качественные и гибкие программные решения.