Комментарии

На протяжении всей моей карьеры я работал со многими компаниями, которым требовался инструмент оркестрации в течение ограниченного времени в день. Например, одному из моих первых клиентов-фрилансеров требовалось запускать экземпляр Airflow всего 2–3 часа в день, в результате чего все остальное время экземпляр простаивал и тратил деньги.

Поскольку это была небольшая компания, клиент спросил, могу ли я вмешаться. Инфраструктура размещалась в Google Cloud, с которым я был знаком.

После быстрого поиска в Интернете я нашел официальное руководство, которое точно соответствовало моим потребностям. Я подсчитал, что задача займет около 20 часов. Вот схема конструкции.

Здесь мне придется остановиться, чтобы объяснить, почему часов было именно 20:

— Мне пришлось перенести код из App Engine (не знаю, почему Airflow изначально был развернут в App Engine).
— В настоящее время для таких случаев я использую официальный Airflow Docker Compose, но раньше я устанавливал необработанный Airflow в режиме LocalExecutor, и база данных работала в том же экземпляре (я знаю, что это плохо, но вы не можете винить меня, если вы никогда не занимался шиткодом).
— Сами даги пришлось слегка рефакторить, чтобы приспособить их к новому графику, и, как и следовало ожидать, там было много некачественного кода, который я тщательно просмотрел.

Короче говоря, я выжал за 18 часов, и результат был следующий:
Основным недостатком решения было то, что выполнение конвейера могло занять гораздо больше трех часов, о чем я тогда не знал. Были случаи, когда конвейеры должны были занимать 5 часов или даже 12 часов, так что же нам делать?

Довольно просто: если мы внимательно посмотрим на дизайн, то увидим, что в Cloud Scheduler есть задание, которое отправляет сообщение в тему PubSub, что запускает функцию Cloud, которая останавливает экземпляр Airflow. Так почему мы не можем просто отключить его и отправить сообщение в тему через Airflow? Это просто, всего несколько строк кода с использованием PubSubPublishMessageOperator

check_that_still_latest >> PubSubPublishMessageOperator(

   task_id="send_pub_sub_message",

   project_id=conf.GCP_PROJECT_ID,

   topic=conf.TOPIC_TO_SHUTDOWN_AIRFLOW_INSTANCE,

   messages=[conf.AIRFLOW_SHUTDOWN_MESSAGE],

   gcp_conn_id=conf.GCP_CONN_ID,

   trigger_rule=TriggerRule.NONE_SKIPPED,

   execution_timeout=timedelta(minutes=5)

)

Интересно что на дворе уже 2024 год а некоторые тенденции так и остались ещё в тренде и по факту так ещё и не реализованы

Спасибо за интересный обзор тенденции

Спасибо, полезная статья, некоторые моменты будем использовать так как у нас наши пользователи больше пользуются все таки сайтом

Ну вот чтоб таких проблем не было, как уже тут как-то писал: что много раз пытались делать и гибридные и нативные приложения для своей компании, но остановили свой выбор на самой не дорогой и удобной кроссплатформенном веб приложении, все просто и удобно поддерживать

Много раз пытались делать и гибридные и нативные приложения, но остановили свой выбор на самой не дорогой и удобной кроссплатформенном веб приложении, все просто и удобно поддерживать

В первую очередь нужна хорошая и правильная CMS, это позволит а дальнейшем избежать множество проблем, из приведенных в статье хорошие это Drupal и DST Platform, остольные не серьёзные CMS, за исключением конечно Битрикса который просто не переношу, ну да тут на любителя

Скажу честно, мне не нравится Битрикс, долго работал на нем и кроме постоянных черезмерных сложностей в работе с ним ничего положительного не заметил. Битрикс даже саму простую задачу делает сложной

В разработке своего сайта который будет отвечать всем требованиям и реально высокому качеству а также даст результат все приходят по разному. Я считаю что созданием сайта должны заниматься профессионалы, иначе это будет пустая игрушка

Соц сети для одного, сайт для другого, кто это не понимает тот ещё в начале пути.

Соц сети нужны в основном для маркетинга и то неполноценного, так как тот же директ для группы в соц сети невозможен, а платить за таргет который возможен это проще сразу лезть в петлю

Забавно что многие думают что корпоративный сайт разработать намного легче и дешевле чем например тот же Интернет-магазин, скажу из опыта — это далеко не так, качественный корпоративный сайт это не просто статичный ресурс, а полноценный живой инструмент который помогает Вашему бизнесу в различных вещах, от привлечения клиентов до управления заявками и набором новых сотрудников.

Кстати и ещё один момент, когда стали делать корпоративный сайт в ДСТ оказалось что он сложней не только с функциональной точки но и наример те же информационные страницы нужно было все персонализировать, отрисовать и написать множество контента

Забавно что многие думают что корпоративный сайт разработать намного легче и дешевле чем например тот же Интернет-магазин, скажу из опыта — это далеко не так, качественный корпоративный сайт это не просто статичный ресурс, а полноценный живой инструмент который помогает Вашему бизнесу в различных вещах, от привлечения клиентов до управления заявками и набором новых сотрудников.

Кстати и ещё один момент, когда стали делать корпоративный сайт в ДСТ оказалось что он сложней не только с функциональной точки но и наример те же информационные страницы нужно было все персонализировать, отрисовать и написать множество контента

Анализ стоимости привлечения лида это безусловно важно, но если изначально маржинальность у Вас менее 60% то вам уже ничего не поможет. Раньше, году этак в 2018 выживать можно было и на 30% но не сейчас

Думаю самое главное это доверить дело профессиональной компании, в сегодняшних условиях, делать качественный маркетинг за 30К, у фрилансера на коленке не получится, эти времена уже ушли, но не буду скрывать году в 2013 было золотое время SEO, или того же Директа, когдатза копеечку можно было влететь в ТОП

Насчет аудита, его можно и не делать если с самого начала доверить дело профессиональной компании, в сегодняшних условиях, делать качественный маркетинг за 30К, у фрилансера на коленке не получится, эти времена уже ушли, но не буду скрывать году в 2013 было золотое время SEO, или того же Директа, когдатза копеечку можно было влететь в ТОП

Думаю самое главное это доверить дело профессиональной компании, в сегодняшних условиях, делать качественный маркетинг за 30К, у фрилансера на коленке не получится, эти времена уже ушли, но не буду скрывать году в 2013 было золотое время SEO, или того же Директа, когдатза копеечку можно было влететь в ТОП

Проблемы SaaS модели только в одном, это сложности реализации непосредственно самого продукта, все остальное считаю делом техники, а точнее качественно продуманной бизнес модели

Спасибо, очень полезная статья, некоторые пункты возьмем себе на вооружение

Цифровизация бизнеса это уже не прихоть, а вынужденная мера выживания на современном рынке в любой сфере, к сожалению некоторые сферы, особенно строительная и сельхоз у нас далеки от этого и хоть там крутятся миллионы и миллионы, тратить на технологии они не торопиться, считаю это ключевой ошибкой для бизнеса в этих сферах

Очень полезная статья, к сожалению очень многие не понимают на сколько важно и трудно правильно составить качественную и юридически грамотную документацию для своего сайта, тем более для маркетплейса. Мы обошли множество юридических контор но у них нет тонкого понимания e-commerce сферы, в конечном итоге всю документацию сделали в ДСТ Глобал это оказался их профиль