Создание комплексной экосистемы данных для предприятий, на базе искусственного интеллекта

В этой статье разработчиками компании DST Global подчеркивается важность создания комплексной экосистемы данных для предприятий, охватывающей ключевые принципы, критические компоненты и факторы, способствующие успеху.

Поскольку предприятия стремятся быстро получать результаты надежным и устойчивым образом, значение лежащих в их основе данных становится первостепенным. Основная проблема в управлении этими данными — это разнообразный набор возможностей, необходимых в архитектуре данных. Важно учитывать не только время, необходимое для интеграции различных возможностей интеграции и управления данными для обеспечения бесперебойной работы, но и то, как эти процессы различаются в разных сегментах организации.

Более того, с появлением новых инноваций и достижений в области технологий эти возможности должны постоянно обновляться и реорганизоваться. На этом фоне становится критически важным создать платформу данных — или, точнее, экосистему данных, — которую можно будет использовать в масштабах всего предприятия, предлагая дополнительные, гибкие и масштабируемые возможности.

Преимущества экосистемы данных разнообразны: они обеспечивают повышенную гибкость и доверие при минимизации рисков. Более того, значение экосистемы данных распространяется на грамотность в отношении данных и развитие навыков работы с данными — она представляет собой синергетическую сеть людей, процессов и технологий, предназначенных для сбора, хранения, обмена и использования данных. Предприятиям крайне важно поощрять свои команды изучать, понимать и использовать экосистему данных.

Почему искусственному интеллекту нужна надежная экосистема данных?

Поскольку организации внедряют инновации с помощью искусственного интеллекта (ИИ) , важно обеспечить надежную основу данных, обеспечивающую доверие, масштабируемость и сотрудничество. Как показано на рисунке 1, экосистема данных гарантирует, что сообщества, внедряющие инновации с помощью искусственного интеллекта (традиционного и/или генеративного), смогут использовать ключевые компоненты надежной экосистемы данных с учетом требований будущего. Экосистема предоставляет все компоненты, необходимые для масштабирования вариантов использования, связанных с искусственным интеллектом, с продуктами данных, обеспечивающими средство для сбора и использования данных надежным и наблюдаемым образом.

Это включает в себя:

- Инфраструктура данных

- Вычисления и производительность

- Управление данными для получения информации о данных и их качестве

- Управление данными

- Безопасность и связанные с ней основные данные и метаданные

Каковы критически важные компоненты экосистемы данных?

Инфраструктура данных

Инфраструктура данных служит фундаментом, на котором строятся все остальные возможности, как по отдельности, так и в совокупности. Предприятия все чаще применяют гибридный подход, интегрируя локальные системы с различными облачными сервисами для выполнения различных функций. Одновременно крайне важно учитывать такие ключевые элементы, как безопасность и управление политиками в этой инфраструктуре, в частности, чтобы приспособиться к регулируемым отраслям и соответствовать требованиям и правилам резидентности данных, таким как GDPR и CCPA. Кроме того, не менее важна способность эффективно масштабировать приложения, облегчая их внедрение и расширение в рамках этой инфраструктуры данных.

Хранение данных и вычисления

Сегодня полагаться исключительно на одно озеро или хранилище данных уже недостаточно, поскольку инфраструктуры данных продолжают развиваться. Различные ресурсы хранения и вычислительные ресурсы должны использоваться в зависимости от конкретных потребностей, таких как вариант использования, скорость обработки данных и применяемые аналитические шаблоны. Между тем, появляются универсальные платформы и форматы, такие как Apache Iceberg и Delta, для стандартизации решений хранения, наряду с растущим использованием распространенных форматов сжатия, таких как Parquet и Avro. Они должны быть совместимыми с гибридными инфраструктурами данных, чтобы при переходе предприятий к другому поставщику облачных услуг изменение способа хранения и вычислений данных могло произойти без значительных усилий.

Комплексное управление данными

Целостная, но гибкая экосистема управления данными должна иметь возможность работать в гибридной мультиоблачной инфраструктуре , используя возможности различных хранилищ данных и вычислительных ресурсов, независимо от используемых приложений или облаков. Консоль управления данными должна быть спроектирована для централизованного управления, обеспечивая при этом децентрализованное выполнение во всей гибридной мультиоблачной инфраструктуре. Например, если предприятие использует Snowflake для хранения и вычислений, функции управления данными, такие как качество данных, должны быть преобразованы в собственные процедуры Snowflake. Аналогичным образом, если предприятие выбирает Databricks, оно должно адаптировать свои процессы для использования собственных возможностей Spark Databricks, позволяя им эффективно функционировать в экосистеме данных.

Управление и продукты для обработки данных

Важно расширить возможности предприятия, где компоненты управления данными могут поддерживаться надежным уровнем управления данными и уровнем совместного использования данных на основе продуктов данных. Этот подход требует поддержки прочной основы метаданных, чтобы связать концепции бизнеса и предприятия со сложностью базовой технологии. Это дает возможность нетехническим пользователям данных работать с данными. Они могут сделать это, не до конца понимая детали базовой экосистемы хранения, вычислений и инфраструктуры.

Масштабирование возможностей управления данными требует сильного уровня автоматизации, включающего сотрудничество и рекомендации. Это гарантирует правильное использование вашей экосистемы данных и позволяет автоматизировать ручные задачи. По сути, уровень управления данными и продуктов данных должен быть тесно интегрирован с остальным уровнем управления данными.

Аналитика и операционные процессы

Этот уровень предназначен для поддержки аналитики и операционных процессов, включая искусственный интеллект и машинное обучение, отчеты самообслуживания и приложения, связанные с операциями. Крайне важно, чтобы возможности управления данными и управления данными взаимодействовали для предоставления надежных продуктов данных как для аналитических, так и для операционных систем. Аналитика использует этот усовершенствованный интеллект для взаимодействия с базовым хранилищем данных, вычислительными ресурсами и уровнями инфраструктуры данных для доступа к наиболее важным наборам данных.

Драйверы стоимости для предприятия

Сложная стоимость

Если экосистема данных хорошо спроектирована и построена, она уже будет иметь значительную ценность по мере возникновения новых вариантов использования. Эта ценность проявляется в способности эффективно идентифицировать существующие продукты данных, связываться с соответствующими менеджерами данных, устанавливать доверие к данным, а также легко готовить и комбинировать данные для удовлетворения конкретных требований каждого варианта использования.

Чтобы еще больше прояснить ценность, хорошо продуманная экосистема данных позволяет следующее:

Снижение риска и повышение ответственности

Экосистема данных может предоставлять набор интегрированных услуг и возможностей, что обеспечивает простую прозрачность и связывает вместе различные аспекты деятельности предприятия. Сосредоточение внимания на сотрудничестве позволяет бизнес-подразделениям вносить свой вклад, поскольку они видят извлекаемую ценность для своего бизнес-подразделения и предприятия в целом.

Повышенная гибкость

Вся структура экосистемы данных основана на модульности и повторном использовании. Это позволяет предприятию выявлять, использовать и автоматизировать, обеспечивая повышенную гибкость. Например, автоматизация классификации данных для соединения различных классифицированных элементов с метаданными, объектами и атрибутами хранения данных упрощает/консолидирует качество и защиту данных.

Снижение затрат и получение выгоды

Затраты можно снизить несколькими способами: во-первых, за счет консолидации технологических возможностей и сокращения точечных решений, затрат на интеграцию различных решений и затрат на управление и поддержание всех решений и навыков. Вторым шагом будет использование интеллектуальных возможностей, таких как FinOps, где, например, уровень управления данными может — в зависимости от рабочих нагрузок — работать с наиболее экономичным вариантом хранения данных и вычислений в зависимости от сценариев использования.

Краткое содержание

Экосистема данных обеспечивает значительную ценность и адаптируемость для предприятий и руководителей благодаря дальновидной стратегии, основанной на искусственном интеллекте. Такая экосистема должна быть динамичной и постоянно адаптироваться по мере появления новых требований бизнеса и технологических достижений. Разработчики DST Global считают что для команд крайне важно охватить всю экосистему данных, а не применять одну возможность для каждого варианта использования. Для достижения полного спектра преимуществ также обычно требуется культурный сдвиг в рабочих процессах предприятия. Эта трансформация позволяет командам офисов обработки данных эффективно управлять, поддерживать, масштабировать и количественно оценивать ценность экосистемы данных во всей организации.