Внедрение инноваций в области искусственного интеллекта в платформах для разработчиков

Data-First IDP интегрирует управление, отслеживаемость и качество в рабочие процессы, трансформируя способы управления данными и создавая масштабируемые экосистемы, готовые к использованию искусственного интеллекта.

Традиционные внутренние платформы разработчиков (IDP) изменили способы управления организациями кодом и инфраструктурой. За счет стандартизации рабочих процессов с помощью таких инструментов, как конвейеры CI/CD и «Инфраструктура как код» (IaC), эти платформы обеспечили быстрое развертывание, уменьшили количество ошибок вручную и улучшили качество работы разработчиков. Однако их внимание в первую очередь было сосредоточено на операционной эффективности, часто рассматривая данные второстепенно.

Это упущение становится критическим в сегодняшней среде, управляемой искусственным интеллектом. Хотя традиционные ВПЛ преуспевают в управлении инфраструктурой, им не хватает основополагающих элементов, необходимых для масштабируемых и совместимых инноваций в области искусственного интеллекта:

- Управление. Обеспечение соответствия данных политикам и нормативным стандартам часто выполняется вручную или разрозненно.

- Прослеживаемость: отслеживание происхождения данных и преобразований в рабочих процессах непоследовательно, а то и вовсе отсутствует.

- Качество. Проверка данных на предмет надежности и готовности ИИ требует автоматизации и стандартизации.

Чтобы решить эти проблемы, данные должны быть повышены до уровня первоклассных граждан внутри ВПЛ. IDP, ориентированный на данные, выходит за рамки IaC, непосредственно внедряя управление, отслеживаемость, качество и политику как код (PaC) в ядро платформы. Этот подход превращает традиционную автоматизацию в комплексную структуру, которая реализует рабочие процессы с данными наряду с инфраструктурой, позволяя использовать продукты данных как код (DPaC).

Эта архитектура поддерживает такие структуры, как Спецификация продукта открытых данных (ODPS) и Контракт открытых данных (ODC), которые стандартизируют определение и использование продуктов данных.

Хотя ( идентификаторы ресурсов RID) имеют решающее значение для обеспечения возможности отслеживания и взаимодействия, суть IDP, ориентированного на данные, лежит в метаметаданных, которые обеспечивают структуру, правила и контекст, необходимые для масштабируемых и совместимых экосистем данных.

Подход, ориентированный на данные: расширение автоматизации

Шаблоны и рецепты — это важнейшие технологии, которые позволяют IDP достичь высокого уровня абстракции и компонентизировать системный ландшафт.

Рецепт — это параметризованная конфигурация IaC, которая определяет, как конкретные ресурсы или рабочие нагрузки предоставляются, развертываются или управляются на платформе. Рецепты настраиваются и могут повторно использоваться в соответствии с конкретными контекстами или средами, обеспечивая стандартизацию и гибкость для конкретных случаев использования.

Шаблон Золотой — это группа рецептов, образующая « путь » для разработчиков. Шаблон архитектурного проектирования, например шаблон приема данных, для потоковой передачи, API или файла. Шаблон создает манифест, который создается, проверяется и выполняется на плоскости доставки.

Data-First IDP добавляет спецификацию «Data Product» в качестве компонента, ресурса и, следовательно, рецепта к IDP; это может быть параметризованная версия ODPS и ODC.

Жизненный цикл программного обеспечения и управление им гораздо более зрелы, чем у данных. Концепция DPaC имеет большое значение для изменения этой ситуации; он согласовывает зрелость управления данными с устоявшимися принципами разработки программного обеспечения.

DPaC трансформирует управление данными, рассматривая данные как программируемый, реализуемый актив, согласовывая его жизненный цикл с проверенными практиками разработки программного обеспечения. Преодолевая разрыв в зрелости между данными и программным обеспечением, DPaC дает организациям возможность масштабировать операции, управляемые данными, с уверенностью, управляемостью и гибкостью. Поскольку IaC произвел революцию в инфраструктуре, DPaC готов по-новому определить, как мы управляем нашими данными и доверяем им.

Data Marketplace, обсуждавшийся в предыдущей статье, — это компонент, ресурс и рецепт, который может опираться на другие сервисы, такие как наблюдаемость, сервис качества данных и графовую базу данных, которые также являются компонентами и частью CI. /CD конвейер.

Базовый уровень управления и проектирования

Базовые показатели управления и проектирования можно кодифицировать в политики, которыми можно управлять, управлять их версиями и применять программно через PaC. Путем внедрения правил управления и технических стандартов в машиночитаемые форматы (например, YAML, JSON, Rego) обеспечивается автоматизация соответствия требованиям и согласованность ресурсов.

- Политики управления. Правила управления определяют требования соответствия, контроль доступа, маскирование данных, политики хранения и многое другое.

- Базовые показатели проектирования. Базовые показатели устанавливают минимальные технические стандарты для инфраструктуры, приложений и рабочих процессов с данными, такие как конфигурации ресурсов, этапы проверки конвейера и протоколы безопасности.

Роль RID

В то время как метаметаданные определяют IDP, ориентированный на данные, RID реализуют его принципы, предоставляя уникальные ссылки для всех ресурсов, связанных с данными. RID гарантируют, что архитектура поддерживает отслеживаемость, качество и управление во всей экосистеме.

- Упрощение происхождения: RID — это уникальные ссылки на продукты данных, хранилища и вычислительные ресурсы, позволяющие внешним инструментам отслеживать зависимости и преобразования.

- Упрощение наблюдения: это позволяет отслеживать объекты по ландшафту.

Пример формата RID

<code>rid:<context>:<resource-type>:<resource-name>:<version></code>

- RID продукта данных:rid:customer-transactions:data-product:erp-a:v1.0

- RID хранилища:rid:customer-transactions:storage:s3-bucket-a:v1.0

Централизованное управление и федеративная ответственность при сотрудничестве сообщества

IDP, ориентированный на данные, сочетает в себе централизованное управление, федеративную ответственность и сотрудничество сообщества для создания масштабируемой, адаптируемой и совместимой платформы. Централизованное управление обеспечивает основу для согласованности и контроля, а федеративная ответственность дает командам предметных областей возможность внедрять инновации и брать на себя ответственность за свои продукты данных. Интеграция подхода, основанного на инициативе сообщества, приводит к созданию динамично развивающейся структуры, отвечающей реальным потребностям, используя коллективный опыт для совершенствования политик, шаблонов и рецептов.

Централизованное управление: основа последовательности

Централизованное управление определяет глобальные стандарты, такие как правила соответствия, безопасности и качества, а также управляет критически важной инфраструктурой, такой как уникальные RID и каталоги метаданных. Этот уровень предоставляет инструменты и платформы, обеспечивающие децентрализованное выполнение.

Стандартизированные политики

Глобальные политики кодифицируются с помощью PaC и интегрируются в рабочие процессы для автоматического применения.

Федеративная ответственность: сдвиг влево

Ответственность и подотчетность делегируются командам предметной области, что позволяет им настраивать шаблоны, определять рецепты и управлять продуктами данных ближе к их источникам. Такой подход «сдвиг влево» обеспечивает соблюдение требований и качество на ранних этапах жизненного цикла, сохраняя при этом гибкость:

- Рабочие процессы самообслуживания: доменные команды используют инструменты самообслуживания для настройки ресурсов, при этом политики применяются автоматически в фоновом режиме.

- Настройка в рамках ограничений. Команды могут адаптировать центральные шаблоны и политики в соответствии со своим контекстом, например расширять правила управления для требований конкретной предметной области.

- Проверка в режиме реального времени. Автоматизированная обратная связь гарантирует раннее обнаружение несоблюдения требований, что снижает количество ошибок и способствует подотчетности.

Сотрудничество с сообществом: динамичное и адаптивное управление

Среда поощряет сотрудничество для разработки политик, шаблонов и рецептов, основанных на реальных потребностях и знаниях. Этот децентрализованный инновационный уровень гарантирует, что платформа останется актуальной и адаптируемой:

- Вклад и обратная связь: команды предметной области вносят новые рецепты или предлагают улучшения политики через репозитории с контролем версий или запросы на включение.

- Итеративное улучшение: междоменные сообщества рассматривают и уточняют вклад, обеспечивая соответствие целям организации.

- Признание и стимулы. Команды заинтересованы в обмене передовым опытом и артефактами многократного использования, что способствует развитию культуры сотрудничества.

Автоматизация как инструмент реализации

Автоматизация гарантирует, что управление и стандарты последовательно применяются на всей платформе, предотвращая отклонения с течением времени. Политики и RID управляются программно, что позволяет:

- Соответствие требованиям в масштабе: новые политики легко интегрируются, проверяются на ранней стадии и применяются без ручного вмешательства.

- Измеримые результаты

Расширение оркестрации и добавление механизма управления

IDP, ориентированный на данные, расширяет механизм оркестрации для автоматизации рабочих процессов, ориентированных на данные, и представляет механизм управления для обеспечения соблюдения требований и динамического поддержания стандартов.

Улучшения оркестрации

- Интеграция политик: проверяет правила управления (PaC) во время рабочих процессов, блокируя несоответствующие развертываниям.

- Осведомленность о ресурсах: использует RID для отслеживания и обеспечения соблюдения происхождения, качества и соответствия.

- данных Автоматизация: автоматизирует проверку схемы, пополнение метаданных и регистрацию происхождения.

Механизм управления

- Централизованные политики: определяет правила соответствия как PaC и применяет их автоматически.

- Динамическое обеспечение соблюдения: отслеживает и устраняет несоответствия, предотвращая отклонение от стандартов.

- Обратная связь в реальном времени: предоставляет разработчикам полезную информацию во время развертывания.

Вместе эти механизмы обеспечивают упреждающее соблюдение требований, масштабируемость и расширение возможностей разработчиков за счет внедрения управления в рабочие процессы, автоматизации отслеживания и поддержания стандартов с течением времени.

Влияние на бизнес

- Управление в масштабе: мета-метаданные и ODC обеспечивают внедрение и соблюдение правил соответствия во всех продуктах данных.

- Повышение производительности. «Золотые пути» снижают когнитивную нагрузку, позволяя разработчикам работать быстрее без ущерба для качества и соответствия требованиям.

- Доверие и прозрачность: ODPS и RID гарантируют отслеживаемость и надежность продуктов данных, что способствует укреплению доверия заинтересованных сторон.

- Экосистемы, готовые к использованию искусственного интеллекта. Платформа обеспечивает надежное обучение и ввод в эксплуатацию модели искусственного интеллекта за счет сокращения объема подготовки данных и объединения данных со всей информацией, которая повышает ценность и устойчивость решения.

По мнению разработчиков компании DST Global, успех IDP, ориентированного на данные, зависит от мета-метаданных, которые обеспечивают основу для управления, качества и отслеживания. Эта архитектура, поддерживаемая такими платформами, как ODPS и ODC, и реализуемая через RID, упрощает работу разработчиков, одновременно удовлетворяя потребности бизнеса в масштабируемых, совместимых экосистемах данных. IDP, ориентированный на данные, готов стать основой для инноваций следующего поколения на основе искусственного интеллекта, внедряя интеллектуальные абстракции и модульность.