Driving CI/CD ~ Azure Data Factory ~

Olá. Aqui é Akiyama, do Azure Cloud Solution Architect. Desta vez, vou apresentar as iniciativas CI/CD que estamos promovendo, focando no Azure Data Factory (doravante chamado de ADF). Desta vez, não vou apresentar o ADF em si. É um pouco antigo, mas há um artigo de um artigo prático anterior, então por favor, consulte-o. Publicaremos uma introdução ao material prático do Azure Data Factory

Por que você está dirigindo CI/CD?

Você tem tempo demais? Eu sempre quero mais. Se o tempo fosse vendido em sacos, eu compraria.

Para fazer uso eficaz de um recurso tão finito e igual, o tempo e a promoção do CI/CD é importante.

Em um projeto com três ambientes: desenvolvimento, verificação e produção, é necessário implantar automaticamente os mesmos entregáveis do ambiente de desenvolvimento para os ambientes descritos posteriormente ao ambiente de desenvolvimento. A razão para isso é que queremos evitar problemas triviais, como bugs corrigidos no ambiente de desenvolvimento que ocorrem no ambiente de verificação/produção. Se as pessoas implantarem manualmente os três ambientes, esses problemas triviais ocorrerão com bastante frequência. As pessoas são criaturas que cometem erros, então queremos gastar tempo criando valor em vez de gastar tempo em problemas inevitáveis.

Exemplo de Construção CI/CD Azure Data Factory

A imagem de configuração é a seguinte.

• Desenvolvedores interagem com o portal de desenvolvimento da ADF no ambiente de desenvolvimento para desenvolver
• Desenvolvedores publicam durante a pausa de desenvolvimento
• Quando você publica, o Template ARM é comprometido com os repositórios Azure
• Quando um commit aciona o Azure Pipelines, use um template ARM para implantar o recurso no ADF em validação/produção
• Desenvolvedores gerenciam variações de ambiente no Parâmetro de Modelo ARM e as atualizam conforme

Referência: https://docs.microsoft.com/ja-jp/azure/data-factory/continuous-integration-deployment

Conclusão

Neste artigo, apresentamos CI/CD para Azure Data Factory, que é usado como ETL ao criar uma plataforma de análise de dados. Na Colorkrew, estamos promovendo iniciativas de CI/CD e DevOps.

Se você tem interesse em apoiar a construção de uma plataforma de análise de dados, entre em contato conosco pelo seguinte ponto. Suporte para a construção de uma plataforma de análise de dados |