안녕하세요. Azure Cloud Solution Architect의 아키야마입니다. 이번에는 Azure Data Factory(이하 ADF)에 중점을 두고 추진하는 CI/CD 이니셔티브를 소개하겠습니다. 이번에는 ADF 자체는 소개하지 않겠습니다. 조금 오래된 글이지만, 이전 핸즈온 글에서 나온 글이 있으니 참고해 주세요. Azure Data Factory 실습 자료 소개를 공개하겠습니다
왜 CI/CD를 운전하고 있어?
시간이 너무 많아? 난 항상 더 원해. 시간이 가방에 담겨 팔린다면 샀을 거야.
이렇게 한정되고 동등한 자원인 시간을 효과적으로 활용하기 위해서는 CI/CD의 홍보가 중요합니다.
개발, 검증, 운영 환경이라는 세 가지 환경이 있는 프로젝트에서는, 개발 환경보다 나중에 설명된 환경에 대해 동일한 산출물을 자동으로 배포해야 합니다. 그 이유는 개발 환경에서 수정된 버그와 같은 사소한 문제가 검증/운영 환경에서 발생하는 것을 피하고 싶기 때문입니다. 사람들이 세 가지 환경을 수동으로 배포하면 이런 사소한 문제가 꽤 자주 발생할 것입니다. 사람들은 실수를 하는 존재이기 때문에, 우리는 피할 수 없는 문제에 시간을 쓰기보다는 가치를 창출하는 데 시간을 쓰고 싶어 합니다.
Azure Data Factory CI/CD 구성 예시
구성 이미지는 다음과 같습니다.

- 개발자는 개발 환경에서 ADF 개발 포털과 상호작용하여 개발합니다
- 개발자는 개발 중단 중에 게시를 합니다
- 게시할 때 ARM 템플릿 이 Azure Repo에 커밋됩니다
- 커밋이 Azure 파이프라인을 트리거할 때, 검증/운영 환경에서 ARM 템플릿을 사용해 자원을 ADF에 배포합니다.
- 개발자가 ARM 템플릿 매개변수에서 환경 변동을 관리하고 이에 맞게 업데이트합니다
참고: https://docs.microsoft.com/ja-jp/azure/data-factory/continuous-integration-deployment
결론
이 글에서는 Azure Data Factory용 CI/CD를 소개했으며, 이는 데이터 분석 플랫폼을 만들 때 ETL로 사용됩니다. Colorkrew에서는 CI/CD와 DevOps 이니셔티브를 홍보하고 있습니다.
데이터 분석 플랫폼 구축에 관심이 있으시면 다음 채널에서 연락해 주세요. 데이터 분석 플랫폼 구축 지원 |