English에서 번역 • 원문 보기 이 블로그는 클라우드 서비스나 인터넷의 새로운 기능에 대해 흔히 볼 수 있는 '무엇을 만들어냈는지 보여주는' 블로그와 크게 다르지 않습니다.
*이 블로그에서는 **Cloudwatch: Observability Solutions !!**의 새로운 업데이트에 대한 첫인상과 장단점을 공유할 예정입니다
*AWS CloudWatch Observability 솔루션은 AWS 서비스와 워크로드에 대한 사전 설정된 도구로 모니터링 설정을 단순화하는 것을 목표로 합니다. 하지만 정말 그렇게 간단할까요? 현실을 함께 살펴보겠습니다! *
동기
- 2024년 11월 15일: AWS가 Cloudwatch에 새로운 기능을 출시했으며, 내용은 다음과 같습니다.
관측 솔루션은 AWS에서 인프라 및 애플리케이션 모니터링을 단순화하여 개발자들에게 AWS 서비스, 맞춤형 앱, 서드파티 워크로드에 대한 가이드되고 즉시 사용할 수 있는 예제를 제공합니다. 여기에는 계측, 텔레메트리, 맞춤형 대시보드, 메트릭 알람 등이 포함됩니다.
JVM, Kafka, Tomcat, NGINX와 같은 워크로드에 맞춘 솔루션 카탈로그 중에서 선택할 수 있으며, CloudWatch 에이전트 설정, 사전 정의된 대시보드, 알람 작업 등이 포함됩니다.
이 솔루션들은 상세 모니터링, 컨테이너 인사이트, 애플리케이션 신호 같은 기능에 대한 안내를 제공하며, Amazon CloudWatch 및 Amazon Managed Service for Prometheus를 지원합니다. 현재 상태로 배포하거나 필요에 따라 맞춤화할 수 있습니다.
CloudWatch 콘솔😓에서 관측 솔루션으로 탐색하기
- 콘솔에서 관측 솔루션을 찾는 것은 어렵지 않지만, 홈 화면에만 나타나서 쉽게 간과될 수 있다고 생각합니다.
사람들이 보통 왼쪽 창에서 알람, 로그, 지표 등으로 직접 이동하기 때문에 쉽게 간과된다고 말했는데, 그 창에도 관측 가능성 솔루션에 대한 언급이 전혀 없기 때문입니다.
- 이 블로그를 쓰는 시점에도 'What's New'에 대한 언급조차 없습니다.
관측성 솔루션 카탈로그 🤩
- 오늘(2024년 11월 18일) 기준으로 관측 솔루션은 약 34개의 서비스를 지원합니다.
- 'Any service'를 클릭하면 어떤 종류의 관측 솔루션이 제공되는지 확인할 수 있습니다.
이번 업데이트😞에서 마음에 들지 않는 점
기존 기능을 해결책으로 감싸기
- 관측 솔루션은 다양한 모니터링 작업을 포함하지만, 거의 모든 서비스가 한 가지 공통된 해결책인 **'추천 알람 생성'**을 다룹니다.
이 점이 마음에 들지 않는 이유는 이 기능이 이미 1년 전(2023년 12월 20일) 존재했기 때문입니다.
EKS를 위한 컨테이너 인사이트도 오래전부터 존재했습니다.
이번 업데이트❤️에서 내가 좋아하는 점
문서는 명확하고 명확합니다
- https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/Monitoring-Solutions.html
- 다양한 솔루션에 대한 문서가 어디서 비용이 발생할지, 어떤 구체적인 지표, 솔루션의 장점, 다양한 구성, 그리고 그 구성을 어떻게 배포할지 명확하게 보여주는 디자인과 제시 방식이 정말 마음에 듭니다.
참고: 사용하는 모든 솔루션이 계정에 자원을 생성하고 사용하므로 비용이 부과될 수 있으므로, 예상치 못한 비용을 피하기 위해 해당 솔루션 문서의 비용 섹션을 반드시 확인하는 것이 중요합니다.
사전 정의된 고객 대시보드
- 대시보드는 꽤 설명이 필요 없으며, 팀이 대시보드 사용법과 해석까지 미리 설명해 주었습니다
Ec2 주변의 관측 솔루션
- JVM, NGINX, Kafka, NVIDIA, tomcat 등 워크로드를 위해 EC2를 기반으로 구축된 솔루션들은 해당 워크로드에 대한 기본 제공되는 텔레메트리 수집을 제공합니다. 또한, 미리 설정된 대시보드 설정에도 도움을 줍니다.
- 이 방법은 사용자가 자신의 관측 가능성에 대해 더 많은 가시성을 얻고, 자신의 솔루션이 AWS 모범 사례를 준수한다는 확신을 줄 것이라고 생각합니다.
놀라운 관리형 Grafana를 이용한 관찰 가능성 해결책
- 카탈로그 화면에는 JVM을 지원한다고 되어 있지만, Kafka는 이 블로그를 작성하는 시점에서 AMG 기반 관측성 솔루션을 지원하는 것은 EKS뿐입니다.
- Amazon Elastic Kubernetes 서비스 인프라 모니터링은 Amazon Managed Grafana가 가장 흔히 사용되는 시나리오 중 하나입니다. 간단히 말해, 사전 설정된 에이전트리스 스크레이퍼를 통한 자동화 텔레메트리를 제공합니다. 전문가가 권장하는 모니터링 관행. EKS 인프라용 사전 구성 Grafana 대시보드.
AMG 기반 EKS 관측성 솔루션에 대한 더 자세한 분석
이 솔루션은 선제적 기능과 반응적 기능을 모두 제공합니다:
- 선제적 역량:
- 과거 데이터를 기반으로 신뢰할 수 있는 Amazon EKS 워크로드를 위해 충분한 CPU와 메모리를 할당하는 등 더 나은 스케줄링 결정을 통해 자원 사용을 최적화합니다.
- 기존 워크로드와 유사한 신규 프로젝트의 확장과 같은 계획 계획에 필요한 미래 자원 수요를 예측합니다. Kubernetes 네임스페이스의 워크로드 사용 패턴과 같은 추세를 분석하여 잠재적 문제를 조기에 발견합니다.
- 반응 능력:
- 대시보드 문제 해결 같은 도구를 통해 인프라나 워크로드 문제를 빠르게 감지할 수 있습니다.
- 스택 내 문제 영역을 정확히 파악하세요. 예를 들어 API 서버 과부하가 Kubernetes 운영에 영향을 미치는데, EKS 제어 평면은 AWS가 관리합니다.
문서에 따르면, 이 솔루션은 다음과 같은 리소스를 설정하며, AWS CDK 또는 terraform 중 하나를 사용해 설정할 수 있습니다:
- Prometheus Workspace: Amazon EKS 클러스터의 지표를 관리형 수집기를 사용해 데이터를 수집하고 전송합니다.
- CloudWatch 로그: CloudWatch 에이전트를 통해 EKS 클러스터 로그를 수집하며, Amazon Managed Grafana가 분석을 위해 쿼리합니다. *** Grafana Workspace:** 메트릭과 로그를 통합하여 클러스터 모니터링을 위한 대시보드와 알림을 생성합니다.
결과적으로 생성된 대시보드와 알림은 다음과 같습니다:
- 전체 EKS 클러스터 건강 상태를 모니터링하세요.
- EKS 제어 및 데이터 평면의 건강 상태와 성능을 추적합니다.
- 쿠버네티스 네임스페이스 전반에 걸친 워크로드에 대한 인사이트를 제공합니다.
- 네임스페이스 전반에 걸쳐 CPU, 메모리, 디스크, 네트워크 등 자원 사용량을 표시함.
내가 바랐던 관측 솔루션의 모습 🙏
EKS에서 AMP 기반 관측 솔루션과 함께 사용할 수 있고, IaC(CDK 또는 Terraform)를 사용해 배포할 방법이 있지만, EKS 애드온으로 관리할 수 있다면 훨씬 쉬울 것입니다. *만약 AWS에 모범 사례를 제공하는 것이 목적이라면, 왜 더 단순화하지 않겠습니까? *
권장 경보 설정 같은 대부분의 관측 솔루션은 이미 존재하며, 관측 솔루션은 관측 솔루션으로 홍보하는 래퍼나 우산 같은 역할을 한다고 생각합니다. *하지만 특정 서비스의 CloudWatch 지표로 가서 수동으로 활성화해야 합니다. 왜 같은 화면에서 단 한 번의 버튼으로 바로 활성화할 수 있게 하지 않나요? *
만약 AWS 서비스, 커스텀 애플리케이션, 서드파티 워크로드 관찰에 대한 최적의 옵션에 대한 의견 있는 지침을 제공하는 것이 목적이라면, *AWS 옵저바비 카탈로그를 계정 내 사용 중인 서비스의 중앙 대시보드로 도입하여 사용자가 AWS의 관측 모범 사례를 사용하고 있는지 여부를 식별하거나 정보를 제공할 수 있도록 하는 것은 어떨까요? *
현재로서는 AWS에서 제공하는 관측 솔루션 사용 여부를 단순히 관찰 목록만 보고 추적할 방법이 없습니다.
결론
- AWS Observability 솔루션을 이해한 후, 현재로서는 EC2 워크로드와 EKS용 Amazon Managed Grafana 솔루션에서 AWS의 관측 모범 사례를 구현하는 데 있어 훨씬 뛰어납니다. ✅
- 저는 Observability Catalogue가 여전히 업데이트가 필요하다고 생각합니다. 그래야 사용자가 AWS에서 다양한 AWS 서비스에 대한 Observability 솔루션을 추적할 수 있는 중앙 페이지로 활용할 수 있습니다. ❌
- 또한 Observability Solutions*_는 다양한 솔루션을 한 번에 클릭해서 배포하거나 필요에 따라 맞춤화할 수 있는 방법을 찾아야 한다고 생각합니다_* 저는 여전히 솔루션 구현이 매우 수작업이 필요하다고 생각합니다. ❌
CloudWatch Observability Solutions에 대해 어떻게 생각하시나요?