🔭Kubernetes 환경에서의 안정성 테스트가 필요하다면?

안녕하세요 구독자님, DevOps 소식과 기술 지식을 정리해서 공유해드리는 DevOps 여행을 위한 소식지입니다.

개발 중인 애플리케이션이 안정적으로 동작하는지 확인하기 위해 다양한 테스트를 진행하는 경우가 많습니다.

애플리케이션 자체만을 위한 동작 테스트는 자주 사용되지만, 오늘날엔 클라우드 환경에서 애플리케이션이 배포되는 경우도 많기 때문에 클라우드 환경에서의 동작 테스트도 필요한데요.

이럴 때 사용할 수 있는 기법이 바로, 카오스 엔지니어링입니다.

🧪카오스 엔지니어링이란?

카오스 엔지니어링은 이름처럼 시스템에 혼란을 가져와 안정성을 테스트하는 기법입니다.

카오스 엔지니어링이란, 개발 중인 시스템의 안정성을 테스트하기 위해 임의적으로 장애 상황을 조성하는 기법을 말합니다.

그래서 혼란이란 뜻의 카오스(Chaos)가 이름에 붙은 것인데요.

카오스 엔지니어링을 통해 시스템상에서의 취약점은 없는지 알 수 있기 때문에 시스템을 더욱 안정적으로 만들 수 있죠.

☁️클라우드 네이티브 환경에서 카오스 엔지니어링이 필요한 이유

오늘날 클라우드 네이티브 환경에는 다양한 구성요소가 유기적으로 상호작용하고 있습니다.

클라우드 네이티브 환경은 다양한 컴포넌트가 유기적으로 연결되어 있어 그 자체로 복잡하기 때문에, 테스트하기 쉽지 않은데요.

서비스의 부하 등을 측정하는 일반적인 테스트 툴로는 이런 분산 시스템 환경에서 효율적으로 테스트하기 어려우므로, 카오스 엔지니어링이라는 다른 접근법이 필요한 것입니다.

카오스 엔지니어링은 시스템에 임의적인 장애 상황을 일으킨 다음, 시스템이 어떻게 반응하는지 확인하여 잠재적인 이슈를 잡아내고 사고를 미연에 방지할 수 있습니다.

그렇다면 실제 카오스 엔지니어링은 어떻게 수행할 수 있을까요?

CNCF 재단의 Incubating 프로젝트로 등록된 Chaos Mesh를 소개하며 알아보도록 하겠습니다.

⛓️Kubernetes 카오스 엔지니어링에 특화된 Chaos Mesh

Chaos Mesh는 CNCF에서 지원하는 오픈소스 카오스 엔지니어링 프로젝트입니다.

Chaos Mesh는 클라우드 네이티브 환경을 위한 오픈소스 카오스 엔지니어링 플랫폼입니다.

다양한 종류의 장애 상황 시뮬레이션이 준비되어있기 때문에, 구성할 수 있는 장애 시나리오의 폭도 매우 넓다는 장점이 있습니다.

Chaos Mesh는 동작에 필요한 각 컴포넌트(contoller-manager, daemon, dashboard)가 Kubernetes 클러스터상에 CRD(Custom Resource Definition)로 배포되는 방식으로 설치하는데요.

그래서 Helm을 사용하거나 Chaos Mesh가 자체로 작성한 쉘 스크립트를 실행해서 설치할 수 있습니다. 자세한 설치 정보는 공식 페이지에서 확인하실 수 있습니다.

Chaos Mesh 설치가 완료되면 Experiment라고 하는 테스트 객체를 정의해야 합니다. Chaos Mesh에는 기본적으로 다양한 장애 상황을 발생시킬 수 있는 리소스가 준비되어 있고, 이런 리소스를 Experiment로 사용하는데요.

Chaos Mesh에서 기본적으로 생성 가능한 대표적인 장애 발생 리소스는 아래와 같습니다.

PodChaos: Pod 상태를 의도적으로 불안정하게 만들거나 Pod 내 특정 Container가 동작에 실패하는 상황 조성

NetworkChaos: 네트워크 지연, 패킷 손실 등의 상황 조성

StressChaos: CPU 또는 메모리에 대한 부하 조성

Experiment는 k8s 리소스처럼 yaml 파일로 정의 후 kubectl로 실행할 수 있는데요.

아래는 NetworkChaos로 만든 Experiment의 예시입니다. 이 Experiment를 실행하면 default 네임스페이스 내 "app": "test" 라벨을 가진 Pod에 대해 12초 동안 10ms의 네트워크 지연을 유발시키는 테스트가 진행됩니다.