<Infra> ubuntu 환경에서 의문사한 docker container 사인 규명

📌 사라진 서버 컨테이너

All:Chive 회의를 했다.

회의하는데 로그인이 안된다고 한다.

뭐지 하고 ec2 접속해서, 

sudo docker ps

해봤더니, 엔지닉스만 남아있다;;;

보통 블로그 쓸 거였으면, 사진이라도 남겨뒀을 텐데

여긴 사진도 못 남겼다... 당황해서;;

일단 도커 컴포즈로 서버 복구만 시켜두고 원인을 찾아봤다.

 

📌 원인 규명

🟢 CloudWatch 

All:Chive 서버에는 로그 보기 편하게, CloudWatch를 적용해뒀다.

컨테이너가 종료된 걸 보고, 서버가 오류 나서 강제 종료된 건가 싶어서 로그를 켜봤다.

종료될 때쯤, 서버에 아무런 요청이 없었고, 에러도 없었다.

의문사했다.

그래서 CPU 문제인가 싶어서 EC2 지표도 봤다.

지표도 뭔가 이상하다.

요청이 없는데 CPU 사용률이 저렇게 올라간다?

많이 이상했다.

그래도 위 지표를 통해 local time 15시 19분, utc time 6:15 쯤에 컨테이너가 종료된 건 알 수 있었다.

 

시간은 위는 local time이고 아래는 utc라서 9시간 차이가 난다.

그건 감안해서 봐주면 좋겠다.

 

🟢 Docker events

다음으로 도커 이벤트를 봤다.

종료된 날짜를 기준으로 찾아봤다.

sudo docker events --since "2023-10-04"

exit code 137?

container oom?

 

What is the authoritative list of Docker Run exit codes?

위 자료에 따르면 137 은 sigkill이다.

정확히 무슨 문제인지는 모르겠으나, 리눅스에 의해 강제 종료 당했다.

 

oom은 보통 out of memory를 가리킨다.

현 서버는 우분투 기반으로 작동하는데, 우분투가 oom으로 인해 서버를 강제 종료시킨 것 같았다.

 

🟢 Syslog

그래서 우분투 로그를 봤다.

cat /var/log/syslog

위에서 예상한 대로 oom-killer가 작동했다.

더 밑으로 내려보니, 내 예상이 정확히 맞았다.

out of memory 때문에 kill 당한거다.

 

그렇다면 왜 6시 15분 근처에 CPU 사용률이 급격하게 올라갔을까?

자동 업데이트하고 clean 작업을 했다고 한다.

위 작업하다가 메모리 터진 듯하다.

 

📌 해결하기

🟢 내가 생각한 원인

자동 업데이트가 원인이라고 생각했다.

그래서 비슷한 사례를 찾아봤다.

ubuntu 환경에서 docker container가 갑자기 stop 되는 문제 해결

위 글에서는 apt update를 하지 않는 방식으로 진행했다.

그러나 이걸 종료하면 보안 업데이트 안될 텐데, 끄면 안 되는 거 아닐까라고 생각했다.

그래서 종료하지 않고 아래 작업을 하기로 했다.

1. 메모리 용량을 늘리기
2. 업데이트 시간을 서버의 부하가 비교적 적은 새벽으로 변경

 

🟢 Sol.1 EC2 인스턴스 볼륨 확장

볼륨을 프리티어 최대인 30GB로 늘렸다.

아래 글 참고해서 작업했다.

[AWS] EC2 인스턴스 용량 확장

 

🟢 Sol.2 EC2 스왑 메모리 확장

스왑메모리도 늘렸다.

찾아보니 램이 1GB면 2배 정도 크기의 스왑 메모리를 설정하는 것이 좋다고 한다.

그래서 2GB만큼 설정해뒀다.

[AWS] Swap File을 이용해 EC2 메모리 부족 현상을 해결해보자

 

🟢 Sol.3 apt update 시간 변경

ubuntu는 정기적인 패키지 업그레이드 및 클린 작업을 위해 unattended-upgrade 패키지가 설치되어 있고,

이를 매일 동작시키기 위한 서비스와 스케줄이 systemd에 등록되어 있다고 한다.

2가지 동작이 있는데

• apt-daily.service : 각종 패키지의 업데이트 및 다운로드
• apt-daily-upgrade.service : 이후 업데이트된 패키지를 업그레이드하고 필요없는 패키지들을 삭제하는 역할

로 구성된다.

위 서비스에 대한 타이머가 세팅되어 작동되고, 이 타이머에 대한 설정 정보는

/etc/systemd/system

에 위치한다.

 

apt-daily.service

위는 기본 설정이다.

원래는 24시간 중 아무 때나였는데,

local time 기준으로 04:00 ~ 05:00 사이에 작동하도록 변경했다.

 

apt-daily-upgrade.service

위는 기본 설정이다.

local time 기준으로 06:00 ~ 07:00 사이에 작동하도록 변경했다.

 

📌 마무리

도커 컨테이너 다시 켰다.

컨테이너가 정상적으로 작동하는 것을 볼 수 있다.

이 글을 쓰는 현 시간까지 정상적으로 작동하고 있다.