[Jenkins] java.lang.OutOfMemoryError: Java heap space

반응형

 

 

배포 자동화와 지속적 인도:도커와 젠킨스 쿠버네티스로 만드는

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

 

 

 

 

👷‍♂️ 작업 중인 내용

현재 주니는 젠킨스를 이용하여 무중단 배포 테스트를 진행 중인데, 이 전에는 문제 없이 잘 되었다가 어느날 부턴가 

INFO: ------------------------------------------------------------------------
INFO: EXECUTION SUCCESS
INFO: ------------------------------------------------------------------------
INFO: Total time: 16.330s
INFO: Final Memory: 24M/87M
INFO: ------------------------------------------------------------------------
[Pipeline] }
[Pipeline] // withSonarQubeEnv
[Pipeline] }
[Pipeline] // script
Post stage
[Pipeline] discordSend
Sending notification to Discord.
[Pipeline] }
[Pipeline] // stage
[Pipeline] stage
[Pipeline] { (SONARQUBE_QUALITY_GATE)
Stage "SONARQUBE_QUALITY_GATE" skipped due to earlier failure(s)
[Pipeline] }
[Pipeline] // stage
[Pipeline] stage
[Pipeline] { (개발 환경 Application 서버에 File 전달 및 스크립트 실행 권한 부여)
Stage "개발 환경 Application 서버에 File 전달 및 스크립트 실행 권한 부여" skipped due to earlier failure(s)
[Pipeline] }
[Pipeline] // stage
[Pipeline] stage
[Pipeline] { (개발 환경 Docker Image 생성 및 Backup 작업)
Stage "개발 환경 Docker Image 생성 및 Backup 작업" skipped due to earlier failure(s)
[Pipeline] }
[Pipeline] // stage
[Pipeline] stage
[Pipeline] { (개발 환경 Docker 관련 작업)
Stage "개발 환경 Docker 관련 작업" skipped due to earlier failure(s)
[Pipeline] }
[Pipeline] // stage
[Pipeline] stage
[Pipeline] { (운영 환경 WAS 서버에 File 전달 및 스크립트 실행 권한 부여)
Stage "운영 환경 WAS 서버에 File 전달 및 스크립트 실행 권한 부여" skipped due to earlier failure(s)
[Pipeline] }
[Pipeline] // stage
[Pipeline] stage
[Pipeline] { (운영 환경 Docker Image 생성 및 Backup 작업)
Stage "운영 환경 Docker Image 생성 및 Backup 작업" skipped due to earlier failure(s)
[Pipeline] }
[Pipeline] // stage
[Pipeline] stage
[Pipeline] { (운영 환경 Docker 관련 작업)
Stage "운영 환경 Docker 관련 작업" skipped due to earlier failure(s)
[Pipeline] }
[Pipeline] // stage
[Pipeline] stage
[Pipeline] { (Jenkins CI/CD 작업 완료)
Stage "Jenkins CI/CD 작업 완료" skipped due to earlier failure(s)
[Pipeline] }
[Pipeline] // stage
[Pipeline] }
[Pipeline] // withCredentials
[Pipeline] }
[Pipeline] // withEnv
[Pipeline] }
[Pipeline] // node
[Pipeline] End of Pipeline
java.lang.OutOfMemoryError: Java heap space
[Gitea] Notifying branch build status: FAILURE There was a failure building this commit
[Gitea] Notified
Finished: FAILURE

위와 같이 문제가 발생하면서 Sonar Qube의 QUALITY_GATE 단계를 넘어가지 못하는 문제가 발생하게 되었어요.

 

728x90

 

🤔 원인 분석

주니는 젠킨스의 위 Error Log 중 java.lang.OutOfMemoryError: Java heap space 이 부분에 주목하였고,
이 부분에 대해 해결 해보려고 해요.

위의 문제는 결국 젠킨스 배포 중 JAVA (젠킨스는 JAVA 기반 Application) 가상 머신 즉, JVM에서 Heap Memory가 부족하다고 알려주는 거에요.


그 전에 Jenkins Container 자원 사용량을 조사해 보았어요.

docker stats {Container Name}

 

💡 참고 사항
CPU % : CPU 사용률
MEM USAGE / LIMIT : Container Memory 사용량(MB) / Container 사용 가능 Memory 제한 용량
MEM % : Container Memory 사용량
NET I/O: Network Input, Output
BLOCK I/O: Network 차단 Input, Output
PIDS : Process ID

최초 젠킨스 컨테이너 메모리 상태를 확인해 주었는데, 매우 충격적이였어요.

Memory 사용량이 무려 243%로 과부하가 걸리고 있다는 걸 확인할 수 있었어요.

배포 단계와 할 것들이 많아지니 젠킨스가 버거워 한다는 것을 느낄 수 있었어요. 

먼저 Container에 자원 사용 제한을 늘려주고, Heap Size를 늘려줘야 겠어요.

🍻 문제 해결!

vim giggal-master-jenkins.sh

주니는 위와 같이 Docker 기동 명령어를 Shell Script로 만들어서 관리하고 있는데, 2번째 줄과 같이 Memory 제한 크기를 2GB로 늘려주고, 만약 Host Server의 Memory가 부족하게 되면 1GB로 제한될 수 있도록 명령어를 작성해 주었어요.

Container를 삭제하고, 위 스크립트를 통해 재 기동해 주었는데, 위와 같은 문제가 발생하게 되었어요.

이는 커널 설정 문제로 swap에 대한 제한을 지원하지 않는다는 내용이에요.
이럴 때는 swap limit capablities를 사용할 수 있도록 수정해 주어야 해요.

vim /etc/default/grub 변경 전

참고로 주니는 Ubuntu 22.04 LTS Linux를 사용하고 있어요.

vim /etc/default/grub 변경 후

 

update-grub && reboot

그런 뒤 위와 같이 수정한 내용이 인식될 수 있게 Update 명령어를 날려줍니다.

그리고, 서버 자체를 재부팅 해주어야 해요.

위와 같이 Memory 설정 부분이 인식되면서 Jenkins Container 기동 스크립트가 동작된 걸 알 수 있어요.

만약 이렇게 재부팅까지 했음에도 불구하고, Memory 사용량이 늘어나지 않는다면
Docker Deamon을 재 기동해주면 해결할 수 있어요.

systemctl restart docker

docker stats {Container Name}

이렇게 Memory가 늘어난 걸 확인할 수 있어요.

이번에 다시 젠킨스 기동 스크립트에 내용을 추가해 볼거에요.

vim giggal-master-jenkins.sh

바로 3번째 줄과 같이 Container의 Heap Size를 지정해 주어 기동 시켜 보려고 해요.

이렇게 하고 Container를 삭제한 뒤 다시 재 기동해 줄게요.

docker stop {container ID} && docker rm {container ID}

 

 

docker ps -a

기동이 잘 된 것을 확인할 수 있어요.

다시 젠킨스 작업을 시작해 보았어요.

이렇게 잘 처리된 것을 확인할 수 있어요.

배포 자동화와 지속적 인도:도커와 젠킨스 쿠버네티스로 만드는

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."