[CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ③ Application Server Docker Job (③ Application Docker Health Check)

[CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ③ Application Server Docker Job (③ Application Docker Health Check)

2023. 7. 6. 17:25ㆍSystem 작업실/DevOps

728x90

🗂 목차

⚠️ 아래 목차 중 몇몇개의 링크가 걸리지 않는 문제로 글 맨 하단에 다음 글로 이동할 수 있게 해 두었습니다.

🤔 내가 만난 문제

⛔️ [Jenkins] java.lang.OutOfMemoryError: Java heap space

배포 자동화와 지속적 인도:도커와 젠킨스 쿠버네티스로 만드는

COUPANG

www.coupang.com

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

🚀 Application Docker Health Check

🔽 개요

📦 구성도

📦 소개

지난 글에서 주니는 Application Docker Container를 기동 시키고, 정상적으로 기동이 되었는지까지 확인하였어요.

Spring Boot는 결국 Web Application Service이고, curl 명령어를 통해 해당 웹 서비스가 정상적으로 구동 중인지
확인해서 애플리케이션 배포를 마무리 해보려고 해요.

🔽 applicationHealthCheck.sh

#!/bin/bash

set -e

NOW=$(date +"%y-%m-%d_%H:%M:%S")
SAVE_LOG_DATE=$(date +"%y-%m-%d")

echo "====================================================================================================="
echo "[$NOW] [INFO] 기깔나는 사람들 통합 관리 서버 API 무중단 배포 서버 작업 중 Application Health Check 작업이 시작 되었어요."
echo "======================================[$NOW] 통합 백 오피스 api Application Health Check======================================"
echo "[$NOW] [INFO] Author(만든이): 주니(junyharang8592@gmail.com)"

APPLICATION_DOCKER_IMAGE_NAME="giggal-people/total-back-office-api"

APPLICATION_MAIN_CONTAINER_NAME="giggal-total-back-office-api-main"
APPLICATION_SUB_CONTAINER_NAME="giggal-total-back-office-api-sub"

APPLICATION_MAIN_EXTERNAL_PORT_NUMBER=1001
APPLICATION_SUB_EXTERNAL_PORT_NUMBER=1011

SERVER_IP=192.168.20.12

APPLICATION_SHELL_SCRIPT_DIRECTORY="/data/deploy/giggal-total-back-office/deploy/prod/was/shell-script/application"

checkLogDirectory() {
  sleep 5

  LOG_DIR="/var/log/deploy/giggal-total-back-office"

  if [ -d "$LOG_DIR" ]; then
    echo "=====================================================================================================" >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
    echo "[INFO] 기깔나는 사람들 통합 관리 서버 API 무중단 배포 서버 작업 중 Application Health Check 작업이 시작 되었어요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
    echo "======================================[$NOW] 통합 백 오피스 api Application Health Check======================================" >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
    echo "[$NOW] [INFO] Author(만든이): 주니(junyharang8592@gmail.com)" >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
    echo "[$NOW] [INFO] LOG Directory 존재 합니다."
    echo "[$NOW] [INFO] LOG Directory 존재 합니다." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

  else
    echo "[$NOW] [INFO] cicd-admin은 mkdir 명령어를 사용할 수 없어요. 관리자 혹은 DMSO 크루에게 ${LOG_DIR} 생성을 요청해 주세요. 스크립트가 종료됩니다." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
    exit 1
  fi

  applicationContainerHealthCheck
}

applicationContainerHealthCheck() {
  sleep 5

  for loopCount in {1..2}; do
    echo "[$NOW] [INFO] Application Container 기동 상태 확인할게요."
    echo "[$NOW] [INFO] Application Container 기동 상태 확인할게요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

    MAIN_CONTAINER_STATUS=$(docker ps --filter "name=$APPLICATION_MAIN_CONTAINER_NAME" --format "{{.Status}}")
    SUB_CONTAINER_STATUS=$(docker ps --filter "name=$APPLICATION_SUB_CONTAINER_NAME" --format "{{.Status}}")

    echo "[$NOW] [INFO] Application Container MAIN 기동 상태 정보 : $MAIN_CONTAINER_STATUS"
    echo "[$NOW] [INFO] Application Container MAIN 기동 상태 정보 : $MAIN_CONTAINER_STATUS" >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
    echo "[$NOW] [INFO] Application Container SUB 기동 상태 정보 : $SUB_CONTAINER_STATUS"
    echo "[$NOW] [INFO] Application Container SUB 기동 상태 정보 : $SUB_CONTAINER_STATUS" >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

    echo "[$NOW] [INFO] ${loopCount} 번째 Application Container 기동 상태 확인"
    echo "[$NOW] [INFO] ${loopCount} 번째 Application Container 기동 상태 확인" >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
    if [[ $MAIN_CONTAINER_STATUS == "Up"* ]] && [[ "$SUB_CONTAINER_STATUS" == "Up"* ]]; then
      echo "[$NOW] [INFO] Application Container MAIN PORT 번호 : $APPLICATION_MAIN_EXTERNAL_PORT_NUMBER"
      echo "[$NOW] [INFO] Application Container MAIN PORT 번호 : $APPLICATION_MAIN_EXTERNAL_PORT_NUMBER" >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
      echo "[$NOW] [INFO] Application Container SUB PORT 번호 : $APPLICATION_SUB_EXTERNAL_PORT_NUMBER"
      echo "[$NOW] [INFO] Application Container SUB PORT 번호 : $APPLICATION_SUB_EXTERNAL_PORT_NUMBER" >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

      if [[ $MAIN_CONTAINER_STATUS == "Up"* ]] && [ $loopCount == 1 ]; then
        echo "[$NOW] [INFO] ${loopCount} 번째 반복문을 통해 Application Container MAIN 기동 상태가 정상임을 확인하였어요."
        echo "[$NOW] [INFO] ${loopCount} 번째 반복문을 통해 Application Container MAIN 기동 상태가 정상임을 확인하였어요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
        applicationExternalPortNumber=$APPLICATION_SUB_EXTERNAL_PORT_NUMBER
        containerName="giggal-total-back-office-api-sub"

      elif [[ "$SUB_CONTAINER_STATUS" == "Up"* ]] && [ $loopCount == 2 ]; then
        echo "[$NOW] [INFO] ${loopCount} 번째 반복문을 통해 Application Container SUB 기동 상태가 정상임을 확인하였어요."
        echo "[$NOW] [INFO] ${loopCount} 번째 반복문을 통해 Application Container SUB 기동 상태가 정상임을 확인하였어요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
        applicationExternalPortNumber=$APPLICATION_MAIN_EXTERNAL_PORT_NUMBER
        containerName="giggal-total-back-office-api-main"

      else
        echo "[$NOW] [ERROR] Application Container 상태 확인 중 문제가 발생하였어요. Application 컨테이너 존재 여부를 다시 확인할게요."
        echo "[$NOW] [ERROR] Application Container 상태 확인 중 문제가 발생하였어요. Application 컨테이너 존재 여부를 다시 확인할게요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

        $APPLICATION_SHELL_SCRIPT_DIRECTORY/applicationCheckContainerExistenceStatus.sh
      fi

      echo "[$NOW] [INFO] ${containerName} Health Check 시작할게요."
      echo "[$NOW] [INFO] ${containerName} Health Check 시작할게요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
      echo "[$NOW] [INFO] 사용 명령어: curl -I http://${SERVER_IP}:${applicationExternalPortNumber}/api/test/profile | grep -oP 'HTTP/1.1 \K\d+' "
      echo "[$NOW] [INFO] 사용 명령어: curl -I http://${SERVER_IP}:${applicationExternalPortNumber}/api/test/profile | grep -oP 'HTTP/1.1 \K\d+' " >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

      for retryCount in {1..10};
      do
        sleep 5
        echo "[$NOW] [INFO] ${loopCount} 번째 및 http 정상 연결 확인 ${retryCount} 번째 Health Check 작업 시작 되었어요."
        echo "[$NOW] [INFO] ${loopCount} 번째 및 http 정상 연결 확인 ${retryCount} 번째 Health Check 작업 시작 되었어요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
        responseCode=$(curl -I http://${SERVER_IP}:${applicationExternalPortNumber}/api/test/profile | grep -oP 'HTTP/1.1 \K\d+')
        command="curl -I http://${SERVER_IP}:${applicationExternalPortNumber}/api/test/profile | grep -oP 'HTTP/1.1 \K\d+'"

        if [ "$responseCode" == "200" ]; then
          successCommand "${command}"

        else
          echo "[$NOW] [WARN] ${containerName}가 기동 중이지만, 내부 서비스에 문제가 있어요."
          echo "[$NOW] [WARN] ${containerName}가 기동 중이지만, 내부 서비스에 문제가 있어요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
          echo "[$NOW] [WARN] ${containerName} 삭제 및 재 기동 실시합니다."
          echo "[$NOW] [WARN] ${containerName} 삭제 및 재 기동 실시합니다." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

          applicationDockerContainerChangeOldErrorRemove "${containerName}"
        fi

        responseCount=$(curl -I http://${SERVER_IP}:${applicationExternalPortNumber}/api/test/profile | grep "HTTP" | wc -l)
        command="curl -I http://${SERVER_IP}:${applicationExternalPortNumber}/api/test/profile | grep "HTTP" | wc -l"

        if [ ${responseCount} -ge 1 ]; then
          echo "[$NOW] [INFO] ${containerName} Container 상태가 정상이에요."
          echo "[$NOW] [INFO] ${containerName} Container 상태가 정상이에요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

          successCommand "${command}"
          break

        else
          errorResponse=$(curl -I http://${SERVER_IP}:${applicationExternalPortNumber}/api/test/profile)

          echo "[$NOW] [ERROR] ${containerName} Container 상태에 문제가 있어요."
          echo "[$NOW] [ERROR] ${containerName} Container 상태에 문제가 있어요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
          echo "[$NOW] [ERROR] 문제 내용 : ${errorResponse}"
          echo "[$NOW] [ERROR] 문제 내용 : ${errorResponse}" >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

          echo "[$NOW] [ERROR] ${containerName} Container 종료 및 삭제 시도할게요."
          echo "[$NOW] [ERROR] ${containerName} Container 종료 및 삭제 시도할게요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

          applicationDockerContainerChangeOldErrorRemove "${containerName}"
        fi

        if [ "${retryCount}" -eq 10 ]; then
          echo "[$NOW] [ERROR] ${containerName} Container Health 상태 문제가 있어요."
          echo "[$NOW] [ERROR] ${containerName} Container Health 상태 문제가 있어요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

          echo "[$NOW] [ERROR] ${containerName} Container 종료 및 삭제 시도할게요."
          echo "[$NOW] [ERROR] ${containerName} Container 종료 및 삭제 시도할게요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

          applicationDockerContainerChangeOldErrorRemove "${containerName}"
        fi

        echo "[$NOW] [WARN] Health Check 작업에 실패하였어요."
        echo "[$NOW] [WARN] Health Check 작업에 실패하였어요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

        echo "[$NOW] [ERROR] Nginx 연결 없이 스크립트를 종료 합니다."
        echo "[$NOW] [ERROR] Nginx 연결 없이 스크립트를 종료 합니다." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
        exit 1
      done

    else
      if [[ $MAIN_CONTAINER_STATUS != "Up"* ]] && [[ $SUB_CONTAINER_STATUS != "Up"* ]]; then

        echo "[$NOW] [ERROR] 모든 Container Health 상태 문제가 있어요."
        echo "[$NOW] [ERROR] 모든 Container Health 상태 문제가 있어요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

        containerName=$APPLICATION_MAIN_CONTAINER_NAME
        echo "[$NOW] [ERROR] ${containerName} 문제 있는 Container 종료 및 삭제 시도할게요."
        echo "[$NOW] [ERROR] ${containerName} 문제 있는 Container 종료 및 삭제 시도할게요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
        applicationDockerContainerChangeOldErrorRemove "${containerName}"

        containerName=$APPLICATION_SUB_CONTAINER_NAME
        echo "[$NOW] [ERROR] ${containerName} 문제 있는 Container 종료 및 삭제 시도할게요."
        echo "[$NOW] [ERROR] ${containerName} 문제 있는 Container 종료 및 삭제 시도할게요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
        applicationDockerContainerChangeOldErrorRemove "${containerName}"

      elif [[ $MAIN_CONTAINER_STATUS != "Up"* ]]; then
        containerName=$APPLICATION_MAIN_CONTAINER_NAME
        echo "[$NOW] [ERROR] ${containerName} Container Health 상태 문제가 있어요."
        echo "[$NOW] [ERROR] ${containerName} Container Health 상태 문제가 있어요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

        echo "[$NOW] [ERROR] ${containerName} Container 재 기동 시도할게요."
        echo "[$NOW] [ERROR] ${containerName} Container 재 기동 시도할게요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
        applicationDockerContainerChangeOldErrorRemove "${containerName}"

      elif [[ $SUB_CONTAINER_STATUS != "Up"* ]]; then
        containerName=$APPLICATION_SUB_CONTAINER_NAME
        echo "[$NOW] [ERROR] ${containerName} Container Health 상태 문제가 있어요."
        echo "[$NOW] [ERROR] ${containerName} Container Health 상태 문제가 있어요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

        echo "[$NOW] [ERROR] ${containerName} 문제 있는 Container 종료 및 삭제 시도할게요."
        echo "[$NOW] [ERROR] ${containerName} 문제 있는 Container 종료 및 삭제 시도할게요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
        applicationDockerContainerChangeOldErrorRemove "${containerName}"

      else
        echo "[$NOW] [ERROR] Application Container 상태 확인 중 문제가 발생하였어요. 스크립트가 종료됩니다."
        echo "[$NOW] [ERROR] Application Container 상태 확인 중 문제가 발생하였어요. 스크립트가 종료됩니다." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
        exit 1
      fi
    fi
  done
}

applicationDockerContainerChangeOldErrorRemove() {
  local containerName=$1

  echo "[$NOW] [INFO] 기존에 동작하던 정상 구동 중이지 않은 ${containerName} 컨테이너 이름을 통해 docker 기동 명령어 변수를 설정할게요."
  echo "[$NOW] [INFO] 기존에 동작하던 정상 구동 중이지 않은 ${containerName} 컨테이너 이름을 통해 docker 기동 명령어 변수를 설정할게요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

  if [ "$containerName" == "$APPLICATION_MAIN_CONTAINER_NAME" ]; then
    portNumber=$APPLICATION_MAIN_EXTERNAL_PORT_NUMBER
    stopContainerName="giggal-total-back-office-api-main"
    stopContainerId=$(docker ps --filter "name=$stopContainerName" --format "{{.ID}}")

  else
    portNumber=$APPLICATION_SUB_EXTERNAL_PORT_NUMBER
    stopContainerName="giggal-total-back-office-api-sub"
    stopContainerId=$(docker ps --filter "name=$stopContainerName" --format "{{.ID}}")
  fi

  echo "[$NOW] [INFO] ${containerName} 컨테이너 이름을 통해 docker 기동 명령어 변수 정보 : "
  echo "[$NOW] [INFO] ${containerName} 컨테이너 이름을 통해 docker 기동 명령어 변수 정보 : " >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
  echo "[$NOW] [INFO] ${containerName} 컨테이너 이름 및 Host Name : ${containerName} "
  echo "[$NOW] [INFO] ${containerName} 컨테이너 이름 및 Host Name : ${containerName} : " >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
  echo "[$NOW] [INFO] ${containerName} 컨테이너 Port Number : ${portNumber} "
  echo "[$NOW] [INFO] ${containerName} 컨테이너 Port Number : ${portNumber} : " >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
  echo "[$NOW] [INFO] ${containerName} 컨테이너 Docker Image Name : ${APPLICATION_DOCKER_IMAGE_NAME} "
  echo "[$NOW] [INFO] ${containerName} 컨테이너 Docker Image Name : ${APPLICATION_DOCKER_IMAGE_NAME} " >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
  echo "[$NOW] [INFO] ${containerName} 종료 및 제거할 기존 컨테이너 이름 : ${stopContainerName} "
  echo "[$NOW] [INFO] ${containerName} 종료 및 제거할 기존 컨테이너 이름 : ${stopContainerName} " >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
  echo "[$NOW] [INFO] ${containerName} 종료 및 제거할 기존 컨테이너 ID : ${stopContainerId} "
  echo "[$NOW] [INFO] ${containerName} 종료 및 제거할 기존 컨테이너 ID : ${stopContainerId} " >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

  echo "[$NOW] [INFO] 기존에 동작하던 정상 구동 중이지 않은 ${containerName} 컨테이너 종료 작업을 시작할게요."
  echo "[$NOW] [INFO] 기존에 동작하던 정상 구동 중이지 않은 ${containerName} 컨테이너 종료 작업을 시작할게요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

  command="docker stop $stopContainerId"

  if ! docker stop $stopContainerId; then
    failedCommand "${command}"
  else
    successCommand "${command}"

    command="docker rm $stopContainerId"

    if ! docker rm $stopContainerId; then
      failedCommand "${command}"
    else
      successCommand "${command}"

      unknownNameImageDelete

      applicationDockerContainerRun "${containerName}"
    fi
  fi
}

applicationDockerContainerRun() {
  local containerName=$1

  echo "[$NOW] [INFO] ${containerName} 컨테이너 이름을 통해 docker 기동 명령어 변수를 설정할게요."
  echo "[$NOW] [INFO] ${containerName} 컨테이너 이름을 통해 docker 기동 명령어 변수를 설정할게요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
  echo "[$NOW] [INFO] ${containerName} 컨테이너 기동 작업을 시작할게요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

  if [ "$containerName" == "$APPLICATION_MAIN_CONTAINER_NAME" ]; then
    containerAndHostName="giggal-total-back-office-api-main"
    portNumber=$APPLICATION_MAIN_EXTERNAL_PORT_NUMBER

  else
    containerAndHostName="giggal-total-back-office-api-sub"
    portNumber=$APPLICATION_SUB_EXTERNAL_PORT_NUMBER
  fi

  echo "[$NOW] [INFO] 설정된 변수 정보: "
  echo "[$NOW] [INFO] 설정된 변수 정보: " >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
  echo "[$NOW] [INFO] Container Name And Container Host Name : ${containerAndHostName} "
  echo "[$NOW] [INFO] Container Name And Container Host Name : ${containerAndHostName} " >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
  echo "[$NOW] [INFO] Container Port Number : ${portNumber} "
  echo "[$NOW] [INFO] Container Port Number : ${portNumber} " >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

  dockerRunCommand="docker run -itd --privileged --name $containerAndHostName --hostname $containerAndHostName -e container=docker -p $portNumber:8080 --restart unless-stopped $APPLICATION_DOCKER_IMAGE_NAME"

  if ! docker run -itd --privileged --name $containerAndHostName --hostname $containerAndHostName -e container=docker -p $portNumber:8080 --restart unless-stopped $APPLICATION_DOCKER_IMAGE_NAME;
  then
    failedCommand "${dockerRunCommand}"
  else
    successCommand "${dockerRunCommand}"

    containerId=$(docker ps --filter "name=$containerAndHostName" --format "{{.ID}}")

    echo "[$NOW] [INFO] Container ID : ${containerId} "
    echo "[$NOW] [INFO] Container ID : ${containerId} " >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
  fi

  echo "[$NOW] [INFO] 기동 시킨 Container ${containerAndHostName} (ID: ${containerId}) 동작 상태 확인할게요."
  echo "[$NOW] [INFO] 기동 시킨 Container ${containerAndHostName} (ID: ${containerId}) 동작 상태 확인할게요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

  checkContainerStatus=$(docker ps --filter "id=$containerId" --format "{{.Status}}")

  sleep 5

  containerLogs=$(docker logs "$containerId")

  if [[ $checkContainerStatus == "Up"* ]]; then
    echo "[$NOW] [INFO] 기동 시킨 Container 내부 Log 정보 : "
    echo "[$NOW] [INFO] 기동 시킨 Container 내부 Log 정보 : " >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
    echo "[$NOW] [INFO] $containerLogs"
    echo "[$NOW] [INFO] $containerLogs" >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

    successCommand "docker ps --filter "id=$containerId" --format "{{.Status}}" "

    applicationContainerHealthCheck

  else
    echo "[$NOW] [ERROR] 문제 발생한 Container 내부 Log 정보 : "
    echo "[$NOW] [ERROR] 문제 발생한 Container 내부 Log 정보 : " >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
    echo "[$NOW] [ERROR] $containerLogs"
    echo "[$NOW] [ERROR] $containerLogs" >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
    failedCommand "docker ps --filter "id=$containerId" --format "{{.Status}}" "
  fi
}

unknownNameImageDelete() {
  sleep 5
  echo "[$NOW] [INFO] createDockerImageAndBackup.sh에서 제거하지 못한 이름 없는 (고아) Docker Image 삭제 작업 시작할게요."
  echo "[$NOW] [INFO] createDockerImageAndBackup.sh에서 제거하지 못한 이름 없는 (고아) Docker Image 삭제 작업 시작할게요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

  checkDockerImage

  if ! docker images | grep "^<none>"; then
    echo "[$NOW] [INFO] 이름 없는 (고아) Docker Image가 존재 하지 않아요."
    echo "[$NOW] [INFO] 이름 없는 (고아) Docker Image가 존재 하지 않아요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

    checkDockerImage

  else
    if ! docker rmi $(docker images -f "dangling=true" -q); then
      echo "[$NOW] [WARN] 이름 없는 Docker Image 삭제 작업 실패하였어요. Server에 접속하여 직접 삭제 작업이 필요해요. 스크립트는 종료되지 않습니다."
      echo "[$NOW] [WARN] 이름 없는 Docker Image 삭제 작업 실패하였어요. Server에 접속하여 직접 삭제 작업이 필요해요. 스크립트는 종료되지 않습니다." >>$LOG_DIR/"$NOW"-createImageAndBackup.log 2>&1

      checkDockerImage

    else
      echo "[$NOW] [INFO] 이름 없는 Docker Image 삭제 작업 성공하였어요."
      echo "[$NOW] [INFO] 이름 없는 Docker Image 삭제 작업 성공하였어요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

      checkDockerImage
    fi
  fi
}

checkDockerImage() {
  DOCKER_IMAGES_LIST=$(docker images)

  echo "[$NOW] [INFO] 현재 존재하는 Docker Image 내역 : "
  echo "[$NOW] [INFO] 현재 존재하는 Docker Image 내역 : " >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
  echo "[$NOW] [INFO] ${DOCKER_IMAGES_LIST} "
  echo "[$NOW] [INFO] ${DOCKER_IMAGES_LIST} " >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
}

failedCommand() {
  local command=$1

  echo "[$NOW] [ERROR] ${command} 명령어 작업 실패하였어요. 스크립트를 종료합니다."
  echo "[$NOW] [ERROR] ${command} 명령어 작업 실패하였어요. 스크립트를 종료합니다." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
  exit 1
}

successCommand() {
  local command=$1

  echo "[$NOW] [INFO] ${command} 명령어 작업 성공하였어요."
  echo "[$NOW] [INFO] ${command} 명령어 작업 성공하였어요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
}

checkLogDirectory

operationDockerStatus=$(docker ps -a)

echo "[$NOW] [INFO] 기깔나는 사람들 통합 관리 서버 API 무중단 배포 작업 중 Application Health Check 작업이 끝났어요."
echo "[$NOW] [INFO] 기깔나는 사람들 통합 관리 서버 API 무중단 배포 LOG 위치 : ${LOG_DIR}"
echo "[$NOW] [INFO] 기깔나는 사람들 통합 관리 서버 API 무중단 배포 작업 중 Application Health Check 작업이 끝났어요." >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
echo "[$NOW] [INFO] 현재 운영 중인 Docker Container 정보 : "
echo "[$NOW] [INFO] 현재 운영 중인 Docker Container 정보 : " >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
echo "[$NOW] [INFO] ${operationDockerStatus} "
echo "[$NOW] [INFO] ${operationDockerStatus} " >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1
echo -e "=====================================================================================================\n"
echo -e "=====================================================================================================\n" >>$LOG_DIR/"$SAVE_LOG_DATE"-deploy.log 2>&1

728x90

📦 applicationContainerHealthCheck()

Log를 남길 Directory가 존재하는지 확인하는 checkLogDirectory()가 정상적으로 작업을 마무리하면 해당 함수를 호출하게 되고, 작업이 시작됩니다.

최초 이 곳에서는 확인해야 할 애플리케이션 도커 컨테이너에 대해 다시 한번 기동 상태를 확인해주고 있어요.

49번째 줄에 애플리케이션 도커 컨테이너가 두 개이기 때문에 반복문을 두번 돌려주고, 53, 54번째 줄에 MAIN과 SUB 컨테이너에 도커 기동 상태 확인 명령어를 통해 각각의 변수에 넣어주었어요.

그런 뒤 63번째 줄에서 두 컨테이너 기동 상태가 모두 Up으로 시작하는지 확인하고, 69와 75번째 줄에서 각각의 컨테이너 Health Check를 위한 변수 설정을 위해 반복 횟수와 함께 각각의 컨테이너 기동상태를 확인하고,
그에 맞는 변수를 넣도록 해 주었어요.

만약 81번째 줄에 else 문이 참이 되면 63번째 줄에서는 두 컨테이너 모두 정상이라고 확인했는데, 각각의 기동 상태를 확인했을 때는 문제가 나온 것이거나, 반복문에 문제가 발생한 것이기 때문에 문제가 있다고 판단하고, 85번째 줄에서 applicationCheckContainerExistenceStatus.sh를 호출하여 다시 존재 여부를 확인하는 등의 이 전 글에서 정리했었던 일련의 과정을 거칠 수 있도록 해 주었어요.

본격적으로 Health Check가 이뤄지는 부분이에요.

최초 93번째 줄에서 Health Check를 최대 10번까지 확인할 수 있도록 반복문을 10번 돌리도록 하여 주었어요.

그런 뒤 98번째 줄에서 curl -I 명령어를 통해 Responce Status Code를 responseCode 변수에 넣어주었어요.

참고로 /api/test/profile로 HTTP Request를 던지게 되면

위의 Controller Code에 의해서 현재 기동중인 Spring Boot 구동 환경 값이 반환되도록 해 주었어요.

101번째 줄에서 응답 코드가 200으로 떨어지게 되면 정상이기 때문에

위에서 확인하고자 하는 curl 명령어에 대한 작업은 끝나게 되요.

하지만, 만약 200으로 오지 않는다면 컨테이너는 정상적으로 올라간 것인데,
내부 스프링 부트 서비스가 문제가 발생한 것이거나,
도커 컨테이너에 문제가 발생한 것이기 때문에
문제가 있는 컨테이너 중지 및 삭제 작업을 담당하는 함수를 호출하게 해 주었어요.

만약 위에서 확인한 curl 결과가 200이라면 이번에는 다시 한번 curl 명령어를 통해 HTTP 요청을 보내고, 응답 헤더에서 HTTP를 필터링한 뒤 그 개수를 세는 명령어를 통해 다시 한번 확인을 해주게 하였어요.

{"originWidth":1872,"originHeight":159,"style":"CDM","link":" grep \\","caption":"curl -I http://${SERVER_IP}:${applicationExternalPortNumber}/api/test/profile

💡 참고 사항
curl 명령어

cURL을 이용하여 HTTP 요청하는 명령어

Option

-I : Web Server로 HEAD 요청을 보내고, Response Header만 받아옴.
| grep -oP 'HTTP/1.1 /K/d+' : 정규 표현식을 이용하여 Response Header에서 HTTP Status Code 추출.
- o: Pattern과 일치하는 부분만 출력
- P: Perl 호환 정규 표현식 사용.
- 'HTTP/1.1 /K/d+': HTTP/1.1 과 일치하는 부분은 무시하고, 이후에 나오는 하나 이상의 숫자(/d+)에 일치하는 부분 추출.

| grep "HTTP" : 파이프라인 연산자로 앞의 명령어의 출력을 뒤의 명령어 입력으로 전달하는데, HTTP 문자열을 필터링하여 해당 문자열을 포함하는 Line만 출력
wc -l : 출력된 Line 개수 세는 명령어

116번째 줄에서 결과값 개수가 1이라면 정상적으로 구동된 것이 확인 되는 것이기 때문에
반복문을 종료 시키도록 해 주었어요.

하지만, 1이 아니라면 문제가 있는 것이고, 해당 내용을 출력 및 Log에 저장한 뒤
해당 컨테이너 재 기동 전 종료 및 삭제 작업이 이뤄질 수 있도록 함수를 호출하여 주었어요.

위에서 Health Check를 10번하기 위한 반복 횟수가 10이 되면 결국 이 역시도 컨테이너에 문제가 있는 것이기 때문에 해당 컨테이너 재 기동 전 종료 및 삭제 작업이 이뤄질 수 있도록 함수를 호출하여 주었어요.

63번째 줄에서 두 컨테이너의 상태가 Up으로 시작하는지를 확인하였는데, 아니라고 한다면 이 곳으로 처리되게 된답니다.

최초 160번째 줄을 통해 두 컨테이너가 모두 비 정상적으로 올라와 있는지를 확인하고, 두 개의 컨테이너를 재 기동 전 종료 및 삭제 할 수 있도록 165 ~ 173번째 줄을 작성해 주었어요.

그런데, 두 개 모두가 아니라 하나의 컨테이너가 문제 있을 수도 있기 때문에 175 ~ 191번째 줄까지는
각각의 컨테이너에 맞게 작업될 수 있도록 처리해 주었어요.

193번째 else 문에 들어왔다는 것은 기동 상태를 확인하지 못했을 경우이기 때문에 쉘 스크립트를 종료하고, 해당 쉘 스크립트를 호출했던 쉘 스크립트로 넘어가게 해 주었어요.

📦 applicationDockerContainerChangeOldErrorRemove()

Health Check를 하면서 문제가 발생된 컨테이너는 빠르게 제거하고, 다시 기동해 주어야 하기 때문에 이 함수로 들어오게 해 주었고, 이 함수는 컨테이너 이름을 매개 변수로 받아 작동하게 된답니다.

최초 이 곳에서 문제 발생 컨테이너가 어떤 것인지를 확인하고, 중지 및 삭제 명령어에 들어갈 변수 설정해 주었어요.

본격적으로 이 곳에서 문제 있는 컨테이너 중지 및 삭제를 진행하는데,
도커 컨테이너는 docker stop 명령어로 먼저 중지를 시켜야지 docker rm 명령어를 통해 삭제가 가능하기 때문에
stop 명령어가 성공했을 때, rm 명령어가 실행 될 수 있도록 해 주었어요.

rm 명령어까지 정상 처리가 되었다면 이름 없는 도커 이미지가 있을 수 있기 때문에 해당 이미지를 지울 수 있는 함수를 호출해 주었고, 251번째 줄을 통해 해당 컨테이너 기동 함수를 호출해 주었어요.

이제 이 곳에서 다시 컨테이너 기동 작업을 실시해 줍니다.

컨테이너 기동 관련해서는 이 전에 작성한 이 곳에 정성스럽게 내용을 준비해 두었어요.
혹시라도 이해가 되지 않는다면 다시 한번 참고해 주세요.

[CI/CD] Jekins + Docker를 이용한 무중단 배포 - ③ Application Server Docker Job (② Application Docker Run)

🗂 목차 ✅ [CI/CD] Jenkins와 Gitea 연동 ✅ [CI/CD] Jenkins Trigger 정보 Discord로 보내기 ✅ [CI/CD] 정적 코드 분석 툴 SonarQube와 Jenkins 연동 ✅ [CI/CD] SonarQube를 통해 Code Convention 적용 ✅ [DevOps] JAVA Gradle JaCoCo

junyharang.tistory.com

컨테이너 기동 뒤 정상 기동 여부를 확인하고, 정상 기동이 되었다면
다시 Health Check가 이뤄지도록 함수를 호출해 주었어요.

하지만 그럼에도 불구하고, 기동 여부가 정상이 아니라면 문제 내용을 출력 및 로그 저장 한 뒤 끝나게 처리해 주었어요.

unknownNameImageDelete()는 이름 없는 도커 이미지를 지우는 함수에요.

최초 checkDockerImage()를 호출하여 docker images 명령어를 통해 현재 존재하는
도커 이미지 정보를 출력하게 해 주었어요.

그런 뒤 328번째 줄에서 docker images 명령어로 grep을 잡아 <none> 이 포함된 행이 있는지를 확인해 주고,
있다고 하면 335번째 줄에서 해당 이미지를 지울 수 있게 처리해 주었어요.

위 명령어들에 대해서는 이 전에 작성했던 이 곳에 자세히 작성해 두었으니
혹시 이해가 되지 않는다면 다시 한번 참고 부탁드립니다.

[CI/CD] Jekins + Docker를 이용한 무중단 배포 - ② Create Docker Image And BackUp

junyharang.tistory.com

이렇게 쉘 스크립트 작업이 모두 끝나면 이 곳으로 와서 작업이 끝난 것을 알려주고, docker ps -a 명령어를 출력하여 현재 기동중인 도커 목록을 확인할 수 있도록 처리해 주었어요.

이 스크립트가 끝나면 해당 스크립트를 호출한 스크립트로 작업이 넘어가게 되요.

이번 글에는 여기까지 정리하고, 다음 글에서는 NGINX 도커 만들기 전 설정 관련 작업 방법에 대해 정리해 볼게요.

도커 교과서:설치부터 실전 운영 투입까지 한 권에 담았다!

COUPANG

www.coupang.com

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

이전 글: [CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ③ Application Server Docker Job (② Application Docker Run)

다음 글: [CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ④ NGINX Server Docker Job (① NGINX 각 종 설정)

728x90

저작자표시 비영리 변경금지

'System 작업실 > DevOps' 카테고리의 다른 글

[CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ④ NGINX Server Docker Job (② NGINX Docker 존재 여부 확인) (0)	2023.07.06
[CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ④ NGINX Server Docker Job (① NGINX 각 종 설정) (0)	2023.07.06
[CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ③ Application Server Docker Job (② Application Docker Run) (0)	2023.07.06
[CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ③ Application Server Docker Job (① Application 도커 존재 여부 확인) (0)	2023.07.05
[CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ② Create Docker Image And BackUp (0)	2023.07.05

Juny's ITLog

Juny's ITLog

태그

최근글

댓글

공지사항

아카이브

🗂 목차

🤔 내가 만난 문제

🚀 Application Docker Health Check