[CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ④ NGINX Server Docker Job (① NGINX 각 종 설정)

 

 

 

 

 

 

 

🗂 목차

⚠️ 아래 목차 중 몇몇개의 링크가 걸리지 않는 문제로 글 맨 하단에 다음 글로 이동할 수 있게 해 두었습니다.

✅ [CI/CD] Jenkins와 Gitea 연동
✅ [CI/CD] Jenkins Trigger 정보 Discord로 보내기
✅ [CI/CD] 정적 코드 분석 툴 SonarQube와 Jenkins 연동
✅ [CI/CD] SonarQube를 통해 Code Convention 적용
✅ [DevOps] JAVA Gradle JaCoCo (Code coverage) 설정하기 
✅ [DevOps] JAVA Gradle JaCoCo (Code coverage) 설정하기 (추가)(https://junyharang.tistory.com/392)
✅ [CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ① Application Linuxt(Ubuntu)에 SSH를 이용한 파일 전송
✅ [CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ② Create Docker Image And BackUp
✅ [CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ③ Application Server Docker Job (① Application 도커 존재 여부 확인)
✅ [CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ③ Application Server Docker Job (② Application Docker Run)(https://junyharang.tistory.com/406)
✅ [CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ③ Application Server Docker Job (③ Application Docker Health Check)
✅ [CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ④ NGINX Server Docker Job (① NGINX 각 종 설정) 
✅ [CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ④ NGINX Server Docker Job (② NGINX Docker 존재 여부 확인) 
✅ [CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ④ NGINX Server Docker Job (③ NGINX Docker Run & Health Check)
✅ [CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ④ NGINX Server Docker Job (③ NGINX 재 설정)

🤔 내가 만난 문제

⛔️ [Jenkins] java.lang.OutOfMemoryError: Java heap space

 

 

배포 자동화와 지속적 인도:도커와 젠킨스 쿠버네티스로 만드는

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

 

 

 

 

🚀 NGINX 각 종 설정

    🔽 개요

        📦 구성도

CI/CD 무중단 배포 구성도

 

 

deploy Directory Path

 

 

 

 

        📦 소개

지난 글에서 Application(Spring Boot) Docker Container를 두 개 올리고,
Health Check까지 하여 정상 구동 중이라는 것을 확인하였어요.

이번에는 NGINX Docker Container 기동하기 전 NGINX 설정 관련에 대해 알아보려고 해요.

NGINX가 무엇이고, 기본적인 사항에 대해서는 이 곳에 정성스럽게 정리해 두었어요.

[DevOps] NGINX란?

 

 

 

    🔽 Jenkins

        📦 Jenkinsfile

       stage('운영 환경 DMZ 서버 NGINX 관련 File 전달 및 스크립트 실행 권한 부여') {
            when {
                expression { env.GIT_BRANCH == 'master' | env.GIT_BRANCH == 'main' }
            }

            steps([$class: 'BapSshPromotionPublisherPlugin']) {
                script {
                    def startTimeMillis = System.currentTimeMillis()

                    sshPublisher(
                            continueOnError: false, failOnError: true,

                            publishers: [
                                    sshPublisherDesc(
                                            configName: "op-total-back-office-nginx",
                                            verbose: true,
                                            transfers: [
                                                    sshTransfer(
                                                            remoteDirectory: "deploy/",
                                                            execCommand: "rm -rf *;"),
                                                    sshTransfer(
                                                            sourceFiles: "deploy/prod/nginx/**",
                                                            execCommand: "chmod +x $DOCKER_SERVER_BASE_DIRECTORY/deploy/prod/nginx/shell-script/nginxContainerExistenceStatusCheck.sh; \
                                                                          chmod +x $DOCKER_SERVER_BASE_DIRECTORY/deploy/prod/nginx/shell-script/nginxDockerContainerRun.sh; \
                                                                          chmod +x $DOCKER_SERVER_BASE_DIRECTORY/deploy/prod/nginx/shell-script/nginxServiceSetting.sh; \
                                                                          chmod +x $DOCKER_SERVER_BASE_DIRECTORY/deploy/prod/nginx/shell-script/nginxHealthCheck.sh"),
                                            ]
                                    )
                            ]
                    )

                    def endTimeMillis = System.currentTimeMillis()
                    def requiredTimeMillis = endTimeMillis - startTimeMillis
                    def requiredTimeSecond = requiredTimeMillis / 1000

                    echo '운영 환경 DMZ 서버 NGINX 관련 File 전달 및 스크립트 실행 권한 부여 작업 소요 시간 : ' + requiredTimeSecond + ' 초'
                }
            }

            post {
                success {
                    script {
                        sendSuccessAlarmToDiscord('운영 환경 DMZ 서버 NGINX 관련 File 전달 및 스크립트 실행 권한 부여')
                    }
                }

                failure {
                    sendFailedAlarmToDiscord('운영 환경 DMZ 서버 NGINX 관련 File 전달 및 스크립트 실행 권한 부여')
                }
            } // Discord Send Post 끝
        } // stage('운영 환경 DMZ 서버 NGINX 관련 File 전달 및 스크립트 실행 권한 부여') 끝

        stage('운영 환경 DMZ 서버 NGINX Docker 관련 작업') {
            when {
                expression { env.GIT_BRANCH == 'master' | env.GIT_BRANCH == 'main' }
            }
            steps([$class: 'BapSshPromotionPublisherPlugin']) {
                script {
                    def startTimeMillis = System.currentTimeMillis()

                    sshPublisher(
                            continueOnError: false, failOnError: true,
                            publishers: [
                                    sshPublisherDesc(
                                            configName: "op-total-back-office-nginx",
                                            verbose: true,
                                            transfers: [
                                                    sshTransfer(execCommand: "$DOCKER_SERVER_BASE_DIRECTORY/deploy/prod/nginx/shell-script/nginxContainerExistenceStatusCheck.sh")
                                            ]
                                    )
                            ]
                    )

                    def endTimeMillis = System.currentTimeMillis()
                    def requiredTimeMillis = endTimeMillis - startTimeMillis
                    def requiredTimeSecond = requiredTimeMillis / 1000

                    echo '운영 환경 DMZ 서버 NGINX Docker 관련 작업 소요 시간 : ' + requiredTimeSecond + ' 초'
                }
            }

            post {
                success {
                    script {
                        sendSuccessAlarmToDiscord('운영 환경 DMZ 서버 NGINX Docker 관련 작업')
                    }
                }

                failure {
                    sendFailedAlarmToDiscord('운영 환경 DMZ 서버 NGINX Docker 관련 작업')
                }
            } // Discord Send Post 끝
        } // stage("운영 환경 Docker 관련 작업") 끝

NGINX가 기동될 환경은 위의 CI/CD 구성도와 같이 WAS가 구동될 서버와 다른 위치에 있기 때문에
configName이 달라요.

그리고, 이 전 애플리케이션 작업과 마찬가지로 SSH를 통해 필요한 파일을 옮기고,
Shell Script가 동작할 수 있도록 해 주었어요.

 

 

 

 

 

 

    🔽 설정

        📦 default.conf

NGINX Docker Container 안에 /etc/nginx/conf.d 에는 default.conf가 위치하고 있어요.

server {
    listen       80;
    listen  [::]:80;
    server_name  localhost;

    #access_log  /var/log/nginx/host.access.log  main;

    location / {
#         root   /usr/share/nginx/html;
        root /usr/local/www/html;
        index  index.html index.htm;

        # 디렉터리 리스팅 취약점 제거
        autoindex off;
    }

    #error_page  404              /404.html;

    # redirect server error pages to the static page /50x.html
    #
    error_page 400 401 403 404 500 /error.html;
    location = /error.html {
#         root   /usr/share/nginx/html;
        root /usr/local/www/html;
    }

    # proxy the PHP scripts to Apache listening on 127.0.0.1:80
    #
    #location ~ \.php$ {
    #    proxy_pass   http://127.0.0.1;
    #}

    # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
    #
    #location ~ \.php$ {
    #    root           html;
    #    fastcgi_pass   127.0.0.1:9000;
    #    fastcgi_index  index.php;
    #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
    #    include        fastcgi_params;
    #}

    # deny access to .htaccess files, if Apache's document root
    # concurs with nginx's one
    #
    #location ~ /\.ht {
    #    deny  all;
    #}
}

여기서 몇가지 보안 사항에 위배될 부분을 수정해 주었는데,
먼저 디렉터리 리스팅 취약점 제거를 위해 autoindex off;를 설정해 주었어요.

💡 참고 사항
디렉토리 리스팅 취약점

  → WAS의 환경 설정 미흡으로 웹 디렉토리 호출 시 해당 WAS의 디렉토리 목록이 외부에 노출되는 취약점

공격 당했을 시

  → 브라우징하는 모든 파일을 보여줌

  → 백업파일 및 소스코드, 스크립트 파일의 유출로 인해 계정 정보가 유출 가능

※ 최근에는 웹 서버 공격을 방지하기 위해 대부분 해당 기능을 사용하지 않음 ※

공격 방법?

   → 이미지 파일 등 경로를 알 수 있을 때, URL 부분에 파일명을 지우고 입력하면 파일 리스트를 볼 수 있음

   → 무작위로 많이 사용되는 디렉토리명 대입

         ex) http://nxxxxxx.com/admin 등

 

대응 방법?

  → 서버의 설정을 변경해서 기본 페이지가 없을 경우 디렉토리 목록이 노출되지 않도록 함

 

이 문제를 해결했기 때문에 주니의 웹 서비스에서 위와 같이 공격 시도를 해보면

위와 같이 Error Page로 넘어가는 걸 확인할 수 있어요.

        📦 nginx.conf

# 웹 프로스세 권한 제한을 위한 Nginx Deamon 소유자 nginx로 설정
user  nginx;
worker_processes  auto;

error_log  /var/log/nginx/error.log notice;
pid        /var/run/nginx.pid;

events {
    worker_connections  1024;
}

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

# 로그 포맷 설정 (웹 서버의 로그 포맷을 Combined로 설정하지 않으면, 공격 가능 여부 파악, 공격 대상 사용 툴 파악, 공격 대상 위치 파악이 불가능하므로 반드시 Combined 포맷 또는 그에 준하는 포맷 스트링으로 설정)
    access_log  /var/log/nginx/access.log  combined;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    #gzip  on;

    # hide nginx version
    server_tokens off;

    #심볼릭 링크 제한
    disable_symlinks on;

    # File Upload & Download 제한
    client_max_body_size 20M;

    include /etc/nginx/conf.d/*.conf;

    # 운영 환경
    upstream prod-backend {
        #prod blue
        server 192.168.20.12:1001;
        #prod green
        server 192.168.20.12:1011;
    } # upstream prod-backend 끝

    server {
        listen 80;
        server_name 192.168.30.3 211.109.XXX.XXX;

        # 기본적으로는 백엔드 서버가 보내오는 모든 에러 페이지를 엔진엑스가 직접 클라이언트에게 회신합니다. 이 지시어 값을 on으로 설정하면 에러 코드를 분석해 error_page 지시어에서 지정한 값과 비교 합니다. (https://12bme.tistory.com/367)
        proxy_intercept_errors on;

        error_page 400 401 403 404 500 502 503 504 /error.html;
        location = /error.html {
                root /var/www/html;
                internal;
        }

        location / {
            proxy_http_version 1.1;
            proxy_pass http://prod-backend;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header Host $http_host;
            # X-Frame-Options: 악의 적인 사용자가 본인의 사이트에 nginx server의 embedding 하는 것을 제한하는 방법입니다. - 클릭재킹 공격 기법 방어
            add_header X-Frame-Options "SAMEORIGIN";

            # X-XSS-Protection: 악의 적인 사용자가 본인의 사이트로 XSS 공격을 하는 것을 제한하는 방법입니다.
            add_header X-XSS-Protection "1; mode=block";

            proxy_connect_timeout 600;
            proxy_send_timeout 600;
            proxy_read_timeout 600;
            send_timeout 600;

            # 디렉터리 리스팅 취약점 제거
            autoindex off;
        }
    } # sever 끝
} #http 끝

nginx.conf의 경우 NGINX 도커 컨테이너 /etc/nginx에 위치하고 있어요.

기본적으로 만들어져 있는 nginx.conf 파일을 지우고, 위 내용이 첨가 되도록 쉘 스크립트 작업을 해 주었어요.

여기서 주요한 부분을 분석해 보면 최초 2번째 줄에 user 부분은 웹 프로세스 권한 제한을 위해
NGINX Deamon 소유자를 nginx로 설정해 준 것이에요.

nginx 계정은 로그인이 되지 않도록 설정 되어 있는데, 

이렇게 NGINX 컨테이너에서 해당 계정 정보를 확인해 보면 사용할 수 있는 쉘 스크립트 부분이 /bin/false로 되어 있는 것을 확인할 수 있고, 이는 계정 로그인이 되지 않는다는 의미에요.

이 외에도 /sbin/nologin으로 되어 있어도 로그인이 되지 않아요.

nginx.conf

그리고 21번째 줄에 접속 로그 포맷 설정 부분을 combined로 해 주었는데, 이는 웹 서버의 로그 포맷을 combined로 설정하지 않을 경우 공격 가능 여부, 공격 대상 사용 툴, 공격 대상 위치 파악이 가능하기 때문에 Combined Format 또는 그에 준하는 Format String을 설정해 주는 것이 좋기 때문에 해 주었어요.

또한 Combined는 일반적으로 사용되는 로그 포맷 중 하나로, IP 주소, 접근 시간, 요청 정보, 응답 상태 코드, 전송된 바이트 수 등을 포함하여 접근 로그에 남길 수 있도록 해 준 부분이에요.

31번째 줄에는 Error가 발생하거나, 기타 문제 발생 시 해당 Page에 NGINX Version이
노출되지 않게 하기 위해 적어주었어요.

그리고, 34번째 줄에는 심볼릭 링크를 제한해 준 것이고, 37번째 줄에는 파일 업/다운로드의 크기를 20M로 제한하여
Web Shell 등등의 파일 관련 공격을 막기 위해 설정해 주었어요.

nginx.conf

Server Block에서 최초 50번째 줄을 통해 NGINX 도커 컨테이너의 NGINX 서비스 Port 번호를 80으로 설정해 주었어요.
이는 도커 컨테이너 외부 호스트 서버와 port mapping을 통해 다른 port를 사용할 수 있기 때문이에요.

server_name에는 NGINX에게 요청을 보낼 때 IP 주소 혹은 도메인 주소를 넣어주면 되는데,
주니는 내부망과 외부망을 NAT로 연결하여 해당 서비스가 외부에서도 통신될 수 있도록 설정해 주었기 때문에 공백을
기준으로 두 개의 내부망과 외부망 IP를 넣어주었어요.

스프링 부트 즉, Back End라면 내부망으로 숨겨도 되지만
해당 서비스는 외부에서 직접 통신해야 하는 서비스를 담고 있어서 외부망으로 통신 되도록 설정해 준 부분이에요.

56번째 부터 60번째 줄까지는 문제 발생 시 표시할 Error Page 설정을 해 준 부분이에요.

위와 같이 400 ~ 504 에러가 발생하면 error.html을 보여줘라하는 거고,

57번째 줄 Location Block을 통해 error.html은 /var/www/html에 있다고 알려주었어요.



62번째 Location Block에 / 는 server_name 뒤에 URL이 /라면 proxy_pass에 설정된 곳
즉, 42번째 줄에 upstream에 작성된 server를 호출할 수 있도록 해 준 부분이에요.

💡 참고 사항
NGINX Location 설정

- proxy_http_verion 1.1 : Proxy Request에 대해 사용할 HTTP Version 명시.

- proxy_pass : Request를 전달한 Upstream Server 주소 설정.
   위 내용에서는 http:prod-backend로 설정되어 있고, 실제로는 prod-backend라는 이름의 upstream Block에 정의된
   Sever Group 참조.

- proxy_set_header X-Real-IP : Request Header에 X-Real-IP Filed를 추가하고,
   그 값을 Client의 실제 IP 주소로 설정.

- proxy_set_header X-Forwarded-For : Request Header에 X-Forwarded-For Filed를 추가하고, 그 값을 이 전에
   추가된 Proxy Server IP 주소와 Client IP 주소를 포함한 형태로 설정. 이는 원격 Client IP를 Upstream
   Server(Application Server)에 전달하는데 사용.

- proxy_set_header Host : Reqeust Header에 Host Filed를 추가하고, 그 값을 원본 요청에서 받은 Host Header
   값으로 설정.

- add_header X-frame-Options "SAMORIGINS"; : Response Header에 X-Frame-Options Filed를 추가하고,
   그 값을 SAMEORIGIN으로 설정. 이는 클릭재킹 공격 방어를 위한 설정으로 악의적인 사용자가 사이트를 Iframe으로 포함하는
   것을 막기 위한 방어 설정.

- add_header X-Xss-Protection "1; mode=block"; : Response Header에 X-XSS-Protection Filed를
   추가하고, 그 값을 "1; mode=block"으로 설정하여 악의적인 사용자가 사이트로의 XSS(Cross-Site Scripting) 공격
    제한 설정.

- proxy_connect_timeout 600; proxy_send_timeout 600; proxy_read_timeout 600; send_time out 600; :
   Proxy 연결, 송신 및 수신 시간 초과를 600초로 설정. 이 설정을 통해 Proxy Server와의 연결이나, Data 전송에 대한
   Timeout 시간 지정.

- autoindex off; : 디렉터링 리스팅 비활성화 설정. 즉, Web Server가 Directory 내의 File List를 자동으로 표시하지 않도록
   하기 위한 설정으로 Directory 내 File에 직접 접근하지 못하게 하여 디렉터링 리스팅 취약점 방어.
   

 

        📦 errror.html

Error Page는 위와 같이 나올 수 있도록 설정해 주었어요.

<!DOCTYPE html>
<html>
<head>
    <meta charset="UTF-8">
    <style type=text/css>

        * {
            -webkit-box-sizing: border-box;
            box-sizing: border-box;
        }

        body {
            padding: 0;
            margin: 0;
        }

        #notfound {
            position: relative;
            height: 100vh;
        }

        #notfound .notfound {
            position: absolute;
            left: 50%;
            top: 50%;
            -webkit-transform: translate(-50%, -50%);
            -ms-transform: translate(-50%, -50%);
            transform: translate(-50%, -50%);
        }

        .notfound {
            max-width: 520px;
            width: 100%;
            line-height: 1.4;
            text-align: center;
        }

        .notfound .notfound-error {
            position: relative;
            height: 200px;
            margin: 0px auto 20px;
            z-index: -1;
        }

        .notfound .notfound-error h1 {
            font-family: 'Montserrat', sans-serif;
            font-size: 200px;
            font-weight: 300;
            margin: 0px;
            color: #211b19;
            position: absolute;
            left: 50%;
            top: 50%;
            -webkit-transform: translate(-50%, -50%);
            -ms-transform: translate(-50%, -50%);
            transform: translate(-50%, -50%);
        }

        @media only screen and (max-width: 767px) {
            .notfound .notfound-error h1 {
                font-size: 148px;
            }
        }

        @media only screen and (max-width: 480px) {
            .notfound .notfound-error {
                height: 148px;
                margin: 0px auto 10px;
            }

            .notfound .notfound-error h1 {
                font-size: 120px;
                font-weight: 200px;
            }

            .notfound .notfound-error h2 {
                font-size: 30px;
            }

            .notfound a {
                padding: 7px 15px;
                font-size: 24px;
            }

            .h2 {
                font-size: 148px;
            }
        }
    </style>
</head>
<body>
<div id="notfound">
    <div class="notfound">
        <h1>⛔️ 기깔나는 사람들 통합 관리 서비스 ⛔️</a></h1>
        <div class="notfound-error">
            <p>문제가 발생하였어요 😢</p>
        </div>
    </div>
</div>
</body>
</html>

반응형

이번 글에는 여기까지 정리하고, 다음 글에서는 NGINX 도커 관련 작업 방법에 대해 정리해 볼게요.

NGINX 쿡북 : 115가지 레시피로 배우는 고성능 부하분산 보안 서버 배포와 관리 2판

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

 

 

이전 글: [CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ③ Application Server Docker Job (③ Application Docker Health Check)

다음 글: [CI/CD] Jenkins + Docker를 이용한 무중단 배포 - ④ NGINX Server Docker Job (② NGINX Docker 존재 여부 확인)