[DevOps - CentOS 7.9] Docker Remote Registry 사용법

 

🗂 목차

● [DevOps - CentOS 7.9] Docker Local Registry (개인 Docker Hub) 구축하기 
● [DevOps - CentOS 7.9] Docker Local Registry 사용법
● [DevOps - CentOS 7.9] Docker Remote Registry 사용법

 

🚀 원격지 Docker Hub 설정

    🔽  개요

        📦 준비하기

위의 방법은 Local Docker Image를 Push하고, Pull할 수 있는 방법이에요.

만약 Resistry가 원격지에 있다면 아래와 같이 설정을 해주어야 합니다.

최초 원격지에 대한 설정을 하기 위해서 SSL/TLS 통신이 가능하도록 해 주어야 해요.
이 때문에 SSL/TLS 인증서를 만들어주어야 하는데, 이 부분에 대해서는 이 곳에 준비해 두었어요.

준비한 정리 부분에서 SSL/TLS 인증서를 만들어 주었으니 이제 적용을 시켜 볼게요.

최초 Server에서 생성된 인증서를 사용하기 위해서는 Registry Container를 재 시작해주어야 해요.

만약 Registry가 기동중이라면 아래 명령어를 통해 Container를 중지하고, 삭제해 주세요.

docker stop {Container ID}			// Container 중지
docker rm {Container ID}			// Container 삭제

docker ps -a

최초 주니하랑은 Docker Registry를 Web으로 보여주는 Container부터 내리고, 없애버렸어요.

이 Container도 Docker Registry에 종속해서 기동중이기 때문이에요.

그런 뒤 Docker Registry Container도 내리고, 없애 버렸어요.

 

    🔽  인증서 적용

        📦 Docker Registry

이제 인증서를 적용하고, Container를 재 기동 해 볼게요.

 

docker 기동 명령어

docker run -itd \
--restart=always \
--name={Container Name} \
--ip {Container IP} \
-v {인증서 만든 Sever의 인증서 Directory Path}:{Container 내부 인증서 보관할 Directory} \
-v /opt/docker/volume_mapping/registry:/var/lib/registry/docker/registry/v2 \
-e REGISTRY_HTTP_ADDR=0.0.0.0:5000 \
-e REGISTRY_HTTP_TLS_CERTIFICATE={Container 내부 인증서 보관할 Directory}/server.crt \
-e REGISTRY_HTTP_TLS_KEY={Container 내부 인증서 보관할 Directory}/server.key -p 5000:5000 \
registry:latest

주니하랑은 위와 같이 Docker를 기동 시켜 주었어요.

docker ps -a && docker logs {Container ID}

일단 위와 같이 Container가 기동 중인걸 확인하였어요.

 

 

 

 

 

 

 

        📦 Jenkins

주니하랑이 활동하고 있는 개발 프로젝트 기깔나는 사람들은 CI/CD를 위해 Jenkins와 Docker를 이용하고 있고, 주니하랑은 Docker Image를 저장하기 위한 Docker Registry를 만들고 있어요.

Docker Registry에 push를 하고자 하는 Client에서도 SSL/TLS 인증서를 적용 시켜야 하는 작업이 필요해요.

기깔나는 사람들은 Jenkins를 이용해서 Docker Registry에 Image를 관리할 것이기 때문에 Jenkins에 SSL/TLS를 적용 시켜 보려고 해요.

그러기 전에 Docker Host Server 즉, SSL/TLS 인증서를 만든 Server에서도 Docker Registry를 이용할 수 있도록 설정해 볼게요.

해당 Server는 가상 OS이며, CentOS 7.9 입니다.

cp {인증서 절대 경로}/{인증서 이름}.crt /etc/pki/ca-trust/source/anchors/

먼저 인증서를 위의 위치로 복사 붙혀넣기 하여 주었어요.

update-ca-trust

그런 뒤 위의 명령어로 인증서 최신화 하여 주었어요.

systemctl restart docker && systemctl status docker

그런 뒤 Docker Deamon을 재 기동 하여 주었어요.



이번에는 Jenkins에서 작업을 해 줄게요.

최초 SCP(Secure Copy)를 이용하여 Docker Registry Container에
넣어주었던 인증서를 Jenkins에 옮겨주도록 할 거에요.

Jenkins 역시 Docker Container로 기동 중이며, 

cat /etc/issue

OS 종류는 위와 같이 Debian 계열이에요.

apt-get update && apt-get upgrade -y

SCP를 이용해서 File을 전송하려면 SSH Deamon이 기동 중이여야 해요.

Openssh Server를 기동하기 위해 해당 설치 File을 내려 받을 건데, 그 전에 apt를 Update 해 주도록 합니다.

apt-get install -y openssh-server

그런 뒤 위와 같이 openssh Package를 내려 받아 줄거에요.

/etc/init.d/ssh start

그런 뒤 위와 같이 ssh Deamon을 기동 시켜 줍니다.

netstat -ntl

22번 Port를 사용하는 SSH가 Listen 상태 인 것을 확인할 수 있어요.

 

passwd

SSH, SCP 등을 통해 해당 Server에 접속하려면 접속하고자 하는 계정에 비밀번호가 설정 되어 있어야 해요.
주니하랑은 위와 같이 Root 계정에 Password를 설정해 주었어요.

scp -r {대상 Server 계정}@{대상 Server IP}:~/{대상 Server Directory Path} {내려 받고자 하는 Server Path}

반응형

위와 같이 scp 명령어를 통해 Directory 자체를 내려 받아 주었어요.

Debian 계열의 경우 위와 같이 인증서를 등록해 주어야 해요.

위와 같이 등록을 해 주었다면 Server 재 기동을 해 줍니다.

docker restart {Container ID}

위의 명령어를 통해 Docker Container를 재 기동 할 수 있어요.

    🔽  가지고 놀기

        📦 Test

이제 잘 되는지 한번 확인해 볼까요?

Test는 Jenkins Docker가 아닌 Docker Container Host Server에서 진행하도록 할 것이에요.

docker pull hello-world

최초 Test를 위해 hello-world Docker Image를 받아 주었어요.

docker tag {Image 이름} {Registry IP}:{Port}/{Container 이름}

위와 같이 Tag 정보를 남겨서 docker Image를 새로 만들어 주었어요.

중요한 건 Image 이름에 Docker Registry 정보가 꼭 들어가야 한다는 것이에요.

docker push {Registry IP}:{Port}/{Container 이름}

위와 같이 Registry에 push 명령어를 통해 Image를 등록해 주었어요.

curl -v -k -X GET https://{Registry IP}:{Port}/v2/_catalog

위와 같이 repositories에 registry-test Image가 정상적으로 들어간 것을 확인할 수 있어요.


이번에는 Resistry Web Service를 기동하여 보다 편하게 확인해 볼게요.

hyper/docker-registry-web에 대한 설정은 이 곳에서 확인할 수 있어요.

기동은 잘 되었지만, 위와 같이 문제가 발생했어요.

기존에 주니하랑은 Resistry와 Web Service를 연결할 때, yml File을 아래와 같이 만들어 주었어요.

docker_registry_config.yml

즉, 현재는 https SSL/TLS 방식으로 통신하기 때문에 http로 요청을 보내 문제가 발생했다는 것이에요.

vim /opt/docker/config/docker_registry_config.yml

위와 같이 수정을 해주고, Web 관련 Container를 죽였다가 다시 기동 시켜 볼게요.

728x90

docker run -it \
--ip 172.17.0.5 \
-d --restart=always \
-p 8081:8080 \
--name Giggal-people_DockerHub \
--link Giggal-people_Docker-Hub \
-v /opt/docker/config/docker_registry_config.yml:/conf/config.yml:ro \
hyper/docker-registry-web

위와 같이 다시 올려 주었어요.

curl -X GET {Registry IP}:{Port}/v2/_catalog

위와 같이 curl을 이용해서 HTTP Method Get으로 잘 들어갔는지 확인하고자 하였으나,
인증서 문제가 있다는 것을 확인할 수 있어요.

 

curl -v -X GET curl -X GET {Registry IP}:{Port}/v2/_catalog

-v Option을 추가하여 자세하게 무슨 문제가 있는지 확인하려고 했어요.

이 문제는 발급자 인증서가 유효하지 않다는 문제에요.

주니하랑은 crt File을 ~/certificate/server.crt에 저장을 해 주었는데, 위에 curl에서 보면 해당 CA File을 /etc/pki/tls/certs/ca-bundle.crt로 참조하고 있는 것을 확인할 수 있어요.

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

최초 이 문제를 해결하기 위해 기존에 저장되어 있던 ca-bundle.crt를 따로 저장해 두고, 주니하랑이 만든 server.crt 라는 File을 /etc/pki/tls/certs/ca-bundle.crt로 덮어쓰기 해 주었어요.

그런 뒤 다시 curl 명령어를 수행하니 정상적으로 작동하는 걸 확인할 수 있었어요.

그렇다면 위와 같이 Docker Registry와 통신해야 하는 모든 Server들에 해당 작업이 필요하다는 걸 깨달았어요. 

먼저 Docker Registry Web Server에서 작업을 해 볼게요.

docker exec -it {Container ID} /bin/bash

최초 Bash Shell을 이용하겠다고 알려주면서 해당 Container에 접속하여 줄게요.

curl이 설치되어 있지 않으므로 설치를 해줄게요.

cat /etc/issue

해당 Container는 Ubunt 14.04.5 LTS 에서 기동중이니 그에 맞는 명령어를 사용해야 해요.

apt-get update && apt-get upgrade -y

최초 apt를 최신화 해줄게요.

apt-get install -y curl

그런 뒤 위와 같이 curl을 내려 받아 주었어요.

curl -v -X https://{Docker Registry IP}:{Port}/v2/_catalog

역시 위와 같이 문제가 발생하고 있어요.

SCP 명령어를 이용해서 위에서 저장해둔 File을 바로 받아오도록 했어요.

update-ca-certificats

그런 다음 위에 명령어로 인증서를 최신화 해 주었어요.

curl -v -X GET https://{Docker Registry IP}:{Port}/v2/_catalog

정상적으로 연결된 것을 확인할 수 있어요.



마지막으로 Jenkins도 작업해 줘야겠어요.

curl -v -X GET https://172.17.0.2:5000/v2/_catalog

위와 마찬가지로 문제가 발생하고 있는걸 확인할 수 있어요.

위와 같이 crt File을 SCP로 이용해서 내려 받은 뒤 인증서 최신화를 해주었어요.

대상 Server가 가진 인증서를 직접 Handling하기 위해 위와 같이 내려 받기를 해 주었어요.

vim /etc/ssl/certs/cacert.pem

pem File을 수정해야 하는데, 위와 같이 ---BEGINS CERTIFICATE--- 부터 ---END CERTIFICATE---- 까지만 남기고 모두 지워주세요. 만약 이 내용이 두 개라면 맨 아래 부분만 남기고, 모두 지워줍니다.

cat cacert.pem > /usr/local/share/ca-certificates/cacert.crt

수정한 pem File을 cacert.crt로 변환해서 저장해 주고, 인증서 Update를 진행해 주었어요.

root@319ae9040b13:/etc/ssl/certs# curl -v -X GET https://172.17.0.2:5000/v2/_catalogNote: Unnecessary use of -X or --request, GET is already inferred.
*   Trying 172.17.0.2:5000...
* Connected to 172.17.0.2 (172.17.0.2) port 5000 (#0)
* ALPN, offering h2
* ALPN, offering http/1.1
* successfully set certificate verify locations:
*  CAfile: /etc/ssl/certs/ca-certificates.crt
*  CApath: /etc/ssl/certs
* TLSv1.3 (OUT), TLS handshake, Client hello (1):
* TLSv1.3 (IN), TLS handshake, Server hello (2):
* TLSv1.3 (IN), TLS handshake, Encrypted Extensions (8):
* TLSv1.3 (IN), TLS handshake, Certificate (11):
* TLSv1.3 (IN), TLS handshake, CERT verify (15):
* TLSv1.3 (IN), TLS handshake, Finished (20):
* TLSv1.3 (OUT), TLS change cipher, Change cipher spec (1):
* TLSv1.3 (OUT), TLS handshake, Finished (20):
* SSL connection using TLSv1.3 / TLS_AES_128_GCM_SHA256
* ALPN, server accepted to use h2
* Server certificate:
*  subject: C=KO; L=Default City; O=Giggal-people; CN=172.17.0.2; emailAddress=giggals.pepole@gmail.com
*  start date: Nov 17 04:38:24 2022 GMT
*  expire date: Nov 16 04:38:24 2025 GMT
*  subjectAltName: host "172.17.0.2" matched cert's IP address!
*  issuer: C=KO; L=Default City; O=Giggal-people; CN=172.17.0.2; emailAddress=giggals.pepole@gmail.com
*  SSL certificate verify ok.
* Using HTTP2, server supports multi-use
* Connection state changed (HTTP/2 confirmed)
* Copying HTTP/2 data in stream buffer to connection buffer after upgrade: len=0
* Using Stream ID: 1 (easy handle 0x5631f71f91e0)
> GET /v2/_catalog HTTP/2
> Host: 172.17.0.2:5000
> user-agent: curl/7.74.0
> accept: */*
> 
* TLSv1.3 (IN), TLS handshake, Newsession Ticket (4):
* Connection state changed (MAX_CONCURRENT_STREAMS == 250)!
< HTTP/2 200 
< content-type: application/json; charset=utf-8
< docker-distribution-api-version: registry/2.0
< x-content-type-options: nosniff
< content-length: 35
< date: Thu, 17 Nov 2022 10:19:53 GMT
< 
{"repositories":["registry-test"]}
* Connection #0 to host 172.17.0.2 left intact

위와 같이 정상적으로 Curl을 통해 통신이 된 것을 확인하였어요.

Docker Web Registry

안타깝게도 Web Registry는 사용할 수 없을 거 같아요.

위에서 나오는 문제는 JAVA에서 SSL 통신을 하지 못하여 발생하는 Exception인데, 이를 해결하기 위해 위에서와 같이 Server내에서 할 수 있는 것들을 해보았지만, JAVA에서 TLS Version 등에 설정이 필요할 거 같아요.

혹시 해결 방법을 아시는 분이 계시다면 댓글 부탁드리겠습니다! 🫡

🧐 참고 자료

[linux] Self-signed certificate 를 신뢰할 수 있는 인증서로 추가하기