[Infra] Maria DB(MySQL) 이중화(Replication) 단방향 구성

 

 

 

고성능 웹 애플리케이션 제작을 위한 MariaDB 성능 분석과 최적화

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

 

 

 

 

 

🗂 목차

● [Infra] Maria DB(MySQL) 이중화(Replication) 단방향 구성
● [Spring Boot][MariaDB] 이중화된 Data Base 초기 구성

 

 

 

🚀 Maria DB(MySQL) 이중화

    🔽  개요

        📦 소개

주니하랑이 현재 진행하고 있는 모임에서 Data Base를 어떤 것을 개발 환경에서 사용할지 고민하고, Maria DB를 선택하기로 하였어요.

그런데, 현업에서는 Data Base 부하를 막기 위해 여러가지 작업을 하게 되는데, 모임은 일단 Data Base 이중화를 통해 개발 환경에서의 부하를 막아보는 것으로 결정을 하였어요.

차후 운영 환경 Data Base는 어떻게 구성할지 아직 정해지지 않았지만, Data Base 이중화를 통해 Back End에서 어떻게 이중화된 Data Base를 이용할 수 있을지에 대해 고민하고, 공부하고 적용해 보는 시간을 갖으려고 해요.

 

MariaDB (MySQL) Replication(복제)란?

Replication은 복제를 뜻하며, 2개 이상의 DBMS를 나눠 각각의 Data를 나눠 저장하는 방식이에요.
이 때, 각각의 DBMS는 Master - Master 혹은 Master - Slave 형태로 구성할 수 있는 것이에요.
또한, 이것은 비동기 복제 방식을 이용하게 되고, Master와 Slave에 각각 고유 번호를 지정하여 이 고유 번호를 통해 서로를 인식하여 작동하게 해야 해요.

💡 참고 사항
Master DBMS 역할 :
WAS(Web Application Server)에서 삽입 / 수정 / 삭제 요청시 Binary Log를 만들어 Slave Server로 보내는 역할.
Master는 WAS로부터 요청된 Data 삽입 / 수정 / 삭제 기능을 하는 환경으로 구성하는 것이 일반적

Slave DBMS 역할 :
Master DBMS로 부터 전달 받은 Binary Log를 통해 실제 DB내에 Data를 구성
Slave는 WAS로부터 요청을 통해 Data를 불러오는 (Select) 처리를 위해 구성하는 것이 일반적

 

최초 Master DBMS의 Insert / Update 등에 Event가 발생하는 즉시 Slave Server에 변경된 Data 내용이 담긴 Binary Log를 전달하게 되요. 이러한 과정으로 양 쪽 DBMS를 동일한 Data가 존재하도록 Sync할 수 있고, Master가 장애가 나게 되면 Slave 서버로 변경하여 사용할 수 있도록 처리할 수도 있어요.

하지만, 주니하랑이 이중화를 하려는 이유는 위와 같은 이유도 있지만, 한 DBMS에 부하가 집중되는 것을 방지하고 싶기 때문이에요.

Binary Log란?

binarylog는 binlog라고도 부르고 있어요.
MariaDB(MySQL)에서 발생하는 모든 내역을 기록하는 Log File이고, 이것은 기본적으로 비활성화 되어 있는데, 이를 활성화 시켜주어야 해요.

 

 

복제 방식

STATEMENT : SQL문 복사
ROW - 변경된 row만 복사
MIXED - 두가지 방식 혼용

 

출처 : https://server-talk.tistory.com

User를 WAS라고 생각하고, 최초 이용자가 Web을 통해 어떤 요청을 하게 되면 해당 요청은 WAS로 전달되게 되고, WAS는 Query를 만들어 Master DBMS에 전달하게 될 거에요. 그리고 변경사항을 Binary Log로 만들어 Slaver Server에 전달하게 되고, 이를 통해 Data Sync가 되도록 하는 것이에요. 

 

 

 

 

Maria DB(MySQL) 단방향 이중화

출처 : https://server-talk.tistory.com

이용자가 많게 되면 엄청나게 많은 요청이 들어오게 될 것이고,
이것은 모든 Server에 부하가 걸리게 되는 결과를 만들게 되요.

이 때, DBMS에 과부하가 걸리는 것을 막기 위해 MariaDB (MySQL)
Replication을 이용하여 같은 DB를 여러 대로 분산하여 부하 분산을 할 수 있는 것이에요.

출처 : https://danidani-de.tistory.com/

∙ Data Base 사용자 혹은 WAS는 Insert, Update, Delete 등으로 Data 변경 요청을 위한 Query를 전달.
∙ Master DBMS는 Binary Log에 Data 변경 사항 기록.
∙ Connection Thread는 DB Storage 엔진에 Commit 수행.
∙ Slave가 I/O Thread를 통해 Master에게 Event 요청 시 Master의 Binary Log Dump Thread(Master Thread)를
    통해 Binary Log를 전송.
∙ Slave는 전송 받은 File을 Relay Log에 기록.
∙ Slave는 SQL Thread를 통해 Storage 엔진에 변경 사항 기록.

Maria DB(MySQL) 양방향 이중화

출처 : https://server-talk.tistory.com

Maria DB를 이중화 할 수 있는 방법은 이 외에도 여러가지가 있지만, 대표적으로는 크게 두가지 경우를 나눌 수 있어요.
여기서 주니하랑은 모임의 환경에 맞는 이중화를 고민해 보았고, 굳이 두 개의 Data Base에 읽기 / 쓰기 모든 작업을 가능하게 하여 처리를 할 필요가 없다고 생각했기 때문에 단방향 이중화를 구현하기로 결심하였어요.

 

 

※ 주의사항

호환성을 위해 Replication을 이용하는 모든 DBMS는 동일한 환경으로 구성하는 것을 추천합니다.
Replication을 이용하는 DBMS Version이 각기 다른 경우 Slave Server가 Master Server보다 상위 Version이여야 합니다.
Replication 기동 시 Master Server부터 올리고, Slave를 올려야 합니다.

또한, Replication을 이용하게 되면 계속적으로 Binary Log가 쌓이게 되고, 이는 결국 Storage 용량을 잡아먹는 원인이 되요. 그렇기 때문에 Cron을 이용해서 정리를 주기적으로 하거나, my.cnf에 expire_logs_days에 Log에 대한 유효기간을 지정해 주어야 해요.

Replication 과정에서 Error가 발생하면 Slave는 Error Log를 작성하게 되요.
나중에 Server 관리자 등이 Error를 추적하여 Binary Log를 분석하여 유실된 자료를 복구할 수 있도록 할 수 있답니다.

 

 

    🔽  Master Server

        📦 Version 확인

최초 Master DBMS에 설정 작업을 해줄게요.

먼저 해당 DBMS Version을 확인해 보았어요.

select version();

 

select version();

해당 DBMS는 Synology NAS에서 Docker Service를 이용해 구축한 Maria DB에요.

 

 

        📦 설정

Data Base 생성과 계정 생성

 

# Data Base 생성
create database test_replication character set utf8;

# Replication을 위한 계정 생성
grant replication slave on *.* to 'repl_adm'@'%' identified by '{계정 비밀 번호}';

이렇게 DB를 만들고, 계정을 먼저 만들어 주어야 해요.

다음은 해당 DBMS의 OS에서 작업을 해보려 해요.

vim /etc/mysql/my.cnf

[mysqld]
log-bin = mysql-bin
server-id = 1
binlog_format = row
expire_logs_days = 90

위와 같이 32 ~ 36번째 줄을 넣어주었어요.

💡 참고 사항
mysql-bin : Binary log File Name
server-id : master와 Slave의 값만 다르면 어떤 값이던 사용 가능
binlog_format : 이중화 유형 선택 (STATEMENT, ROW, MIXED 중 선택)
expire_logs_days : Binary Log 보관 기간 설정

 

service mariadb restart

그런 뒤 MariaDB Deamon을 재 기동하여 주었어요.

주니하랑은 현재 Master DBMS를 Synology NAS Docker에 띄운 것이에요.
그런데 위와 같이 재기동에 문제가 있어 Synology NAS에서 직접 재기동을 해주었어요.

show master status;

 

Binary Log 정보

위와 같이 Binary Log가 입력된 것을 확인할 수 있어요.
File명과 Position은 잘 기록해두어야 해요.

또한, Data Base 재 기동 시 File명과 Position 번호가 변경될 수 있다는 점을 잊으면 안되요.

 

 

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

 

 

    🔽  Slave Server

        📦 Version 확인

이번에는 Slave Server를 가지고 놀아보려고 해요.

최초 Version 부터 확인해 볼게요.

select version();

Master DBMS와 동일한 Version으로 맞추고 작업을 하는 중이에요.

해당 DBMS는 Laptop에 CentOS 7 Version을 올리고, 구축한 Maria DB에요.
이 서버에서는 Docker를 이용하지 않았어요.

vim /etc/my.cnf

[mysqld]
log-bin = mysql-bin
server-id = 2
binlog_format = row
expire_logs_days = 90

해당 Server는 Master와 다르게 my.cnf 위치가 etc Directory 바로 안에 있었어요.
아무래도 Docker를 만든 사람이 조절을 해서 그런가봐요.

Slave도 마찬가지로 12 ~ 16번째까지 추가해 주었어요.

다만, Master와 다른 부분은 server-id 부분인데, 반드시 Master와 다른 번호를 기입해 주어야해요.

systemctl restart mariadb

MariaDB Deamon을 다시 재 기동하여 주었어요.

mysql -u root -p

MariaDB에 root 계정으로 접속을 해 주었어요.
주니하랑은 root 계정이 외부에서 접속하지 못하도록 했기 때문에
SQL Tool을 이용해서 붙을 수 없어 CLI로 직접 작업을 하려해요.

반응형

change master to
    -> master_host="192.168.100.1",
    -> master_user="{계정 이름}",
    -> master_password="{계정 비밀번호}",
    -> master_port={MariaDB Port 번호},
    -> master_log_file="{Master DBMS Binary Log File Name}",
    -> master_log_pos={Master DBMS Binary Log Position 번호};

위와 같이 Master와 연결을 위한 Query를 작성해 주었어요.

start slave;

위의 Query로 Slave 동작을 실행해 주었어요.

728x90

show slave status\G;

위와 같이 연결 정보를 확인할 수 있어요.

 

 

show slave status\G;

만약 위와 같이 Last_IO_Error에 Error문이 나온다면 Master Server와의 연결에 문제가 있는 것이에요.
주니하랑은 Port 번호를 바꿨는데, 기존 Port번호를 이용하고, IP를 잘못 입력해서 나오는 문제였어요.

create database {DB 이름} character set utf8;

주니하랑은 위와 같이 Project에서 사용할 DB를 만들어 주었어요.

show databases;

DB는 정상적으로 잘 만들어졌어요.

show databases;

Slave DBMS에서도 위와 같이 만들어 진것을 확인할 수 있어요.

 

다시 Master에서 DB안에 Table을 하나 만들어 주었어요.

그리고 위와 같이 값을 넣어줘봤어요.

과연 Slave에도 생겼을까요?

위와 같이 Slave에도 동일한 값이 나오는 걸 확인할 수 있어요.

작업 성공이에요!

이렇게 하면 DB 뿐만 아니라, 사용자 계정도 모두 Master에서만 만들면 바로 Slave로 Sync할 수 있어요.


이제 Data Base 이중화를 해 보았으니 다음에는 BackEnd 개발자 답게
Spring Boot에서 이중화한 Data Base를 설정하고, 가지고 놀아볼게요.

🧐 참고 자료

MySQL(MariaDB) Replication - DB 실시간 이중화 :: DANIDANI

mariadb(mysql) 이중화 구성

 

 

MySQL Replication(복제) - 단방향 이중화

 

 

고성능 웹 애플리케이션 제작을 위한 MariaDB 성능 분석과 최적화

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."