AWS DMS를 사용하여 데이터베이스 Migration 하기

🛠

준비물 : AWS 계정, SSH 연결 프로그램

시작 전

• 목표 : On-premise DB서버를 AWS의 RDS로 Migration하기

• 여기를 눌러 기본 VPC & EC2 환경을 구성할 수 있다.

• 이 포스팅은 DMS에 대한 가장 기초적인 On-premise to RDS 마이그레이션을 위한 최소환경으로 구성하였다.

DMS란?

• DMS란? : 각종 데이터베이스를 DMS를 사용하여 AWS Cloud로 마이그레이션하거나, 온-프레미스 인스턴스 간에(AWS 클라우드 설정을 통해) 또는 클라우드와 온-프레미스 설정의 조합 간에 마이그레이션할 수 있다.

• DMS는 Free-Tier를 제공하지 않는 서비스이기 때문에 약간의 과금이 필요하다. (실습만 진행하고 삭제하면 1$ 이내로 가능하다)

• DMS Migration을 간단하게 표현하자면 기존 DB의 데이터를 새 DB에 옮겨주는 이삿짐 센터라고 생각하면 좋을 것 같다.

  

기존 DB (Origin DB)

• 기존 운영중인 DB서버 역할을 할 EC2 인스턴스를 생성한다. - 기존에 살던 집

• DB서버는 보통 Private공간에서 운영되는데 DMS는 IP를 기반으로 Origin DB에 접근하기 때문에 DMS를 위해 잠시 공인 IP를 설정해준 것이다.

• DB서버에 공인 IP를 설정하지 않고 DB를 Migration하려면 AWS Direct Connect 서비스를 사용하거나 VPN을 구축해 진행하는 방법도 있다.

 

 

• Origin DB 설정

  1. EC2 인스턴스에 SSH 접속 (MobaXterm 사용)

  2. Maria DB 설치 및 데몬 실행

     yum -y install mariadb mariadb-devel mariadb-server

  3. MariaDB 초기 설정

     [root@localhost ~]# mysql_secure_installation  Enter current password for root (enter for none): [패스워드가 없기 때문에 엔터]   Set root password? [Y/n] Y    [DB ROOT 패스워드 설정] New password: 패스워드 입력 Re-enter new password: 패스워드 재입력  Remove anonymous users? [Y/n] Y    [익명의 접근을 막을 것인지? 보안을 위해 Y 엔터]  Disallow root login remotely? [Y/n] Y    [DB ROOT 원격을 막을 것인지? 보안을 위해 Y 엔터]  Remove test database and access to it? [Y/n] Y  [Test 용으로 생성된 데이터베이스를 삭제할 것인가? Y 엔터]  Reload privilege tables now? [Y/n] Y  [현재 설정한 값을 적용할 것인지? 당연히 Y 엔터]  Thanks for using MariaDB! [완료]

  4. MariaDB 접속

     

  5. DMS를 위한 유저 생성
     • create user 'dms'@'%' identified by 'dms';

       

     • ID/PW 둘다 dms이다.
     • @뒤에 'localhost'를 입력하면 내부에서만 사용가능한 유저지만 '%'를 입력하면 모든IP에서 접속 가능하다.

  6. TEST DB 생성

     CREATE DATABASE DmsTest; # DB생성 SHOW DATABASES; # 생성확인

     

  7. 생성한 DB를 선택하고 Table 생성

     USE DmsTest CREATE TABLE cloudest ( name char(20) NOT NULL PRIMARY KEY,  city char(20) NOT NULL,  age int NOT NULL);

     

  8. INSERT INTO 문을 사용하여 데이터 추가

     INSERT INTO cloudest VALUES('홍길동','Seoul',11); INSERT INTO cloudest VALUES('LAR','Seoul',20);

     

  9. SELECT 문을 사용해 데이터 조회 후 MariaDB 종료

     SELECT * FROM cloudest;  exit

     

  10. dms 유저에게 DmsTest DB에대한 권한 부여

      

  11. 이렇게 생성한 데이터들이 DMS를 통해 RDS로 Migration되는지 확인할 것이다.

  12. Origin DB 구성 완료

DB Migration

• RDS 생성 - 이사갈 집

  1. Migration 되어질 깡통 DB를 생성한다.

     

  2. RDS는 Free-Tier를 지원한다.

     

  3. DB 인스턴스 이름을 설정해주고 DB 기본 User의 ID/PW를 지정한다.

     

  4. VPC, 보안그룹을 지정한다.

     

  5. 초기 DB 이름을 지정해준다. (지정하지 않으면 오류가 날 수 있음)

     

  6. RDS의 엔드포인트 주소 확인 :rds.cyz5dsu0yyms.ap-northeast-2.rds.amazonaws.com

     

  7. EC2 인스턴스에서 RDS에 접속

     mysql -u admin -p -h rds.cyz5dsu0yyms.ap-northeast-2.rds.amazonaws.com

     

  8. EC2 인스턴스에서 RDS에 접속해 초기 DB상태 확인

     

  9. RDS 생성 완료

• 서브넷 그룹 생성

  1. DMS 콘솔 → 서브넷 그룹 → 서브넷 그룹 생성

     

  2. 존재하는 퍼블릭 서브넷을 선택하고 서브넷그룹을 생성한다.

     

     • 서브넷은 꼭 IGW를 통해 외부와 통신할 수 있어야 한다.

  3. 서브넷 그룹 생성 완료

• 복제 인스턴스 생성 - 이삿짐 센터

  • 복제 인스턴스는 과금이 된다. DMS 실습 후 꼭 삭제해야한다.

    

  1. DMS 콘솔 → 복제 인스턴스 → 복제 인스턴스 생성

     

  2. 이름, 클래스, VPC등을 선택해준다.

     

  3. 서브넷그룹, 보안그룹 등을 지정한 후 생성

     

  4. 복제 인스턴스 생성 완료

• Source Endpoint 생성

  1. DMS 콘솔 → 엔드포인트 → 엔드포인트 생성

     

  2. 소스 엔드포인트 선택

     

  3. 엔드포인트 구성

     

     • 엔드포인트 식별자 = 엔드포인트 이름
     • 데이터베이스 엑세스를 수동으로 액세스한다.
     • 서버 이름에는 DB가 존재하는 Public IP를 입력한다.
     • 포트는 MariaDB의 포트 3306 입력한다.
     • 사용자 이름, 암호는 모든 IP가 접근할 수 있는 사용자로 입력한다. (root계정은 defualt로 localhost만 접근가능)

  4. 최하단에 엔드포인트 연결테스트 진행 후 successful이 나온 경우 성공적으로 연결된 것이다.

     

     • 이 나오지 않은경우
       • DMS,EC2에 3306 포트가 열려있는지 확인
       • DB, IP정보가 잘 입력되었는지 확인
       • DB user 생성할때 create user 'dms'@'%' identified by 'dms'; 와 같이 '%'를 적용했는지 확인
       • 서브넷의 인터넷 통신성 확인
     • successful이 나오지 않아도 테스트를 진행하는 순간 엔드포인트는 생성된다. 잘못 설정하여 생성된 경우 까먹지 말고 삭제하기

  5. 소스 엔드포인트 생성 완료

• Target Endpoint 생성

  1. Target은 RDS이다. DMS는 동일 AWS 내에 존재하는 RDS를 수동 지정할 수 있어서 Source보다 편리하게 생성할 수 있다.

     

  2. 엔드포인트 구성

     

     • 수동으로 액세스 정보 제공으로 변경 후 RDS PW만 잘 입력해주면 된다.

  3. 엔드포인트 연결 테스트

     

     • Source 엔드포인트와 달리 Target RDS는 비교적 오류발생이 적게 successful이 뜬다

  4. 타겟 엔드포인트 생성 완료

• DB Migration Task - 이사하기

  1. DMS 콘솔 → 데이터베이스 마이그레이션 태스크 → 태스크 생성

     

  2. 복제 인스턴스 및 엔드포인트 지정

     

  3. 태스크 설정은 간단하게 진행하기 위해 최소한의 셋팅

     

  4. 테이블 매핑 설정

     

     • 새 선택 규칙 추가
     • 테이블 이름에 clou%는 clou로 시작하는 모든 테이블을 Migration한다는 옵션을 주는 것

  5. 태스크 생성 → 자동으로 Migration 진행

     

  6. 데이터베이스 마이그레이션 태스크 생성 완료

   

결과 확인

• DB Mirgation 태스크 결과

  1. 태스크가 정상적으로 진행되면 아래와 같이 나온다.

     

  2. EC2 인스턴스에서 RDS에 접속

     mysql -u admin -p -h rds.cyz5dsu0yyms.ap-northeast-2.rds.amazonaws.com

     

  3. Migration 확인
     • Database 확인

       

       • show databases; 명령을 사용했을 때 DmsTest DB가 새로 생긴걸 확인할 수 있다.
     • Table 확인
       • 아래 명령을 사용해 테이블 확인

         use DmsTest show tables;

         

     • Data 확인
       • select * from cloudest; 명령으로 data확인

         

  4. 결론 : 테스트를 위해 생성한 cloudest 테이블 내부의 데이터가 정상적으로 Migration 되었다.

• 결과 확인 후 삭제 순서

  • DMS
    • DB 마이그레이션 태스크 삭제
    • 2개의 엔드포인트 삭제 
    • 복제 인스턴스 삭제 (프리티어가 아니라서 비용 발생)
    • 서브넷 그룹 삭제

  • RDS
    • 데이터 베이스 삭제
    • 스냅샷이 있다면 삭제

  • EC2
    • OriginDB 인스턴스 삭제

결론

• DMS를 통해 On-Premise의 MariaDB를 RDS의 MariaDB로 마이그레이션했다.

• DB의 단순 Migration 뿐만 아니라 조건을 주어 원하는 값만 Migration하거나 복제도중 값을 변환하여 Migration 하는 등의 다양한 기능을 제공하는 DMS에 대한 사용법을 익혔다.

 

Uploaded by Notion2Tistory v1.1.0

Cloudest - 블로그 이사했습니다