mysql 5.5 부터 사용 가능해진 utf8mb4 를 character-set 으로 사용하는 slave DB 를 구성할 때 주의사항
| utf8mb4 : 5.5.3 버전부터 사용 가능해진 character-set 으로, 3 바이트까지 저장가능한 utf8 character-set 의
superset 인 utf8mb4 는 4 바이트 까지 저장이 가능한 character set 입니다.
자세한 내용은 여기를 참고하세요 : https://dev.mysql.com/doc/refman/5.5/en/charset-unicode-utf8mb4.html
|
Master DB ( utf8 ) ---- replication ---> Slave DB ( utf8mb4 )
위와 같은 구성으로
utf8 을 사용하는 Master DB에 utf8mb4 를 사용하는 Slave DB 를 구성할 때,
replication 을 연결하면 ( start slave; ) 다른 character-set 으로 연결되어, 에러가 발생하게 됩니다.
하여 Slave DB 의 replication 시작 시 아래 variable 을 설정해야합니다.
+------------------------+---------------+
| Variable_name | Value |
+------------------------+---------------+
| slave_type_conversions | ALL_NON_LOSSY |
+------------------------+---------------+
[ slave_type_conversions ]
: slave 서버에서 사용되는 형식 변환 모드를 제어하는 변수
Mode
|
Effect
|
ALL_LOSSY
| 정보의 손실이 허용되는 타입 변환.
INT 컬럼이 TINYINT (a lossy conversion) 로 변환될 경우를 허용한다.
TINYINT 컬럼을 INT 컬럼으로 변환 (non-lossy)는 허용하지 않는다.
|
ALL_NON_LOSSY
| Source 의 값을 변경하거나, truncate 할 필요가 없다.
소스 타입보다 타켓이 넓은 범위를 가지는 변환을 허용한다.
손실 변환이 허용되는지 여부에 관계가 없다.
INT 타입을 TINYINT 로 변환, 혹은 CHAR(25) 타입을 VARCHAR(20) 타입으로 변환할 경우 데이터 손실 발생으로 슬레이브 오류와 함께 중지된다.
|
ALL_LOSSY, ALL_NON_LOSSY
|
모든 지원되는 유형 변환은 손실 전환 여부에 관계없이 허용됨.
|
[empty]
| 속성 승격, 또는 강등이 허용되지 않는다.
소스와 타겟 테이블의 모든 열이 같은 유형이어야 한다. 기본값임
|
해당 값을 변환 할 경우, slave restart 가 필요
utf8 보다 utf8mb4 character-set 이 저장공간이 더 크기때문에 (4 bytes)
ALL_NON_LOSSY 로 설정하더라도 데이터 손실은 없습니다.
replication 연결 시, 데이터 손실 여부를 반드시 잘 확인하고 설정되어야 합니다.
utf8, utf8mb4 간에 가능한 시나리오이고, 완전히 다른 형식의 캐릭터셋은 사용하지 않는 것이 좋겠습니다.
테스트 시나리오는 아래와 같습니다.
-- =============================================================
-- ( Master DB )
-- =============================================================
1) Meta Dump
신규 구성될 Slave DB 의 Character-set 을 utf8mb4 로 설정하기 위해
Master DB에서 mysqldump 를 사용하여 Meta 정보와 data 를 각각 받는다.
( dump restore시 문자열 치환해도 상관없음 - 여기서는 정확한 확인을 위해 meta 정보, row data 를 따로 받음)
// mysql database 를 제외하고 적용하기 위해, database 단위로 dump 받음
$./mysqldump --databases xxx kkk sysbench --opt --default-character-set=utf8mb4 [...] --no-data -uroot > /backup/pre_metadata.sql
2) 문자열 치환
Character-set : utf8 -> utf8mb4 / Collation : utf8_bin -> utf8mb4_bin 으로 문자열 치환
cat pre_metadata.sql | sed 's/CHARSET=utf8 COLLATE=utf8_bin/CHARSET=utf8mb4 COLLATE=utf8mb4_bin/g' | sed 's/COLLATE utf8_bin/COLLATE utf8mb4_bin/g' | sed 's/CHARACTER SET utf8/CHARACTER SET utf8mb4/g' > /backup/metadata.sql
3) only data dump
$ ./mysqldump --databases xxx kkk sysbench --opt --default-character-set=utf8mb4 [...] --master-data=2 --single-transaction --no-create-db --no-create-info -uroot > /backup/onlydata.sql
// dump 후 시점정보 확인
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000001', MASTER_LOG_POS=4892;
-- Master DB의 table character-set
+--------------+--------------+--------+--------------------+-----------------+------------+
| table_schema | table_name | engine | character_set_name | table_collation | table_type |
+--------------+--------------+--------+--------------------+-----------------+------------+
| kkk | kktest | InnoDB | utf8 | utf8_bin | BASE TABLE |
| sysbench | kktest | InnoDB | utf8 | utf8_bin | BASE TABLE |
| sysbench | sbtest | InnoDB | utf8 | utf8_bin | BASE TABLE |
| xxx | ttt1 | InnoDB | utf8 | utf8_bin | BASE TABLE |
+--------------+--------------+--------+--------------------+-----------------+------------+
-- =============================================================
-- ( Slave DB )
-- =============================================================
// Slave DB는 MySQL 설치 및 startup 까지 되어있는 것으로 가정한다.
1) Meta dump restore
mysql>source metadata.sql
2) only data dump restore
mysql>source onlydata.sql
-- Slave DB의 table character-set
+--------------+--------------+--------+--------------------+-----------------+------------+
| table_schema | table_name | engine | character_set_name | table_collation | table_type |
+--------------+--------------+--------+--------------------+-----------------+------------+
| kkk | kktest | InnoDB | utf8mb4 | utf8mb4_bin | BASE TABLE |
| sysbench | kktest | InnoDB | utf8mb4 | utf8mb4_bin | BASE TABLE |
| sysbench | sbtest | InnoDB | utf8mb4 | utf8mb4_bin | BASE TABLE |
| xxx | ttt1 | InnoDB | utf8mb4 | utf8mb4_bin | BASE TABLE |
+--------------+--------------+--------+--------------------+-----------------+------------+
3) replication 연결
mysql> CHANGE MASTER TO
MASTER_HOST='10.10.10.10',
MASTER_USER='replication',
MASTER_PASSWORD='xxxxxx',
MASTER_PORT=3306,
MASTER_LOG_FILE='mysql-bin.000001',
MASTER_LOG_POS=4892 ;
mysql> show slave status \G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 10.10.10.10
Master_User: replication
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000002
Read_Master_Log_Pos: 998873
Relay_Log_File: dbmysql2-relay-bin.000004
Relay_Log_Pos: 283
Relay_Master_Log_File: mysql-bin.000002
Slave_IO_Running: Yes
Slave_SQL_Running: No
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 1677
Last_Error: Column 1 of table 'xxx.ttt1' cannot be converted from type 'varchar(1536)' to type 'varchar(512)'
Skip_Counter: 0
Exec_Master_Log_Pos: 120
Relay_Log_Space: 999384
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: NULL
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 1677
Last_SQL_Error: Column 1 of table 'xxx.ttt1' cannot be converted from type 'varchar(1536)' to type 'varchar(512)'
Replicate_Ignore_Server_Ids:
Master_Server_Id: 136
Master_UUID: 700b3176-6155-11e3-bd8e-00a0dxxxxxxx
Master_Info_File: /data/mysql/master.info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State:
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp: 140210 19:47:55
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
1 row in set (0.00 sec)
mysql> stop slave ;
Query OK, 0 rows affected (0.03 sec)
mysql> set global slave_type_conversions=ALL_NON_LOSSY;
Query OK, 0 rows affected (0.02 sec)
mysql> show variables like '%slave_type%';
+------------------------+---------------+
| Variable_name | Value |
+------------------------+---------------+
| slave_type_conversions | ALL_NON_LOSSY |
+------------------------+---------------+
1 row in set (0.00 sec)
mysql> start slave ;
Query OK, 0 rows affected (0.02 sec)
mysql> show slave status \G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 10.10.10.10
Master_User: replication
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000002
Read_Master_Log_Pos: 998873
Relay_Log_File: db-mysql2-relay-bin.000005
Relay_Log_Pos: 283
Relay_Master_Log_File: mysql-bin.000002
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 998873
Relay_Log_Space: 999384
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 136
Master_UUID: 700b3176-6155-11e3-bd8e-00a0dxxxxxxx
Master_Info_File: /data/mysql/master.info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for the slave I/O thread to update it
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
1 row in set (0.00 sec)
댓글 없음:
댓글 쓰기