지난 글에서 spider engine 을 구성하고 샤딩하는 방법에 대해서 살펴보았습니다.

이번 글에서는 spider engine의 data node 를 HA 하는 방법에 대해서 살펴보겠습니다.

 

1. HA 구성하기

1) 모든data node에서 HA용 테이블 생성

Create table backend_repl.sbtest like backend.sbtest;

 

2) spider node 연결server 추가

Create server backend1_repl
Foreign data wrapper mysql
Options
(
Host  ’11.111.111.11’,
Database ‘backend_repl’,
User ‘spider_test’,
Password ‘test123’,
Port 3311);

=>backend1 서버를바라보는서버생성, 파티션pr2를받도록설정할것임

 

create server backend2_repl foreign data wrapper mysql
    Options(
    Host ’22.222.222.22’,
    Database ‘backend_repl’,
    User ‘spider_test’,
    Password ‘test123’,
   Port 3311
   );

=>backend2 서버를 바라보는 서버생성, 파티션 pr1를 받도록 설정할 것임

 

3) spider node  table 재생성

Create table backend.sbtest
.
.
engine=spider comment=‘database “backend”, table “sbtest”’
Partition by key (id)
(
Partition pr1 comment=‘srv “backend1 backend2_repl”’,mbk “2”, mkd “2”, msi “3311”, link_status “0 0”’,
Partition pr2 comment=‘srv “backend2 backend1_repl”’ , mbk “2”, mkd “2”, msi “3311”, link_status “0 0”’
);

=> srv : partition pr1 에 대해 backend1 서버와 backend2_repl 서버에서 관리함. 서로 HA 관계

mbk,mkd : monitoring kind로 2일땐 where 절 없이 테이블 모니터링 하는상태

msi : mariadb port

link_status

  • Description:Change status of the remote backend server link.
    • 0Doesn't change status.
    • 1Changes status to OK.
    • 2Changes status to RECOVERY.
    • 3Changes status to no more in group communication.
  • Default Table Value:0
  • DSN Parameter Name:lst

 

4) spider table 재생성 후 상태 확인

mysql> select db_name,table_name,link_id,server,tgt_table_name,link_status from mysql.spider_Tables;
+---------+--------------+---------+---------------+----------------+-------------+
| db_name | table_name   | link_id | server        | tgt_table_name | link_status |
+---------+--------------+---------+---------------+----------------+-------------+
| backend | sbtest#P#pr1 |       0 | backend1      | sbtest         |           1 |
| backend | sbtest#P#pr1 |       1 | backend2_repl | sbtest         |           1 |
| backend | sbtest#P#pr2 |       0 | backend2      | sbtest         |           1 |
| backend | sbtest#P#pr2 |       1 | backend1_repl | sbtest         |           1 |
+————+--------------+---------+---------------+----------------+-------------+

=> backend.sbtest 테이블 파티션 pr1은  backend1 서버 / backend2_repl 서버에 저장

파티션 pr2는 backend2 서버 / backend1_repl 서버에 저장함

 

2. data node 관제용 monitoring 설정

1) monitoring 서버 에러

mysql> insert into backend.sbtest select * from sbtest.sbtest1;

ERROR 1032 (HY000): Can't find record in ‘spider_link_mon_servers'

=>앞에서 HA 설정을 했기 때문에 HA를 관제 할 monitoring 설정 필요

 

2) data node mornitoring 용 서버 생성

mysql> create server mon
    -> foreign data wrapper mysql
    -> options
    -> (
    -> host '33.333.333.33',
    -> database 'backend',
    -> user 'spider_test',
    -> password 'test123',
    -> port 3311);

=> spider node 인 33.333.333.33 에서 HA관제용도 server 생성

3) spider engine monitoring 서버 등록

mysql> desc mysql.spider_link_mon_servers;
+------------------------+------------------+------+-----+---------+-------+
| Field                  | Type             | Null | Key | Default | Extra |
+------------------------+------------------+------+-----+---------+-------+
| db_name                | char(64)         | NO   | PRI |         |       |
| table_name             | char(64)         | NO   | PRI |         |       |
| link_id                | char(5)          | NO   | PRI |         |       |
| sid                    | int(10) unsigned | NO   | PRI | 0       |       
| server                 | char(64)         | YES  |     | NULL    |       |
| scheme                 | char(64)         | YES  |     | NULL    |       |
| host                   | char(64)         | YES  |     | NULL    |       |
| port                   | char(5)          | YES  |     | NULL    |       |
| socket                 | text             | YES  |     | NULL    |       |
| username               | char(64)         | YES  |     | NULL    |       |
| password               | char(64)         | YES  |     | NULL    |       |
| ssl_ca                 | text             | YES  |     | NULL    |       |
| ssl_capath             | text             | YES  |     | NULL    |       |
| ssl_cert               | text             | YES  |     | NULL    |       |
| ssl_cipher             | char(64)         | YES  |     | NULL    |       |
| ssl_key                | text             | YES  |     | NULL    |       |
| ssl_verify_server_cert | tinyint(4)       | NO   |     | 0       |       |
| default_file           | text             | YES  |     | NULL    |       |
| default_group          | char(64)         | YES  |     | NULL    |       |
+————————————+------------------+------+-----+---------+-------+

 

mysql> insert into mysql.spider_link_mon_servers (db_name,table_name,link_id,sid,servers)  values (‘%','%','%',3311,'mon');

 

3. HA 구성 확인

 

1) backend1 서버 데이터 확인

mysql> select count(*) from backend.sbtest;
+----------+
| count(*) |
+----------+
|    50449 |
+----------+
1 row in set (0.01 sec)


mysql> select count(*) from backend_repl.sbtest;
+----------+
| count(*) |
+----------+
|    49551 |
+----------+
1 row in set (0.01 sec)

 

2) backend2 서버 데이터 확인

mysql> select count(*) from backend.sbtest;
+----------+
| count(*) |
+----------+
|    49551 |
+----------+
1 row in set (0.01 sec)

mysql> select count(*) from backend_repl.sbtest;
+----------+
| count(*) |
+----------+
|    50449 |
+----------+
1 row in set (0.01 sec)

 

3) spider_table 상태확인

mysql> select db_name,table_name,link_id,server,tgt_table_name,link_status from mysql.spider_tables order by table_name;
+---------+--------------+---------+---------------+----------------+-------------+
| db_name | table_name   | link_id | server        | tgt_table_name | link_status |
+---------+--------------+---------+---------------+----------------+-------------+
| backend | sbtest#P#pr1 |       1 | backend2_repl | sbtest         |           1 |
| backend | sbtest#P#pr1 |       0 | backend1      | sbtest         |           1 |
| backend | sbtest#P#pr2 |       0 | backend2      | sbtest         |           1 |
| backend | sbtest#P#pr2 |       1 | backend1_repl | sbtest         |           1 |
+————+--------------+---------+---------------+----------------+-------------+

 

4. HA TEST

 

1) data node shutdown

mysql> shutdown;

Query OK, 0 rows affected (0.00 sec)

 

2) Spider node 에서 데이터 조회

 

mysql> select count(*) from backend.sbtest partition(pr1);
No connection. Trying to reconnect...
ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/engn001/masvc01/TEST_10.2.12/mysql/mysql.sock' (111)
ERROR:
Can't connect to the server


mysql> select count(*) from backend.sbtest partition(pr2);
+----------+
| count(*) |
+----------+
|    49551 |
+----------+
1 row in set (0.05 sec)


mysql> select count(*) from backend.sbtest partition(pr1);
+----------+
| count(*) |
+----------+
|    50449 |
+----------+
1 row in set (0.04 sec)

=> 잠시 data node shutdown으로 인해 lost connection 된 후 복제본에서 읽어옴

 

3) spider_tables 상태 확인

mysql> select db_name,table_name,link_id,server,tgt_table_name,link_status from mysql.spider_tables order by table_name;
+---------+--------------+---------+---------------+----------------+-------------+
| db_name | table_name   | link_id | server        | tgt_table_name | link_status |
+---------+--------------+---------+---------------+----------------+-------------+
| backend | sbtest#P#pr1 |       1 | backend2_repl | sbtest         |           1 |
| backend | sbtest#P#pr1 |       0 | backend1      | sbtest         |           3 |
| backend | sbtest#P#pr2 |       0 | backend2      | sbtest         |           1 |
| backend | sbtest#P#pr2 |       1 | backend1_repl | sbtest         |           3 |
+---------+--------------+---------+---------------+----------------+-------------+
4 rows in set (0.00 sec)

 

=>11.111.111.11 서버를 shutdown 시켰기 때문에 해당 서버를 바라보는 backend1 번서버 ,backend1_repl가 정지상태인 link_status 3 으로 확인 됨.

=> 유지보수 모드로 변경 후 데이터를 복구해줘야함

 

4) spider node 상태 변경

mysql> alter table backend.sbtest
  engine=spider comment='wrapper "mysql", table "sbtest"'
 partition by key (id)
 ( partition pr1 comment='srv "backend1 backend2_repl", mbk "2",mkd "2", msi "3311", link_status "2 0"',
 partition pr2 comment='srv "backend2 backend1_repl", mbk "2", mkd "2", msi "3311", link_status"0 0”');

=> 파티션 pr1의 backend1 을 유지보수 상태인 2로 변경

 

5) spider_copy_tables function을 이용하여 손상 노드 복구

mysql> select spider_Copy_Tables('backend.sbtest#P#pr1','1','0');
+----------------------------------------------------+
| spider_Copy_Tables('backend.sbtest#P#pr1','1','0') |
+----------------------------------------------------+
|                                                  1 |
+----------------------------------------------------+
1 row in set (4.91 sec)

 

=>mysql.spider_table 조회 시 테이블명이 backend.sbtest + pr1 중에서 link_id가 1번인 것,

즉 backend2에 있는 backend2_repl server를 이용하여 backend1 pr1을 복구함

backend1 과 backend2_repl 은 둘 다 같은 대상 pr1 을바라보기 때문에 데이터가 같음

복구성공시1 , 실패시0

SPIDER_COPY_TABLES(spider_table_name,
  source_link_id, destination_link_id_list [,parameters])

 

6) spider engine 상태 변경

mysql> alter table backend.sbtest
    -> engine=spider comment='wrapper "mysql", table "sbtest"'
    -> partition by key(id)
    -> (
    -> partition pr1 comment='srv "backend1 backend2_repl" mbk "2", mkd"2", msi "3311", link_status "1 0"',
    -> partition pr2 comment='srv "backend2 backend1_repl" mbk "2", mkd"2", msi "3311", link_status "0 0”');

=> 위에서 backend1 복구 성공 했으므로 link_status를 정상동작 상태인 1 로 변경해줌

 

7) spider table 상태 확인

mysql> select db_name,table_name,link_id,server,tgt_table_name,link_status from mysql.spider_tables order by table_name;
+---------+--------------+---------+---------------+----------------+-------------+
| db_name | table_name   | link_id | server        | tgt_table_name | link_status |
+---------+--------------+---------+---------------+----------------+-------------+
| backend | sbtest#P#pr1 |       0 | backend1      | sbtest         |           1 |
| backend | sbtest#P#pr1 |       1 | backend2_repl | sbtest         |           1 |
| backend | sbtest#P#pr2 |       1 | backend1_repl | sbtest         |           3 |
| backend | sbtest#P#pr2 |       0 | backend2      | sbtest         |           1 |
+---------+--------------+---------+---------------+----------------+-------------+
4 rows in set (0.00 sec)

 

* 이후 아직 lintk_status 3인 backend1_repl 도 위와 같은 방법으로 복구 해주면 복구완료

 

5. 추가 테스트

Data node 하나가 down 된 상태에서 dml 이 가능할까?

1) backend1 번 서버 shutdown

mysql> shutdown;
Query OK, 0 rows affected (0.00 sec)


mysql> select count(*) from backend.sbtest;
ERROR 2006 (HY000): MySQL server has gone away
No connection. Trying to reconnect...
ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/engn001/masvc01/TEST_10.2.12/mysql/mysql.sock' (2)
ERROR:
Can't connect to the server

 

2)  spider node에서 insert

mysql> insert into backend.sbtest values (100002,123,’test','test');
Query OK, 1 row affected (0.00 sec)

mysql> commit;
Query OK, 0 rows affected (0.01 sec)

mysql> select count(*) from backend.sbtest partition (pr2);
+----------+
| count(*) |
+----------+
|    49551 |
+----------+
1 row in set (0.05 sec)


mysql> select count(*) from backend.sbtest partition (pr1);
+----------+
| count(*) |
+----------+
|    50450 |
+----------+
1 row in set (0.06 sec)

=> backend1 이 바라보는 pr1 에 1건 insert 됨

 

mysql> select count(*) from backend_Repl.sbtest;
+----------+
| count(*) |
+----------+
|    50450 |
+----------+

1 row in set (0.01 sec)

=> pr1 을 같이 바라보는 backend2번 노드의 backend2_repl 에 dml 발생하기 때문