全站搜索 登陆 / 注册
Erlo

Mysql双主加Keepalived+读写分离

时间:2019-11-05 17:30   阅读:16次   来源:博客园
页面报错
点赞

一、MySQL于keepalived简介**

前言:

在企业中,数据库高可用一直是企业的重中之重,中小企业很多都是使用mysql主从方案,一主多从,读写分离等,但是单主存在单点故障,从库切换成主库需要作改动。因此,如果是双主或者多主,就会增加mysql入口,增加高可用。不过多主需要考虑自增长ID问题,这个需要特别设置配置文件,比如双主,可以使用奇偶,总之,主之间设置自增长ID相互不冲突就能完美解决自增长ID冲突问题。

1.1、MySQL**

1.1.1、MySQL主从复制原理

复制分成三步:

1. master将改变记录到二进制日志(binary log)中(这些记录叫做二进制日志事件,binary log events);

2. slave将master的binary log events拷贝到它的中继日志(relay log);

3. slave重做中继日志中的事件,将改变反映它自己的数据。

下图描述了这一过程:

 

 

 

 

 

 

1.1.2、MySQL双主构建思路

1.两台mysql都可读写,互为主备,默认只使用一台(masterA)负责数据的写入,另一台(masterB)备用;

2.masterA是masterB的主库,masterB又是masterA的主库,它们互为主从;

3.两台主库之间做高可用,可以采用keepalived等方案(使用VIP对外提供服务);

4.所有提供服务的从服务器与masterB进行主从同步(双主多从);

5.建议采用高可用策略的时候,masterA或masterB均不因宕机恢复后而抢占VIP(非抢占模式);

这样做可以在一定程度上保证主库的高可用,在一台主库down掉之后,可以在极短的时间内切换到另一台主库上(尽可能减少主库宕机对业务造成的影响),减少了主从同步给线上主库带来的压力;

但是也有几个不足的地方:

1.masterB可能会一直处于空闲状态(可以用它当从库,负责部分查询);

2.主库后面提供服务的从库要等masterB先同步完了数据后才能去masterB上去同步数据,这样可能会造成一定程度的同步延时;

架构的简易图如下:

 

 

 

1.1.3、MySQL双主和主从模式的区别

主从是对主操作数据,从会实时同步数据。反之对从操作,主不会同步数据,还有可能造成数据紊乱,导致主从失效。 主主则是无论对那一台操作,另一个都会同步数据。一般用作高容灾方案

1.2、Keepalived介绍**

Keepalived是一个基于VRRP协议来实现的WEB 服务高可用方案,可以利用其来避免单点故障。一个WEB服务至少会有2台服务器运行Keepalived,一台为主服务器(MASTER),一台为备份服务器(BACKUP),但是对外表现为一个虚拟IP,主服务器会发送特定的消息给备份服务器,当备份服务器收不到这个消息的时候,即主服务器宕机的时候,备份服务器就会接管虚拟IP,继续提供服务,从而保证了高可用性。

1.2.1、keepalived理论工作原理

keepalived可提供vrrp以及health-check功能,可以只用它提供双机浮动的vip(vrrp虚拟路由功能),这样可以简单实现一个双机热备高可用功能。

keepalived是一个类似于layer3, 4 & 5交换机制的软件,也就是我们平时说的第3层、第4层和第5层交换。Keepalived的作用是检测web 服务器的状态。 Layer3,4&5工作在IP/TCP协议栈的IP层,TCP层,及应用层,原理分别如下:

  Layer3:Keepalived使用Layer3的方式工作式时,Keepalived会定期向服务器群中的服务器

  发送一个ICMP的数据包(既我们平时用的Ping程序),如果发现某台服务的IP地址没有激活,Keepalived便报告这台服务器失效,并将它从服务器群中剔除,这种情况的典型例子是某台服务器被非法关机。Layer3的方式是以服务器的IP地址是否有效作为服务器工作正常与否的标准。在本文中将采用这种方式。

  Layer4:如果您理解了Layer3的方式,Layer4就容易了。Layer4主要以TCP端口的状态来决定服务器工作正常与否。如web server的服务端口一般是80,如果Keepalived检测到80端口没有启动,则Keepalived将把这台服务器从服务器群中剔除。

  Layer5:Layer5就是工作在具体的应用层了,比Layer3,Layer4要复杂一点,在网络上占用的带宽也要大一些。Keepalived将根据用户的设定检查服务器程序的运行是否正常,如果与用户的设定不相符,则Keepalived将把服务器从服务器群中剔除。

vip即虚拟ip,是附在主机网卡上的,即对主机网卡进行虚拟,此IP仍然是占用了此网段的某个IP。

1.2.2、keepalived高可用故障切换转移原理

Keepalived高可用服务对之间的故障切换转移,是通过 VRRP (Virtual Router Redundancy Protocol ,虚拟路由器冗余协议)来实现的。

 

核心:

  在 Keepalived服务正常工作时,主 Master节点会不断地向备节点发送(多播的方式)心跳消息,用以告诉备Backup节点自己还活看,当主 Master节点发生故障时,就无法发送心跳消息,备节点也就因此无法继续检测到来自主 Master节点的心跳了,于是调用自身的接管程序,接管主Master节点的 IP资源及服务。而当主 Master节点恢复时,备Backup节点又会释放主节点故障时自身接管的IP资源及服务,恢复到原来的备用角色。

VRRP ,全 称 Virtual Router Redundancy Protocol ,中文名为虚拟路由冗余协议 ,VRRP的出现就是为了解决静态踣甶的单点故障问题,VRRP是通过一种竞选机制来将路由的任务交给某台VRRP路由器的。

1.3、目的:

解决mysql数据库Master-Slave 单点故障问题。

1.3,1、实现方式:

1. Master-Master Replication 实现数据同步。

2.通过keepalived虚拟IP 从网络层实现单点故障时IP自动切换,从而实现高可用。

3.通过keepalived配置实现read读指向Slave节点,实现读写分离。

 

缺点:根据线上实际应用情况,只考虑单点网络故障及机器设备故障时虚拟ip自动切换(只切换一次)。不考虑mysql服务异常等情况,数据库异常可通过nagios等监控,防止多次来回切换,造成数据混乱!且故障节点恢复时,要人工操作及注意步骤。

 

1.3.2、MySQL双主读写分离模式

1、使用两个MySQL数据库db01,db02,互为Master和Slave,即:

一边db01作为db02的master,一旦有数据写向db01时,db02定时从db01更新

另一边db02也作为db01的master,一旦有数据写向db02时,db01也定时从db02获得更新

(这不会导致循环,MySQL Slave默认不会记录Master同步过来的变化)

2、但从AppServer的角度来说,同时只有一个结点db01扮演Master,另外一个结点db02扮演Slave,不能同时两个结点扮演Master。即AppSever总是把write操作分配某个数据库(db01),除非db01 failed,被切换。

3、如果扮演Slave的数据库结点db02 Failed了:

a)此时appServer要能够把所有的read,write分配给db01,read操作不再指向db02

b)一旦db02恢复过来后,继续充当Slave角色,并告诉AppServer可以将read分配给它了.

4、如果扮演Master的数据库结点db01 Failed了

a)此时appServer要能够把所有的写操作从db01切换分配给db02,也就是切换Master由db02充当

b)db01恢复过来后,充当Slave的角色,Master由db02继续扮演。

测试环境:

服务器:

DB1:192.168.25.31、centos7.6、mysql5.7、keepalived、hostname:DB1

DB2:192.168.25.32、centos7.6、mysql5.7、keepalived、hostname:DB2

Slave1:192.168.25.34、cenots7.6、mysql5.7、hostname:slave

VIP:192.168.25.200(虚拟)

远程客户端:192.168.25.35(用来调用vip测试)

步骤

 

二:实现两台MySQL主主同步

2.1、安装MySQL

DB1、DB2两台服务器分别安装MySQL,这两台均已安装过程省略

2.2、修改MySQL配置文件

分别修改配置文件,在/etc/my.cnf文件中得[mysqld]段加配置信息

 DB1:
 
 [root@DB1 ~]# vim /etc/my.cnf
 
 server-id=1
 
 log-bin=mysql-bin
 
 relay-log=mysql-relay-bin
 
 replicate-wild-ignore-table=mysql.%
 
 replicate-wild-ignore-table=test.%
 
 replicate-wild-ignore-table=information_schema.%
 
 
 
 auto-increment-increment = 2
 
 auto-increment-offset = 1
 
 slave-skip-errors = all

解释:

server-id=1(节点标识,每台的server-id不能养,必须全局唯一)

log-bin=mysql-bin(开启binlog日志,用于主从数据复制)

relay-log=mysql-relay-bin(开启relay-log日志,relay-log日志记录的是从服务器I/O 线程将主服务器的二进制日志读取过来记录到从服务器本地文件,然后SQL线程会读取relay-log日志的内容并应用到从服务器)

replicate-wild-ignore-table=mysql.%(复制过滤选项)

auto-increment-increment = 2(字段一次递增多少)

auto-increment-offset = 1(自增字段的起始值:1、3、5、7、等奇数)

保存重启,使其配置生效

 [root@DB1 ~]# service mysqld restart
 
 Shutting down MySQL.. SUCCESS!
 
 Starting MySQL. SUCCESS!
 
 DB2:
 
 [root@DB2 ~]# vim /etc/my.cnf
 
 server-id=2
 
 log-bin=mysql-bin
 
 relay-log=mysql-relay-bin
 
 replicate-wild-ignore-table=mysql.%
 
 replicate-wild-ignore-table=test.%
 
 replicate-wild-ignore-table=information_schema.%
 
 
 
 auto-increment-increment = 2
 
 auto-increment-offset = 2
 
 slave-skip-errors = all
 
 保存重启,使其配置生效
 
 [root@DB2 ~]# service mysqld restart
 
 Shutting down MySQL.. SUCCESS!
 
 Starting MySQL. SUCCESS!
 
 Slave1:
 
 [root@slave1 ~]# vim /etc/my.cnf
 
 [mysqld]
 
 
 
 server-id=3
 
 log-bin=mysql-bin
 
 log-slave-updates
 
 relay-log=mysql-relay-bin
 
 replicate-wild-ignore-table=mysql.%
 
 replicate-wild-ignore-table=test.%
 
 replicate-wild-ignore-table=information_schema.%
 
 
 
 auto-increment-increment = 2
 
 auto-increment-offset = 3
 
 slave-skip-errors = all

 

#注:在执行主主互备之前要保证两台服务器上MySQL数据一致

2.3、MySQL配置DB1、DB2主主模式

2.3.1、先查看log bin日志和pos位置

DB1:

 [root@DB1 ~]# mysql -uroot -pwww.123
 
 mysql> show master status;

 

 

 

 

 DB2:
 
 [root@DB2 ~]# mysql -uroot -pwww.123
 
 mysql> show master status;

2.3.2、DB1、DB2互相提升访问权限

 

DB1:

在DB1的数据库创建DB2的复制用户并授权

 mysql> grant replication slave on *.* to 'cproot'@'192.168.25.32' identified by 'cpwww.123';
 
 Query OK, 0 rows affected, 1 warning (0.02 sec)
 
 刷新并查看log bin日志和pos位置
 
 mysql> flush privileges;
 
 Query OK, 0 rows affected (0.02 sec)
 
 
 
 mysql> show master status;

 

DB2:

 mysql> grant replication slave on *.* to 'cproot'@'192.168.25.31'identified by 'cpwww.123'; 
 
 Query OK, 0 rows affected, 1 warning (0.02 sec)
 
 mysql> flush privileges;
 
 Query OK, 0 rows affected (0.01 sec)
 
 mysql> show master status;

 

在DB2的数据库中将DB1设置为自己得主服务器

 mysql> change master to master_host='192.168.25.31',master_user='cproot',master_password='cpwww.123',master_log_file='mysql-bin.000001',master_log_pos=613;
 
 Query OK, 0 rows affected, 2 warnings (0.11 sec)

 

 

 

DB1:

在DB1的数据库中将DB2设置为自己的主服务器

 mysql> change master to master_host='192.168.25.32',master_user='cproot',master_password='cpwww.123',master_log_file='mysql-bin.000001',master_log_pos=613;
 
 Query OK, 0 rows affected, 2 warnings (0.11 sec)

 

 

 

分别查看DB1、DB2服务器状态

DB2:

mysql> start slave;
Query OK, 0 rows affected (0.01 sec)
mysql> show slave statusG;

 

 

如果slave_io不是yes是  这样得话那就有三种可能错误需要排查

1,网络不通

2,密码不正确

3,Pos不对

4,防火墙没关

我这次遇到的就是防火墙没关,并且用service iptables stop还不好使,我是这样解决的

先看提示得错误

提示用/bin/systemctl stop iptables.service这样得方式去关闭,这里需要先安装iptables.services然后在关闭防火墙

[root@DB2 data]# yum -y install iptables-services

[root@DB2 ~]# systemctl stop iptables

DB1:

mysql> start slave;
Query OK, 0 rows affected (0.01 sec)
mysql> show slave statusG;

 

到此主主同步配置完成,查看状态slave_io和slave_sql都是yes说明主主同步成功

2.4、测试主主同步

在DB1上创建一个数据库one,然后在DB2上查看是否同步成功

注意:在创建之前最好再次重启一下MySQL数据库不然可能会同步不成功

DB1:

mysql> create database one;

Query OK, 1 row affected (0.02 sec)

 

mysql> show databases;

+--------------------+

| Database           |

+--------------------+

| information_schema |

| mysql              |

| one                |

| performance_schema |

| sys                |

+--------------------+

5 rows in set (0.00 sec)

 

DB2:

mysql> show databases;

+--------------------+

| Database           |

+--------------------+

| information_schema |

| mysql              |

| one                |

| performance_schema |

| sys                |

+--------------------+

5 rows in set (0.00 sec)

在DB2把新建的数据库one删除掉,看看DB1上是否还存在

mysql> drop database one;

Query OK, 0 rows affected (0.01 sec)

 

mysql> show databases;

+--------------------+

| Database           |

+--------------------+

| information_schema |

| mysql              |

| performance_schema |

| sys                |

+--------------------+

4 rows in set (0.00 sec)

DB1:

mysql> show databases;

+--------------------+

| Database           |

+--------------------+

| information_schema |

| mysql              |

| performance_schema |

| sys                |

+--------------------+

4 rows in set (0.00 sec)

 

双向操作没问题,都可以同步成功,主主已经搭建成功

2.5、配置slave从服务器

DB1

在DB1的数据库创建slave1的复制用户并授权

mysql> grant replication slave on *.* to 'cproot'@'192.168.25.34' identified by 'cpwww.123';

Query OK, 0 rows affected, 1 warning (0.01 sec)

 

mysql> flush privileges;

Query OK, 0 rows affected (0.01 sec)

 

mysql> show master status;

在slave里的数据库里把DB1设置为主服务器

Slave1:

mysql> change master to master_host='192.168.25.31',master_user='cproot',master_password='cpwww.123',master_log_file='mysql-bin.000003',master_log_pos=774;

Query OK, 0 rows affected, 2 warnings (0.05 sec)

mysql> start slave;

Query OK, 0 rows affected (0.01 sec)

mysql> show slave statusG

 

 

查看状态slave_io和slave_sql都是yes,这里主从就同步成功了

测试在DB1数据库新建two

DB1:

mysql> create database two;

Query OK, 1 row affected (0.02 sec)

 

mysql> show databases;

Slave1:

在slave1上查看是否同步

 

 

主从同步成功

同步错误问题总结:如果slave_io不是yes多看看防火墙是否关闭,还有就是授权是输入得账号密码和pos是否输入正确了

三、安装并配置keepalived

3.1、两台都需要安装keepalived

DB1、DB2:

安装keepalived并将其配置成系统服务。DB1和DB2都要进行如下操作:

[root@DB1 ~]# yum install -y openssl-devel

[root@DB1 ~]# cd /usr/local/src/

[root@DB1 src]# wget http://www.keepalived.org/software/keepalived-1.3.5.tar.gz

[root@DB1 src]# tar -zxvf keepalived-1.3.5.tar.gz 

[root@DB1 src]# cd keepalived-1.3.5

[root@DB1 keepalived-1.3.5]# ./configure --prefix=/usr/local/keepalived

执行这个后会发现在最后会报错configure: error: libnfnetlink headers missing(没有的话忽略)

然后执行

[root@DB1 keepalived-1.3.5]# yum -y install libnfnetlink-devel

再重新执行./configure

[root@DB1 keepalived-1.3.5]# ./configure --prefix=/usr/local/keepalived

[root@DB1 keepalived-1.3.5]# make && make install

在执行这一条的时候如果遇到这样的错误可能是没有依赖包

 

 

 

解决方法:

[root@DB2 keepalived-1.3.5]# yum -y install libnl libnl-devel libnfnetlink-devel openssl-devel

(最好是在安装之前全部执行这条语句以防发生错误)

[root@DB1 keepalived-1.3.5]# cp /usr/local/src/keepalived-1.3.5/keepalived/etc/init.d/keepalived /etc/rc.d/init.d/

[root@DB1 keepalived-1.3.5]# cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/

[root@DB1 keepalived-1.3.5]# mkdir /etc/keepalived/

[root@DB1 keepalived-1.3.5]# cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/

[root@DB1 keepalived-1.3.5]# cp /usr/local/keepalived/sbin/keepalived /usr/sbin/

[root@DB1 keepalived-1.3.5]# echo "/etc/init.d/keepalived start" >>/etc/rc.local 

 

3.2、DB1上的keepalived.conf配置

DB1:

[root@DB1 ~]# cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak

[root@DB1 ~]# vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived

​       

global_defs {

notification_email {

ops@wangshibo.cn

tech@wangshibo.cn

}

​       

notification_email_from ops@wangshibo.cn

smtp_server 127.0.0.1 

smtp_connect_timeout 30

router_id MASTER-HA

}

​       

vrrp_script chk_mysql_port {     #检测mysql服务是否在运行。有很多方式,比如进程,用脚本检测等等

​    script "/opt/chk_mysql.sh"   #这里通过脚本监测

​    interval 2                   #脚本执行间隔,每2s检测一次

​    weight -5                    #脚本结果导致的优先级变更,检测失败(脚本返回非0)则优先级 -5

​    fall 2                    #检测连续2次失败才算确定是真失败。会用weight减少优先级(1-255之间)

​    rise 1                    #检测1次成功就算成功。但不修改优先级

}

​       

vrrp_instance VI_1 {

​    state BACKUP 

​    interface ens160      #指定虚拟ip的网卡接口

​    mcast_src_ip 192.168.25.31

​    virtual_router_id 79    #路由器标识,MASTER和BACKUP必须是一致的

​    priority 100            #定义优先级,数字越大,优先级越高,在同一个vrrp_instance下,MASTER的优先级必须大于BACKUP的优先级。这样MASTER故障恢复后,就可以将VIP资源再次抢回来 

  #  nopreempt

​    advert_int 1         

​    authentication {   

​        auth_type PASS 

​        auth_pass 1111     

​    }

​    virtual_ipaddress {    

​        192.168.25.200

​    }

​      

track_script {               

   chk_mysql_port             

}

}

编写切换脚本。KeepAlived做心跳检测,如果Master的MySQL服务挂了(3306端口挂了),那么它就会选择自杀。Slave的KeepAlived通过心跳检测发现这个情况,就会将VIP的请求接管

[root@DB1 ~]# vim /opt/chk_mysql.sh

#!/bin/bash

counter=$(netstat -na|grep "LISTEN"|grep "3306"|wc -l)

if [ "${counter}" -eq 0 ]; then

​	/etc/init.d/keepalived stop

fi

[root@DB1 ~]# chmod 755 /opt/chk_mysql.sh 

[root@DB1 ~]# /etc/init.d/keepalived start

3.2、DB2上配置keepalived,DB2服务器上的keepalived.conf文件只修改priority为99、nopreempt不设置

DB2:

[root@DB2 ~]# cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak

[root@DB2 ~]# >/etc/keepalived/keepalived.conf

[root@DB2 ~]# vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived

​       

global_defs {

notification_email {

ops@qq.com

tech@qq.com

}

​       

notification_email_from ops@wangshibo.cn

smtp_server 127.0.0.1 

smtp_connect_timeout 30

router_id MASTER-HA

}

​       

vrrp_script chk_mysql_port {

​    script "/opt/chk_mysql.sh"

​    interval 2            

​    weight -5                 

​    fall 2                 

​    rise 1               

}

​       

vrrp_instance VI_1 {

​    state BACKUP

​    interface ens160 

​    mcast_src_ip 192.168.25.32

​    virtual_router_id 79    

​    priority 99          

​    advert_int 1         

​    authentication {   

​        auth_type PASS 

​        auth_pass 1111     

​    }

​    virtual_ipaddress {    

​       192.168.25.200

​    }

​      

track_script {               

   chk_mysql_port             

}

}

[root@DB2 ~]# cat /opt/chk_mysql.sh 

#!/bin/bash

counter=$(netstat -na|grep "LISTEN"|grep "3306"|wc -l)

if [ "${counter}" -eq 0 ]; then

​    /etc/init.d/keepalived stop

fi

[root@DB2 ~]# chmod 755 /opt/chk_mysql.sh 

[root@DB2 ~]# /etc/init.d/keepalived start

####常用的指令说明

(1)notification_email:收件箱

(2)notification_email_from:发件箱

(3)vrrp_mcast_group4:VRRP多播地址,必须为D类地址,即可用IP范围为224.0.0.0~239.255.255.255

(4)script:自定义检查脚本路径

(5)interval:自定义检查脚本的执行时间间隔,单位为秒

(6)vrrp_instance:配置虚拟路由器实例

(7)state:MASTER或BACKUP,当前节点在此虚拟路由器上的初始状态,只能有一个为MASTER,其余的都应该为BACKUP,此处都需要配置为BACKUP

(8)nopreempt:定义工作模式为非抢占模式,默认为抢占模式

(9)preempt_delay:抢占模式下,节点上线后触发新选举操作的延迟时长,单位为秒

(10)interface:绑定当前虚拟路由器使用的物理接口

(11)virtual_router_id:当前虚拟路由器的唯一标识,取值范围为0~255,两个节点必须一致

(12)priority:当前主机在此虚拟路由器中的优先级,取值范围为0~255

(13)advert_int:VRRP通告心跳信息和优先级信息的时间间隔,单位为秒

(14)auth_type:认证类型

(15)auth_pass:认证密码,两个节点必须一致

(16)virtual_ipaddress

相关推荐

提交留言

评论留言

还没有评论留言,赶紧来抢楼吧~~

吐槽小黑屋()

* 这里是“吐槽小黑屋”,所有人可看,只保留当天信息。

  • Erlo.vip2019-12-08 03:17:51Hello、欢迎使用吐槽小黑屋,这就是个吐槽的地方。
  • 返回顶部