目录
企业应用中,单台服务器承担应用存在单点故障的危险单点故障一旦发生,企业服务将发生中断,造成极大的危害
一、Keepalive基础
1.1 vrrp技术
1.2 VRRP相关技术
二、keepalived介绍
2.1keepalived工具介绍--------专为LVS和HA设计的一款健康检查工具
2.2Keepalived实现原理剖析
2.3Keepalived、VRRP及其工作原理
2.4 Keepalived 架构
2.5安装keepalive
2.6 Keepalived 相关文件
2.6.1 配置组成
2.6.2 全局配置
搭建LVS+KEEPALIVED高可用群集
(一)两台节点服务器(web1、web2)的配置
(二)7-1 LVS四层代理的master主配置
(三)7-2 LVS四层代理的backup备配置
(四)去浏览器访问检测:
(五)成功了
2.6.3配置虚拟路由器
2.6.3.1各种模式
①默认模式 抢占式
②非抢占式
③延迟抢占
2.6.3.2 单播多播地址
①修改多播:
②修改单播:
2.6.3.3 通知脚本
2.6.3.4 日志功能
三、脑裂介绍
①什么是脑裂?
②都有哪些原因导致脑裂?
③模拟脑裂?
④如何解决keepalived脑裂问题?
⑤做好对脑裂的监控报警解决常见方案:
四、实现其它应用的高可用性 VRRP script
4.1VRRP script 配置
4.2 定义 VRRP script
4.3 keepalived利用 VRRP script 技术,从而实现nginx高可用性功能
-
虚拟路由器:Virtual Router 不是真实存在 ,虚构出来的
-
虚拟路由器标识:VRID(0-255),唯一标识虚拟路由器
-
VIP:Virtual IP 192.168.91.100 路由1 路由2
-
VMAC:Virutal MAC (00-00-5e-00-01-VRID)(虚拟mac)
-
物理路由器:
-
master:主设备
-
backup:备用设备
-
priority:优先级
网络vrrp那章已详细说明状态机 心跳线: 1s虚拟路由器的主备 是由priority:优先级决定的
安全认证:
-
无认证
-
简单字符认证:预共享密钥
-
MD5
工作模式:
-
主/备:单虚拟路径器
-
主/主:主/备(虚拟路由器1),备/主(虚拟路由器2)
工作方式:抢占式,非抢占式,延迟抢占模式
#主/主:主/备(虚拟路由器1),备/主(虚拟路由器2) 环境: 有两台服务器 虚拟出两台虚拟路由器 第一台虚拟路由器中服务器1为主,服务器2为备,那么虚拟IP1就飘在服务器1上,真正工作的只有服务器1 第二台虚拟路由器中服务器2为主,服务器1为备,那么虚拟IP2就飘在服务器2上,真正工作的只有服务器2
优点: #提高了资源利用率: 这样主,备服务器同时干活,可以同时运行两个项目 #同样有备份功能: 如果服务器1坏了,服务器2 将同时拥有虚拟IP1和虚拟IP2
缺点: 虽然有备份冗余功能但是对机器的性能要求非常高,当其中一台出现故障,本来一台运行一个任务,现在所有的业务全部压在了一台上,有十分大的风险。
企业应用中,单台服务器承担应用存在单点故障的危险单点故障一旦发生,企业服务将发生中断,造成极大的危害
功能:
-
基于vrrp协议完成地址流动
-
为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)
-
为ipvs集群的各RS做健康状态检测
-
基于脚本调用接口完成脚本中定义的功能,进而影响集群事务,以此支持nginx、haproxy等服务
①支持故障自动切换(Failover) ②支持节点健康状态检查(Health Checking) 判断LVS负载调度器、节点服务器的可用性,当master主机出现故障及时切换到backup 节点保证业务正常,当master故障主机恢复后将其重新加入群集并且业务重新切换回master节点。
Keepalived采用VRRP热备份协议实现Linux服务器的多机热备功能
VRRP(虚拟路由冗余协议)是针对路由器的一种备份解决方案
- 由多台路由器组 成一个热备组,通过共用的虚拟IP地址对外提供服务
- 每个热备组内同时只有一台主路由器提供服务,其他路由器处于冗余状态
- 若当前在线的路由器 失效,则其他路由器会根据设置的优先级自动接替虚拟IP地址,继续提供服务
VRRP工作过程
选举Master,比较优先级,高的为Master,若优先级相同无Master时,比较接口IP地址,大的为Master,Master设备发送ARP报文,承担报文转发工作;
状态维持,Master设备周期发送通告报文,公布配置信息和工作状态;
Backup设备根据收到的通告报文判断Master设备是否工作正常,如果Master设备主动放弃Master地位时,会发送优先级为0的通告报文,Backup设备收到后会快速切换成Master设备或者定时器超时后Backup设备认为Master设备无法正常工作,会切换状态为Master。
Keepalived是一个基于VRRP协议来实现的LVS服务高可用方案,可以解决静态路由出现的单点故障问题。
在一个LVS服务集群中通常有主服务器(MASTER)和备份服务器(BACKUP)两种角色的服务器,但是对外表现为一个虚拟IP。主服务器会发送VRRP通告信息给备份服务器,当备份服务器收不到VRRP消息的时候,即主服务器异常的时候,备份服务器就会接管虚拟IP,继续提供服务,从而保证了高可用性
官方文档:
https://keepalived.org/doc/ http://keepalived.org/documentation.html
-
用户空间核心组件:
-
vrrp stack:VIP消息通告 虚拟ip
-
checkers:监测real server(简单来说 就是监控后端真实服务器的服务)是否存活
-
system call:实现 vrrp 协议状态转换时调用脚本的功能
-
SMTP:邮件组件(报警邮件)
-
IPVS wrapper:生成IPVS规则(直接生成ipvsadm)
-
Netlink Reflector:网络接口(将虚拟地址ip(vip)地址飘动)
WatchDog:监控进程(整个架构是否有问题)
-
控制组件:提供keepalived.conf 的解析器,完成Keepalived配置
-
IO复用器:针对网络目的而优化的自己的线程抽象
-
内存管理组件:为某些通用的内存管理功能(例如分配,重新分配,发布等)提供访问权限
keeplive可以配合ngnix等软件,反向代理
keepalived体系架构中主要有三个模块,分别是core、check和vrrp。
core模块:为keepalived的核心,负责主进程的启动、维护及全局配置文件的加载和解析。vrrp模块:是来实现VRRP协议的。check模块:负责健康检查,常见的方式有端口检查及URL检查
-
软件包名:keepalived
-
主程序文件:/usr/sbin/keepalived
-
主配置文件:/etc/keepalived/keepalived.conf
-
配置文件示例:/usr/share/doc/keepalived/
-
Unit File:/lib/systemd/system/keepalived.service
-
Unit File的环境配置文件:/etc/sysconfig/keepalived CentOS
2.6.1 配置组成
/etc/keepalived/keepalived.conf 配置组成
-
GLOBAL CONFIGURATION
Global definitions(全局配置):定义邮件配置,route_id,vrrp配置,组播地址 等
-
VRRP CONFIGURATION
VRRP instance(s):定义vrrp协议中的每个vrrp虚拟路由器的规则,基本信息
-
LVS CONFIGURATION(lvs调度服务器的规则设置)
Virtual server group(s)
Virtual server(s):LVS集群的VS和RS
2.6.2 全局配置
搭建LVS+KEEPALIVED高可用群集
架构图,最终的目的是通过keepalived实现两台四层代理服务器热备,然后通过ipvsadm设置LVS的四层代理DR模式
(一)两台节点服务器(web1、web2)的配置
①7-3 web1配置
②7-4 web2配置
(二)7-1 LVS四层代理的master主配置
(三)7-2 LVS四层代理的backup备配置
如果去浏览器访问报错,把主从配置的vrrp_strict删除,就可以了
(四)去浏览器访问检测:
去浏览器访问:为啥只有7-4,因为apache默认开启长连接,所以要关闭长连接
再去浏览器访问就会一会是7-3一会是7-4:
(五)成功了
如果我们7-4服务宕机了,那么就不会跳7-4了
keepalives支持节点服务器健康状态检查(Health Checking)
2.6.3配置虚拟路由器
2.6.3.1各种模式
keepalive工作方式:抢占式,非抢占式,延迟抢占模式
①默认模式 抢占式
在去浏览器访问:
发现它的地址换到了从服务器上,如下图,所以不影响访问
②非抢占式
主服务器修改:
检测:
#都为BACKUP #添加此行 nopreempt
③延迟抢占
主服务器修改:
备服务器修改:
检测:
#都为BACKUP 添加preempt_delay 30 #抢占延迟模式,默认延迟30s
2.6.3.2 单播多播地址
①修改多播:
主从两边都加入此行: vrrp_mcast_group4 234.6.6.6 然后抓包验证
主服务器修改:
备用服务器修改:
去抓包
②修改单播:
#在所有节点vrrp_instance语句块中设置对方主机的IP,建议设置为专用于对应心跳线网络的地址,而非使用业务网络 unicast_src_ip <IPADDR> #指定发送单播的源IP unicast_peer { <IPADDR> #指定接收单播的对方目标主机IP ...... }
主服务器配置:
备服务器配置:
去检测抓包:
2.6.3.3 通知脚本
当前节点成为主节点时触发的脚本
notify_master <STRING>|<QUOTED-STRING>
当前节点转为备节点时触发的脚本
notify_backup <STRING>|<QUOTED-STRING>
当前节点转为“失败”状态时触发的脚本
notify_fault <STRING>|<QUOTED-STRING>
通用格式的通知触发机制,一个脚本可完成以上三种状态的转换时的通知
notify <STRING>|<QUOTED-STRING>
当停止VRRP时触发的脚本
notify_stop <STRING>|<QUOTED-STRING>
配置邮箱
#模拟master故障
状态发生变化,就可以邮箱通知你了
2.6.3.4 日志功能
开启单独日志功能
在高可用(HA)系统中,当联系2个节点的“心跳线”断开时,本来为一整体、动作协调的HA系统, 就分裂成为2个独立的个体。由于相互失去了联系,都以为是对方出了故障。
两个节点上的HA软件像“裂脑人”一样,争抢“共享资源”、争起“应用服务”,就会发生严重后果。共享资源被瓜分、两边“服务”都起不来了;或者两边“服务”都起来了,但同时读写“共享存储”,导致数据损坏
高可用服务器对之间心跳线链路发生故障,导致无法正常通信。 因心跳线坏了(包括断了,老化)。 因网卡及相关驱动坏了,ip配置及冲突问题(网卡直连) 因心跳线间连接的设备故障(网卡及交换机)高可用服务器上开启了 iptables防火墙阻挡了心跳消息传输。 高可用服务器上心跳网卡地址等信息配置不正确,导致发送心跳失败 其他服务配置不当等原因,如心跳方式不同,心跳广插冲突、软件Bug等。
可以在主备上都发现vip地址(虚拟IP)
在实际生产环境中,我们从以下方面防止脑裂: #同时使用串行电缆和以太网电缆连接、同时使用两条心跳线路,这样一条线路断了,另外一条还是好的,依然能传送心跳消息 #当检查脑裂时强行关闭一个心跳节点(这个功能需要特殊设备支持,如stonith、fence)相当于备节点接收不到心跳消息,通过单独的线路发送关机命令关闭主节点的电源
如果开启防火墙,一定要让心跳消息通过,一般通过允许IP段的形式解决 可以拉一条以太网网线或者串口线作为主被节点心跳线路的冗余 开发检测程序通过监控软件检测脑裂
keepalived利用 VRRP script 技术,可以调用外部的辅助脚本进行资源监控,并根据监控的结果实现优先动态调整,从而实现其它应用的高可用性功能(例如:nginx、mysql、redis)
分两步实现:
-
定义脚本
vrrp_script:自定义资源监控脚本,vrrp实例根据脚本返回值,公共定义,可被多个实例调用,定义在vrrp实例之外的独立配置块,一般放在global_defs设置块之后。通常此脚本用于监控指定应用的状态。一旦发现应用的状态异常,则触发对MASTER节点的权重减至低于SLAVE节点,从而实现 VIP 切换到 SLAVE 节点
-
调用脚本
track_script:调用vrrp_script定义的脚本去监控资源,定义在VRRP实例之内,调用事先定义的vrrp_script
7-1配置:
①安装nginx服务
②写nginx负载均衡配置
7-2配置:
也可以远程拷贝
7-1配置
7-2配置
去检测:
如果将Centos7-1nginx服务关掉,Centos7-2将直接成为主
去7-2查看:
过了你设置的超时时间,再去浏览器访问,又可以了
补充:
keepalived利用 VRRP script 技术,可以调用外部的辅助脚本进行资源监控,还可以实现mysql 、redis的高可用,脚本换换就可以哦