禅与计算机
sharkchili
2023-11-30
目录

nginx高可用实践简记

# 高可用简介

为避免nginx单点故障导致上游服务器无法请求，故提出高可用架构，确保当一台代理服务器宕机之后请求可自动转移到通过另一台可用nginx服务器向上游服务器发起请求。

在这里插入图片描述

# VRRP协议

# VRRP核心概念

  1. 虚拟网关:由一个master和多个backup组成构成，逻辑上我们可以将master和backup看作一个整体，并统称为虚拟网关。
  2. master网关:虚拟网关中实际负责报文转发的路由器，局域网内目标为虚拟网关的报文通通会转发到这台路由器上。
  3. 虚拟IP地址:虚拟网关对外提供服务的ip地址值，即master和backup路由器的共用的一个虚拟ip，但同一段时间内只允许成为master的服务器使用。
  4. 虚拟mac地址:回应ARP请求时使用的虚拟mac地址。

在这里插入图片描述

# VRRP工作原理

虚拟路由冗余协议，是IETF解决局域网内单台网关路由器故障导致网络故障的网络协议。该协议将一VRID相等的主机视为同一个VRRP组。在同一个VRRP组，会根据选择规则找出一个主机视为master，作为路由转发路由。 其余的路由器作为backup路由，当master不在对其发送VRRP消息时，则视为master下线，它们就会竞争master资格。

如下一个VRRP组的路由器，逻辑上公用一个虚拟ip和虚拟mac地址，作为master的路由器就会使用虚拟ip地址并负责路由转发工作。而虚拟路由器的mac地址值为格式为: 00-00-5E-00-01-{VRID}

这里需要补充一下，如果你配置的虚拟ip地址和某台路由器的ip地址相等，那么这台路由器就默认为master。

在这里插入图片描述

# keepalived软件架构

# 核心能力

  1. 服务器的故障转移
  2. 常用于负载均衡器做高可用

# 核心组件

  1. vrrp stack:vrrp协议的实现。
  2. ipvs wrapper:为集群内的节点生成ipvs规则。
  3. checkers:对集群内所有的RS做健康状态检测。
  4. 控制组件:配置文件解析与加载。

# keepalived使用简介

# 快速入门keepalived

在配置高可用前，我们首先需要立即一下虚拟ip的概念，如下图，我们会在128这台服务器上安装keepavlived，然后对其配个虚拟ip 192.168.12.130。后面我们再使用本机去ping虚拟ip130，如果收到响应则说明我们的keepalived配置成功。 在这里插入图片描述

首先安装keepalived

yum -y install keepalived
1

使用vim编辑keepalived配置文件

vim /etc/keepalived/keepalived.conf
1

配置内容如下，读者可参考注释自行配置：

! Configuration File for keepalived
# 全局配置
global_defs {
# 邮件通知信息
   notification_email {
   # 定义收件人
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }

	# 定义发件人
   notification_email_from Alexandre.Cassen@firewall.loc
   # SMTP服务器地址
   smtp_server 192.168.12.128
   
   smtp_connect_timeout 30
    # 路由器标识，一般不用改，也可以写成每个主机自己的主机名
   router_id router_2
   vrrp_skip_check_adv_addr
   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

 # 一个vrrp_instance就是定义一个虚拟路由器的，实例名称
vrrp_instance VI_1 {
    state BACKUP
    # 绑定的网卡
    interface ens33
    # 路由器唯一标识
    virtual_router_id 51
    # 优先级，这个值大的会作为master
    priority 98
    # 通告频率，单位为秒
    advert_int 1
    # 通信认证机制，这里是明文认证还有一种是加密认证
    authentication {
        auth_type PASS
        auth_pass 1111
    }
# 虚拟ip地址
    virtual_ipaddress {
        192.168.12.130
    }
}

}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49

完成后将keepalived启动:

systemctl  start  keepalived
1

我们可以使用下面这条命令查看keepalived日志

tail -f -n 100 /var/log/messages
1

可以看到这台路由器变成master了

在这里插入图片描述

然后我们使用tcpdump来抓包ens33这个网卡，看看能不能获取到虚拟ip 192.168.12.130的报文

tcpdump -i ens33 -nn ' src 192.168.12.127 ' -c 10
1

键入ping命令进行连通性测试：

ping -c 3 192.168.12.130
1

可以看到虚拟ip被ping通了，我们不妨看看抓包结果，如下图，130的包果然被128的服务器拿到了


PING 192.168.12.130 (192.168.12.130) 56(84) bytes of data.
64 bytes from 192.168.12.130: icmp_seq=1 ttl=64 time=0.393 ms
64 bytes from 192.168.12.130: icmp_seq=2 ttl=64 time=0.547 ms
64 bytes from 192.168.12.130: icmp_seq=3 ttl=64 time=1.79 ms

--- 192.168.12.130 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2000ms
rtt min/avg/max/mdev = 0.393/0.911/1.795/0.628 ms
1
2
3
4
5
6
7
8
9
10

在这里插入图片描述

此时我们键入如下命令即可查到，配置的虚拟地址

ip a
1

在这里插入图片描述

# 基于keepalived实现虚ip服务节点漂移

我们分别对ip为127和128的服务器都安装keepalived，然后优先级分别设置为100和98。首先启动128这台keepalive，优先级为98，然后在启动127，优先级为100，当127启动时因为优先级比128高，所以会抢占其资格。抢占master资格。

在这里插入图片描述

首先是128(backup)的配置，可以看到笔者将priority 设置为98：


# 全局配置
global_defs   {
# 邮件通知信息
notification_email {
  # 定义收件人
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}

notification_email_from Alexandre.Cassen@firewall.loc
 # SMTP服务器地址
smtp_server 192.168.12.128 #本机ip地址
smtp_connect_timeout 30
# 路由器标识，一般不用改，也可以写成每个主机自己的主机名
router_id LVS_DEVEL # 本机设备名称，可使用命令 vim /etc/hosts 添加一行 127.0.0.1 LVS_DEVEL 完成主机id配置
}

# 一个vrrp_instance就是定义一个虚拟路由器的，若为同一个vrrp组，这个名字必须相同
vrrp_instance VI_1 {
state MASTER # 备份服务器上将 MASTER 改为 BACKUP
# 工作接口，通告选举使用哪个接口进行
interface ens33 //网卡


# ID还是虚拟MAC最后一段地址的信息，取值范围0-255
virtual_router_id 51 # 主、备机的 virtual_router_id 必须相同


 # 如果你上面定义了MASTER,这里的优先级就需要定义的比其他的高
priority 98


unicast_src_ip  192.168.12.128    #本地IP地址
unicast_peer {
                  192.168.12.127  #对端IP地址,此地址一定不能忘记
                }
                
 # 工作模式，nopreempt表示工作在非抢占模式，默认是抢占模式 preempt
    nopreempt|preempt

# 通告频率，单位为秒
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}

# 虚拟ip地址，master键入ip a就会看到这个地址，注意虚拟地址必须和上文interface 配置的网卡ip地址属于同一网段
virtual_ipaddress {
192.168.12.130
}
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55

然后我们启动128的keepalived查看日志他就会变成master：

Jul 23 13:39:46 localhost Keepalived_vrrp[11064]: VRRP_Instance(VI_1) Transition to MASTER STATE
Jul 23 13:39:47 localhost Keepalived_vrrp[11064]: VRRP_Instance(VI_1) Entering MASTER STATE
Jul 23 13:39:47 localhost Keepalived_vrrp[11064]: VRRP_Instance(VI_1) setting protocol VIPs.
Jul 23 13:39:47 localhost Keepalived_vrrp[11064]: Sending gratuitous ARP on ens33 for 192.168.12.130
1
2
3
4
5

此时我我们再来配置127这台服务器的keepalived，配置大抵相同，只不过优先级为100，所以当他启动时他就会变成master：


global_defs  {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.12.127 #本机ip地址
smtp_connect_timeout 30
router_id LVS_DEVEL # 本机设备名称，可使用命令 vim /etc/hosts 添加一行 127.0.0.1 LVS_DEVEL 完成主机id配置
}


vrrp_instance VI_1 {
state MASTER # 备份服务器上将 MASTER 改为 BACKUP
interface ens33 //网卡
virtual_router_id 51 # 主、备机的 virtual_router_id 必须相同
priority 100
 unicast_src_ip  192.168.12.127    #本地IP地址
    unicast_peer {
                  192.168.12.128  #对端IP地址,此地址一定不能忘记
                }
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.12.130
}
}
~
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

可以看到127启动之后，128的/var/log/messages/的日志会看到如下信息，100比98大，128变backup

Jul 23 13:51:38 localhost Keepalived_vrrp[11264]: VRRP_Instance(VI_1) Received advert with higher priority 100, ours 98
Jul 23 13:51:38 localhost Keepalived_vrrp[11264]: VRRP_Instance(VI_1) Entering BACKUP STATE
Jul 23 13:51:38 localhost Keepalived_vrrp[11264]: VRRP_Instance(VI_1) removing protocol VIPs.
Jul 23 13:51:38 localhost avahi-daemon[799]: Withdrawing address record for 192.168.12.130 on ens33.
1
2
3
4
5

如果我们再将127的keepalived关闭，查看128的日志就会看到，128就会再次变为master

Jul 23 14:06:45 localhost Keepalived_vrrp[11264]: VRRP_Instance(VI_1) Transition to MASTER STATE
Jul 23 14:06:46 localhost Keepalived_vrrp[11264]: VRRP_Instance(VI_1) Entering MASTER STATE
Jul 23 14:06:46 localhost Keepalived_vrrp[11264]: VRRP_Instance(VI_1) setting protocol VIPs.
1
2
3
4

# Keepalived+Nginx实现高可用

基于上述示例我们了解Keepalived是如何结合VRRP实现高可用的，所以这里我们就结合nginx实现代理服务器的高可用架构。

在此之前我们首先关闭selinux：

 setenforce 0
1

然后编写脚本，注意，该脚本权限最好是755权限，否则keepalived会警告

vim /usr/local/nginx/sbin/check.sh
1

粘贴下方内容，该脚本大意是定时检测本机nginx进程清空，若挂了则杀掉keepalived(这个脚本只是示例，读者可以按需编写)


#!/bin/bash
/usr/bin/curl 127.0.0.1:80 &>/dev/null
if [ $? -ne 0 ]
then
  systemctl stop keepalived
fi
1
2
3
4
5
6
7
8
9

完成后我们需要修改keepalived.conf配置，以127服务器为例，首先添加如下两句，确保脚本可以被执行

script_user root
enable_script_security
1
2

然后在配置vrrp_script 脚本模块(注意花括号要换行，不然会报错)，最后在vrrp实例中使用track_script 引用该脚本即可

global_defs  {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc


}

# 确保脚本可以被执行

script_user root
enable_script_security


notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.12.127 #本机ip地址
smtp_connect_timeout 30
router_id LVS_DEVEL # 本机设备名称，可使用命令 vim /etc/hosts 添加一行 127.0.0.1 LVS_DEVEL 完成主机id配置
}


# 配置脚本路径和执行间隔
vrrp_script chk_http_port
{
script "/usr/local/nginx/sbin/check.sh" # 检查当前服务器是否存货的脚本路径
interval 2 #（检测脚本执行的间隔）
weight 2
}


vrrp_instance VI_1 {
state MASTER # 备份服务器上将 MASTER 改为 BACKUP
interface ens33 //网卡
virtual_router_id 51 # 主、备机的 virtual_router_id 必须相同
priority 100
 unicast_src_ip  192.168.12.127    #本地IP地址
    unicast_peer {
                  192.168.12.128  #对端IP地址,此地址一定不能忘记
                }


# 引入上文配置的脚本模块的名字即可
track_script {
        chk_http_port
}
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.12.130
}
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56

修改127、128nginx测试网页，以128为例，可以看到我们的测试页面内容是Welcome to nginx(128)!

<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
    body {
        width: 35em;
        margin: 0 auto;
        font-family: Tahoma, Verdana, Arial, sans-serif;
    }
</style>
</head>
<body>
<h1>Welcome to nginx(128)!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

启动128的nginx服务器和keepalived服务器

/usr/local/nginx/sbin/nginx
systemctl restart keepalived
1
2

可以看到此时虚拟地址130看到的是128的nginx网页

在这里插入图片描述

随后我们启动127抢占查看浏览器得到的网页

/usr/local/nginx/sbin/nginx
systemctl restart keepalived
1
2

此时页面就变为127的网页了：

在这里插入图片描述

我们再关闭127服务器看看128会不会变master以确认高可用架构是否符合预期：

kill -9 $(ps aux | grep 'nginx' | grep -v grep | tr -s ' '| cut -d ' ' -f 2)
1

此时浏览器键入130，就会再次看到128服务器的页面：

在这里插入图片描述

查看日志也发现128服务器监听到127服务器挂了立刻抢占了master，自此我们的nginx高可用配置算是成功了：

在这里插入图片描述

# 小结

文章中涉及高可用实践，在学习过程中使用的材料出现很多问题，导致高可用ip漂移无法实现，对于技术性的问题，技术者一定要学会耐心，且不可急躁，善于通过日志抓取关键词，并给予自己的知识积累或者搜索引擎搜索并解决问题。 例如笔者配置高可用时，遇到脚本权限警告，于是便查看check.sh的脚本权限是777，结合日志内容说权限有问题，大概推测是777过于开放，于是使用经验猜测将权限改为755解决警告。 但是脚本仍然没有执行，查看日志报了systemctl无权限，大概推测是脚本无系统之类执行权限，遂抓着关键词去搜索引擎找到合适的配置解决问题，完成高可用配置。 总的来说，技术人面对日常开发问题，一定不要急躁善于根据关键词推测可能的原因，在基于已有的知识积累和搜索引擎去解决问题并加以记录。

# 参考资料

keepalived之vrrp_script详解:https://www.cnblogs.com/arjenlee/p/9258188.html (opens new window)

keepalived之vrrp_script检测脚本权限问题:https://blog.csdn.net/weixin_34273481/article/details/93110814 (opens new window)

解决： keepalived配置了 track_scripty以后不管用:https://blog.csdn.net/zhmailm/article/details/81905739 (opens new window)

Linux中关闭SELinux的方法:https://blog.csdn.net/akipa11/article/details/81415209 (opens new window)

编辑 (opens new window)
上次更新: 2026/03/26, 01:05:31
Nginx缓存及HTTPS配置小记
Nginx性能优化

← Nginx性能优化→

最近更新
01
基于EasyExcel实现高效导出
03-25
02
从开源框架中学习那些实用的位运算技巧
03-25
03
浅谈分布式架构设计思想和常见优化手段
03-25
更多文章>
Theme by Vdoing | Copyright © 2025-2026 Evan Xu | MIT License | 桂ICP备2024034950号 | 桂公网安备45142202000030
×
×