从临危授命到扭转乾坤，天天拍车运维架构演进及实践

这是我们当时做的架构图,最上面的是我们的直接用户通过电信、联通的两条线路直接到我们的Haproxy,Haproxy集群目前还没有构建,这是我们今年要去实践的.再往下面是7层负载均衡,这块为OpenResty,其次Proxmox是提供我们应用虚拟化的一套套件.

另一面是静态资源,就是图片、JS、CSS脚本的服务提供.再下面是SOA集群,相当于软件通用的服务.到下面是数据层,数据层分了两类,一类是数据服务,由于应用的关系,MongoDB后来我们直接取消了剔出掉了.图片服务这一块儿在目前为止仍然是两种分布式系统同时提供服务.我们新的图片全部是存在TFS集群的,只有老的图片会存在FastDFS.

天天拍车运维还没有OPSDEV,全靠我们运维自己来做.

这是我们改造以后的网络架构,相当于是我们实际的部署.原来的架构里面是防火墙,防火墙是放在这上面的.后来我们把防火墙放在这边,就起一个VPN的作用,提供我们运维人员移动办公的需要,以及VPN跟总部的VPN隧道打通,进行直接的互访.

我们现在有9个机柜,每一个机柜里面有个别的服务器提供公网的访问,其它服务器的公网访问全部都是通过内网核心进行数据互访.

大家看到这边的防火墙,我们现在可以做到什么呢?只要通过防火墙连接到VPN,不光可以登录到内网核心交换机上管理内网所有的网络设备,还可以从这边连接公网交换机,对公网交换机进行管理.而且我们内部的监测系统是可以通过VPN设置,防火墙采集公网交换机的流量.

左边是51汽车原来早期的前端应用集群架构,后面是新的天天拍车应用集群.

最开始做的时候在ISG上面配置了地址池,通过NAT映射的方式,请求转发,当时还有一个高可用.LVS再把请求转发到下面的虚拟机上.逻辑架构是这样的,但物理部署是怎么部署呢?LVS这些东西全部是虚拟化的机器,除了数据库,其它全是虚拟机.再加上服务器做了bond以后,我们的模式是mode 0,造成大量的数据包重传.里面的各种应用配置又没有经过优化,大部分都是默认的.导致当时51汽车的网站经常挂.

后来重新做过以后把防火墙直接去掉了,用Haproxy来替换LVS,然后由OpenResty来实现负载均衡.Haproxy做4次的负载均衡,我们把VMware虚拟化,替换成KVM的虚拟化技术.

1、网络改造

• 移除防火墙

我们的网络改造做法是移除防火墙,把原来的防火墙全部下架.机柜交换机原来是两台,因为设备型号的更换现在是一台.原来用的是H3C的企业网交换机,现在全是华为的数据中心交换机.这里为什么要由两台精减为一台呢?当时我们发现早期人员在配置交换机时放两台是为了防止单点故障,必然要跟核心设备之间全部建立连线.这个时候就是避免交换机的环路.两个交换机之间要做互备,还要启用VRRP协议.在很多时候我们设计网络架构下是避免生成数据协议的.

• 机柜交换机由两台精简为一台

很多公司一般机柜都不会很多,几个、十来个已经挺不错了.如果你的规模非常大,超过100台交换机,这时如果你签了协议,你的链路只要断一条,整个网络就需要重新收敛,收敛的时间是以秒计.很多中大型的互联网公司,如果生成树协议引起了网络风暴,收敛时网络停止服务,几秒钟的时间肯定承受不了这样的损失.

如果你们之前有去听过京东的网络改造,他们当时也是遇上了这样的情况.交换机是几千台、上万台,早期时就是使用生成树协议,两台交换机做接入,一台交换机的一个口出现故障,会导致业务中断1、2个小时,其原因就是STP造成的.

• 调整交换机收敛比→6：5

我们调整了交换机的收敛比原来是24：1,后来调整为6：5.当时采购的交换机是24口的千兆交换机,每一个机柜里面放12台服务器,每台服务器有两个网口跟交换机做聚合,理论上来说交换机服务器产生的流量最大只有24G.这样我们的交换机收敛比就改了6：5,理论上是这样说,我们的流量转发是堵塞了,所以上线只有24G.只有我们设计时机柜里交换机收敛比小于等于1才可以进行流量的线速转发.

• 接入：核心的两层网络结构

我们希望架构的调整是使用接入核心的两层网络和架构,把核心层和汇聚层结合在一起.

• 所有机柜10G*2上联到核心,起动态LACP

• 数据经过链路启用巨型帧功能

每个机柜的接入层使用这样的网络结构：数据经过的全链路使用巨型帧,保证数据在传输时是正常的,如果你的交换机上没有开启巨型帧功能,你的服务器没有开启PMTU探测的话就会造成服务器访问异常的.

2、服务器硬件

• 按服务器部署业务类型合理搭配硬件

硬件改造当时是28台服务器我都重新做了规划,按照业务的不同做硬件的配置.比如说数据库服务器,用SAS加SSD的方案,使用Facebook Flashcache来做加速.现在公司里面所有的数据库集群都是这样放去做.

• 核心业务网卡由升级为intel i350

我们核心业务的网卡主要是为了负载均衡,还有所有跟数据有关的服务器.全都升级为intelI350的网卡.

• 内存与CPU严格匹配

（编辑：PHP编程网 - 黄冈站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!