想做负载均衡？能考虑用Impala实现

发布时间：2023-10-12 10:35:53 所属栏目：Linux 来源：未知

导读： 　　今天我们来学习关于“想做负载均衡？可以考虑用Impala实现”的内容，下文有详解方法和实例，内容详细，逻辑清晰，有需要的朋友可以参考，希望大家阅读完这篇文章后能有所收获

　　今天我们来学习关于“想做负载均衡？可以考虑用Impala实现”的内容，下文有详解方法和实例，内容详细，逻辑清晰，有需要的朋友可以参考，希望大家阅读完这篇文章后能有所收获，那么下面就一起来了解一下吧。

　　1.文档编写目的

　　在使用Impala JDBC连接Impala服务时，默认是不带负载均衡的，但一个Impala Daemon很可能会产生单点的问题，这里我们就需要考虑Impala Daemon的负载均衡，官方推荐并支持的负载均衡为HAProxy，参考：

　　https://www.cloudera.com/documentation/enterprise/latest/topics/impala_proxy.html。

　　但我们常常会碰到企业已经在用Nginx，Nginx毕竟在http和反向代理这块是最优秀的，这个时候我们就需要考虑复用Nginx。所以在这篇文章就介绍一下如何使用Nginx实现Impala服务的负载均衡。

　　内容概述

　　1.Nginx安装及启停

　　2.配置Impala负载均衡策略

　　3.Impala shell及JDBC测试

　　4.使用keepalived保证nginx高可用

　　测试环境

　　1.CM和CDH版本为5.13.0

　　2.采用root用户操作CentOS7.4

　　3.Nginx1.12.2

　　4.集群未启用Kerberos

　　5.机器角色分配 A（192.168.32.138）需要安装Nginx Keepalived      B（192.168.32.134）需要安装Nginx Keepalived

　　2.Nginx服务安装及启停

　　1.下载Nginx安装包，下载地址如下

　　选择集群中任意一台服务器用来安装Nginx服务或者选用一台独立的服务器用来部署Nginx，需要确保Nginx所在的服务器与集群中所有的Impala节点网络是通的（包括端口号21050）

　　http://nginx.org/download/nginx-1.12.2.tar.gz

　　安装编译Nginx必备工具

　　yum install -y gcc

　　yum install -y gcc-c++

　　yum install -y pcre pcre-devel

　　yum install -y zlib zlib-devel

　　yum install -y openssl openssl-devel

　　cd /usr/local/src/

　　wget http://nginx.org/download/nginx-1.12.2.tar.gz

　　2.解压nginx-1.21.2.tar.gz压缩包，并进行编译安装

　　tar -zxf nginx-1.12.2.tar.gz

　　 cd nginx-1.12.2

　　./configure --with-stream

　　

　　make && make install

　　注意：必须编译stream模块

　　默认Nginx的安装目录为/usr/local/nginx

　　3.启动与停止Nginx

　　启动

　　cd /usr/local/nginx/sbin/

　　./nginx

　　停止

　　./nginx -s stop

　　4.测试Nginx是否正常访问，在浏览器输入http://{安装Nginx的服务器IP}

　　出现 Welcome to nginx！页面表示nginx已启动成功。

　　3.配置Impala负载均衡策略

　　1.修改/usr/local/nginx/conf/nginx.conf文件，在文件末尾增加如下配置

　　stream{

　　 log_format basic '$remote_addr [$time_local] ' '$protocol $status $bytes_sent $bytes_received' '$session_time';

　　 upstream impala { #impala daemon

　　    least_conn; #路由策略:least_conn:最少连接

　　    server 192.168.32.134:21000;

　　    server 192.168.32.135:21000;

　　    server 192.168.32.136:21000;

　　}

　　upstream impalajdbc {

　　least_conn;

　　    server 192.168.32.134:21050;

　　server 192.168.32.135:21050;

　　server 192.168.32.136:21050;

　　}

　　server{ #impala 负载均衡

　　listen 21001;

　　proxy_pass impala;

　　}

　　server{ #impala jdbc 负载均衡

　　listen 21051;

　　proxy_pass impalajdbc;

　　 }

　　}

　　2.重启Nginx

　　停止

　　cd /usr/local/nginx/sbin/

　　./nginx -s stop

　　启动

　　./nginx

　　4.测试Impala负载均衡

　　1.在192.168.32.134节点使用impala-shell连接Impala（假设此时nginx安装在192.168.32.134上）

　　 impala-shell -i 192.168.32.134:21001

　　经过多条sql语句测试即可测出执行sql操作时，连接的不为同一个Impala Daemon。

　　5.Impala JDBC连接测试

　　此处使用工具dbeaver链接Impala进行测试。

　　ip 192.168.32.134

　　port 21051

　　6.使用Keepalived保证Nginx高可用

　　1、keepalived简介

　　Keepalived是一个基于VRRP协议来实现的服务高可用方案，可以利用其来避免IP单点故障，类似的工具还有heartbeat、corosync、pacemaker。

　　但是它一般不会单独出现，而是与其它负载均衡技术（如lvs、haproxy、nginx）一起工作来达到集群的高可用。

　　Keepalived的作用是检测服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作；

　　当服务器工作正常后Keepalived自动将服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的服务器。

　　2、安装

　　cd /usr/local/src

　　#下载

　　wget http://www.keepalived.org/software/keepalived-1.2.23.tar.gz

　　#解压

　　tar -zxvf keepalived-1.2.23.tar.gz

　　cd keepalived-1.2.23

　　#安装

　　./configure --prefix=/usr/local/keepalived   #prefix指定安装目录

　　make

　　make install

　　3、配置

　　    指定配置文件，修改 /usr/local/keepalived/etc/sysconfig/keepalived

　　KEEPALIVED_OPTIONS="-D -f /usr/local/keepalived/etc/keepalived/keepalived.conf" #指定keepalived配置文件路径

　　因为我们使用非默认路径（/usr/local）安装keepalived，需要设置一些软链接以保证keepalived能正常启动

　　ln -s /usr/local/keepalived/sbin/keepalived /usr/bin #将keepalived主程序加入到环境变量

　　ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/ #keepalived启动脚本，放到/etc/init.d/目录下就可以使用service命令便捷调用

　　ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/ #keepalived启动脚本变量引用文件，默认文件路径是/etc/sysconfig/，也可以不做软链接，直接修改启动脚本中文件路径即可

　　4、启动

　　service keepalived start|stop|restart

　　chkconfig keepalived on

　　默认的配置文件中，指定了虚拟IP :192.168.32.200，可使用ip addr（或ip a）命令验证之。

　　5、应用

　　keepalived两种模式：主-备

　　主-备

　　虚拟IP：192.168.32.200        主节点：192.168.32.138         备用节点：192.168.32.134

　　主配置文件

　　【/usr/local/keepalived/etc/keepalived/keepalived.conf】

　　global_defs {

　　    notification_email { #指定keepalived在发生事情的时候，发送邮件告知，可以有多个地址，每行一个。

　　        acassen@firewall.loc

　　        failover@firewall.loc

　　        sysadmin@firewall.loc

　　    }

　　    notification_email_from Alexandre.Cassen@firewall.loc #指定发件人

　　    smtp_server 127.0.0.1 #发送email的smtp地址

　　    smtp_connect_timeout 30 #超时时间

　　    router_id LVS_DEVEL #运行keepalived的机器的一个标识,多个节点标识可以相同，也可以不同

　　    vrrp_skip_check_adv_addr

　　    vrrp_strict

　　    vrrp_garp_interval 0

　　    vrrp_gna_interval 0

　　}

　　vrrp_instance VI_1 {

　　    state MASTER #指定当前节点为主节点备用节点上设置为BACKUP即可

　　    interface eth0 #绑定虚拟IP的网络接口

　　    virtual_router_id 51 #VRRP组名，两个节点的设置必须一样，以指明各个节点属于同一VRRP组

　　    priority 100 #主节点的优先级（1-254之间），备用节点必须比主节点优先级低

　　    advert_int 1

　　    authentication { #设置验证信息，两个节点必须一致

　　        auth_type PASS

　　        auth_pass 1111

　　    }

　　    virtual_ipaddress { #指定虚拟IP, 两个节点设置必须一样

　　        192.168.32.200

　　    }

　　}

　　备配置文件

　　【/usr/local/keepalived/etc/keepalived/keepalived.conf】

　　global_defs {

　　    notification_email { #指定keepalived在发生事情的时候，发送邮件告知，可以有多个地址，每行一个。

　　        acassen@firewall.loc

　　        failover@firewall.loc

　　        sysadmin@firewall.loc

　　    }

　　    notification_email_from Alexandre.Cassen@firewall.loc #指定发件人

　　    smtp_server 127.0.0.1 #发送email的smtp地址

　　    smtp_connect_timeout 30 #超时时间

　　    router_id LVS_DEVEL #运行keepalived的机器的一个标识,多个节点标识可以相同，也可以不同

　　    vrrp_skip_check_adv_addr

　　    vrrp_strict

　　    vrrp_garp_interval 0

　　    vrrp_gna_interval 0

　　}

　　vrrp_instance VI_1 {

　　    state BACKUP #指定当前节点为主节点备用节点上设置为BACKUP即可

　　    interface eth0 #绑定虚拟IP的网络接口

　　    virtual_router_id 51 #VRRP组名，两个节点的设置必须一样，以指明各个节点属于同一VRRP组

　　    priority 99 #主节点的优先级（1-254之间），备用节点必须比主节点优先级低

　　    advert_int 1

　　    authentication { #设置验证信息，两个节点必须一致

　　        auth_type PASS

　　        auth_pass 1111

　　    }

　　    virtual_ipaddress { #指定虚拟IP, 两个节点设置必须一样

　　        192.168.32.200

　　    }

　　}

（编辑：PHP编程网 - 黄冈站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!