用 Zabbix 监控 Kubernetes 集群：采集脚本与配置全过程

方案思路：不往集群里装 agent，而是在 zabbix-server 上用一段 Python 脚本通过 K8S API 拉取节点、组件健康、Pod 三类数据，再用 zabbix_sender 推给服务端，配合模板出图和告警。前提是已有一个可用的 K8S 集群（Master、Worker 就绪）。

服务端准备：编译安装 Python3

CentOS 默认是 Python2，采集脚本需要 Python3，这里编译安装 3.7.4：

[root@zabbix-server ~]# wget https://www.python.org/ftp/python/3.7.4/Python-3.7.4.tgz

[root@zabbix-server ~]# yum -y install zlib zlib-devel bzip2 bzip2-devel ncurses ncurses-devel readline readline-devel openssl openssl-devel openssl-static xz lzma xz-devel sqlite sqlite-devel gdbm gdbm-devel tk tk-devel libffi libffi-devel gcc make glibc-kernheaders

[root@zabbix-server ~]# mkdir /usr/local/python3

#解压至当前目录下即可
[root@zabbix-server ~]# tar -zxvf Python-3.7.4.tgz

#编译安装
[root@zabbix-server ~]# cd Python-3.7.4
[root@zabbix-server Python-3.7.4]# ./configure --prefix=/usr/local/python3 --with-ssl --enable-shared CFLAGS=-fPIC
[root@zabbix-server Python-3.7.4]# make && make install

[root@zabbix-server ~]# ln -sv /usr/local/python3/bin/python3.7 /usr/bin/python3
[root@zabbix-server ~]# ln -sv /usr/local/python3/bin/pip3.7 /usr/bin/pip3

常见报错是找不到 libpython3.7m.so.1.0，把安装目录写进 ld 配置再刷新即可：

[root@zabbix-server ~]# find / -name libpython3.7m.so.1.0
/root/Python-3.7.4/libpython3.7m.so.1.0
/usr/local/python3/lib/libpython3.7m.so.1.0

[root@zabbix-server ~]# echo "/usr/local/python3/lib " > /etc/ld.so.conf.d/python3.7.conf
[root@zabbix-server ~]# ldconfig
[root@zabbix-server ~]# ldd /usr/local/python3/bin/python3.7

安装 zabbix-sender

服务端一般已有 yum 源，没有就先导一个：

#安装yum源,zabbix服务端一般都会安装了yum源，如果没有的则需要执行
[root@zabbix-server ~]# rpm -Uvh https://repo.zabbix.com/zabbix/5.0/rhel/7/x86_64/zabbix-release-5.0-1.el7.noarch.rpm

#更新yum仓库
[root@zabbix-server ~]# yum repolist

#安装zabbix-sender
[root@zabbix-server ~]# yum -y install zabbix-sender

#检测zabbix-sender命令可用
[root@zabbix-server ~]# zabbix_sender -V
zabbix_sender (Zabbix) 5.0.7

获取 K8S 的 API 地址与 Token

在 master 节点执行，拿到的地址要保证从 zabbix-server 这边能访问到：

[root@k8s-master1 ~]# kubectl cluster-info

K8S 走 HTTPS，数据采集要带 token。这里直接复用部署 Dashboard 时生成的 token，也可以单独建一个专用的：

[root@k8s-master1 ~]# kubectl describe secret -n kube-system $(kubectl get secret  -n kube-system | grep dashboard-admin-user | awk '{print $1}')

注意 token 权限不对的话，后面执行采集脚本会报下面的错：

创建采集脚本

在 zabbix-server 的 /etc/zabbix/zabbix_agentd.d/k8s/ 下创建 get_k8s.py。脚本里 url 填 API 地址、token 填凭证、zabbix_server 填服务端 IP，clientname 后面建主机时要和它一致。装依赖 pip3 install urllib3 requests eval，加执行权限后先手动跑一次 ./get_k8s.py get_pod，确认能采到数据。

[root@zabbix-server ~]# cd /etc/zabbix/zabbix_agentd.d/
[root@zabbix-server zabbix_agentd.d]# mkdir k8s
[root@zabbix-server zabbix_agentd.d]# cd k8s/
[root@zabbix-server k8s]# vim get_k8s.py
#!/usr/bin/python3
import json
import datetime
import sys
import os
import math
import urllib3
import requests
import re
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

zabbix_sender = "/usr/bin/zabbix_sender"
zabbix_server = "zabbix服务端IP地址"
clientname = "k8s_master"


#k8s的api地址
url = "https://xx.xx.xx.xx.:6443"

#k8s的token
token = "token黏贴至此"

def get_result(api_name):
   headers = {"Authorization":"Bearer "+token}
   json_data = requests.get(url+api_name,headers=headers,verify=False)
   return json_data.json()

#时间转换,把所有服务的创建时间变成运行时间
def Trantime(time_data):
    time = re.match(r"(d+)-(d+)-(d+).*?(d+):(d+):(d+)",time_data)
    total_send = round((datetime.datetime.now()-datetime.datetime(int(time.group(1)),int(time.group(2)),int(time.group(3)),int(time.group(4)),int(time.group(5)),int(time.group(6)))).total_seconds())
    return str(math.floor(total_send/86400)).split(".")[0]+"d"+str(math.floor((total_send%86400)/3600)).split(".")[0]+"h"   

#把所有的单位转换成b
def Tranunit(unit_data):
    unit = re.match(r"(d+)(.*)",unit_data)
    value = int(unit.group(1))
    if unit.group(2) == "K":
       return value*1000
    elif unit.group(2) == "Ki":
       return value*1024
    elif unit.group(2) == "M":
       return value*1000*1000
    elif unit.group(2) == "Mi":
       return value*1024*1024
    elif unit.group(2) == "G":
       return value*1000*1000*1000
    elif unit.group(2) == "Gi":
        return value*1024*1024*1024
    elif unit.group(2) == "n":
        return math.ceil(value/1000/1000)
    elif unit.group(2) == "m":
        return value
    else:
        return value

#对数据进行zabbix_sender发送
def send_data(data,dis_key,key):
    result = json.dumps({"data":data},sort_keys=True,ensure_ascii=False)
    cmd = "{0} -z {1} -s {2} -k {3} -o '{4}'>/dev/null".format(zabbix_sender,zabbix_server,clientname,dis_key,result)
    os.system(cmd)
    for i in data:
        for value in i.keys():
         if value !="{#NAME}":
           cmd = "{0} -z {1} -s {2} -k {3}[{4}.{5}] -o '{6}'>/dev/null".format(zabbix_sender,zabbix_server,clientname,key,i["{#NAME}"],i[value][0],i[value][1])
           os.system(cmd)
           print(cmd)     
#获取所有k8s节点的信息
def get_node():
    get_nodes = []
    node_result = get_result("/api/v1/nodes")
    node_use_result = get_result("/apis/metrics.k8s.io/v1beta1/nodes")
    for j in node_use_result.get("items"):
          for i in node_result.get("items"):
            if i.get("metadata").get("name") == j.get("metadata").get("name"):
              data={"{#NAME}": i.get("metadata").get("name"),
                               "{#STATUS}": ["status",i.get("status").get("conditions")[-1].get("type") if i.get("status").get("conditions")[-1].get("status") == "True" else "NotReady"],
                                "{#IP}": ["ip",i.get("status").get("addresses")[0].get("address")],
                                "{#KUBELET_VERSION}": ["version",i.get("status").get("nodeInfo").get("kubeletVersion")],
                                "{#OS_IMAGE}": ["os_image",i.get("status").get("nodeInfo").get("osImage")],
                                 "{#CPU}": ["cpu",i.get("status").get("capacity").get("cpu")],
                                 "{#MEMORY}": ["memory",Tranunit(i.get("status").get("capacity").get("memory"))],
                                 "{#LIMIT_STORAGE}": ["storage",Tranunit(i.get("status").get("capacity").get("ephemeral-storage"))],
                                 "{#RUNTIME}":["runtime",Trantime(i.get("metadata").get("creationTimestamp"))],
                                 "{#USECPU}":["usecpu",Tranunit(j.get("usage").get("cpu"))],
                                 "{#USEMEMORY}":["usememory",Tranunit(j.get("usage").get("memory"))]
                                 }
       
          get_nodes.append(data)
    send_data(get_nodes,"getnode","node")

#获取k8s组件的健康信息
def get_health():
    get_healths = []
    health_result = get_result("/api/v1/componentstatuses") 
    for i in health_result.get("items"):
        data = {} 
        data = {"{#NAME}": i.get("metadata").get("name"),
                "{#STATUS}": ["status",i.get("conditions")[0].get("type")],
                "{#MESSAGE}":["message",i.get("conditions")[0].get("message")]                 
                }
        get_healths.append(data)
    send_data(get_healths,"gethealth","health")

#获取k8s的所有pod
def get_pod(): 
    get_pods = []
    pod_result = get_result("/api/v1/pods")
    for i in pod_result.get("items"):
           data = {"{#NAME}":i.get("metadata").get("name"),
                   "{#RUNTIME}":["runtime",Trantime(i.get("metadata").get("creationTimestamp"))],  
                   "{#STATUS}":["status",i.get("status").get("phase")],
                   "{#RESTARTCOUNT}":["restartcount",i.get("status").get("containerStatuses")[0].get("restartCount")]
                      }
            
           get_pods.append(data)
    send_data(get_pods,"getpod","pod")
        
if __name__ == "__main__":
   cmd = "{0}()".format(sys.argv[1])
   eval(cmd)
   print("采集完成")

#安装python所需模块
[root@zabbix-server k8s]# pip3 install urllib3
[root@zabbix-server k8s]# pip3 install requests
[root@zabbix-server k8s]# pip3 install eval

#为脚本添加执行权限
[root@zabbix-server k8s]# chmod +x get_k8s.py

#执行脚本，检查脚本是否可以正常采集到数据
[r[root@zabbix-server k8s]# ./get_k8s.py get_pod

再建一个外部脚本，把三类采集串起来：

[root@zabbix-server ~]# cd /usr/lib/zabbix/externalscripts/
[root@zabbix-server externalscripts]# vim get_k8s
#!/usr/bin/bash
/usr/bin/python3 /etc/zabbix/zabbix_agentd.d/k8s/get_k8s.py get_pod
/usr/bin/python3 /etc/zabbix/zabbix_agentd.d/k8s/get_k8s.py get_health
/usr/bin/python3 /etc/zabbix/zabbix_agentd.d/k8s/get_k8s.py get_node

导入模板并创建主机

把 K8S 的 zabbix 模板文件上传服务端，web 界面导入：

创建主机，主机名必须与脚本里的 clientname 一致，否则数据对不上：

给主机绑定模板：

数据与告警

等几个采集周期，先看拉到的数据：

集群里 Pod 状态异常或发生重启时会触发告警，下面是两个告警展示样式：

踩坑小结

• API 地址和 6443 端口要从监控机可达，网络不通一切白搭。
• token 权限不足直接报采集错误，换新 token 重来。
• 主机名、clientname、脚本路径三处必须完全一致，排查时优先核对这三项。