5 个冷门但非常实用的 Kubectl 使用技巧,99% 的人都不知道

Posted by Mike on 2021-09-13

kubectl 是 K8s 官方附带的命令行工具, 可以方便的操作 K8s 集群. 这篇文章主要介绍一些 kubectl 的别样用法, 希望读者有一定基础的 K8s 使用经验.

有一篇文章也介绍了一些技巧, 写博客的时候正好搜到了, 正好也分享出来吧.

打印当前使用的API

1
2
3
# kubectl 的主要作用就是与 ApiServer 进行交互, 而交互的过程, 我们可以通过下面的方式来打印, 
# 这个命令尤其适合调试自己的api接口时使用.
$ kubectl get ns -v=9

按状态筛选容器以及删除

这是我在这里学到的命令: Force Delete Evicted / Terminated Pods in Kubernetes

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
$ kubectl get pods --all-namespaces --field-selector status.phase=Pending -o json | \
jq '.items[] | "kubectl delete pods \(.metadata.name) -n \(.metadata.namespace)"' | \
xargs -n 1 bash -c

# 这个命令要拆开来看
# 首先, 获取所有 ns 中状态为 Pending 的 pods, 并以 json 形式输出
# 这个语句其实由很多变体, 比如,我想查找 Failed 的状态, 或是某个 deployment

kubectl get pods --all-namespaces --field-selector status.phase=Pending -o json

# 针对 json 变量进行处理, 生成可用的脚本
# 这里是我想介绍的重点, 利用jq以及kubectl的输出, 构建出可用的命令
jq '.items[] | "kubectl delete pods \(.metadata.name) -n \(.metadata.namespace)"'

# 执行每一条命令
# 注意, 这种命令一定要好好调试, 删掉预期之外的pod就不好了.
xargs -n 1 bash -c

# 例如, 下面的语句可以找到所有的Pods并打印可以执行的语句
$ kubectl get pods --all-namespaces --field-selector status.phase=Running -o json | \
jq '.items[] | "kubectl get pods \(.metadata.name) -o wide -n \(.metadata.namespace)"'

"kubectl get pods metrics-server-6d684c7b5-gtd6q -o wide -n kube-system"
"kubectl get pods local-path-provisioner-58fb86bdfd-98frc -o wide -n kube-system"
"kubectl get pods nginx-deployment-574b87c764-xppmx -o wide -n default"

# 当然, 如果只是删除单个NS下面的一些pods, 我会选择下面的方法, 但是它操作多个NS就很不方便了.
$ kubectl -n default get pods | grep Completed | awk '{print $1}' | xargs kubectl -n default delete pods

统计具体某台机器上运行的所有pod

kubectl 可以使用两种选择器, 一种是 label, 一种是 field, 可以看官网的介绍:

1
2
3
# 它是一种选择器, 可以与上面的 awk 或者 xargs 配合使用.
# 我个人平时都不喜欢用这个, 直接 get 全部 pods, 然后 grep 查找感觉更快
$ kubectl get pods --all-namespaces -o wide --field-selector spec.nodeName=pve-node1

统计 Pod 在不同机器的具体数量分布

不知道有读者看过我的这篇文章: 基于 Kubernetes 的 PaaS 平台中细力度控制 pods 方案的实现. 均衡分布的工作前提是得知pod在各个机器的分布情况. 最好的办法就是我们得到pod信息之后进行简单的统计, 这个工作可以使用awk实现.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
$ kubectl -n default get pods -o wide -l app="nginx" | awk '{print $7}'|\
awk '{ count[$0]++ }
END {
printf("%-35s: %s\n","Word","Count");
for(ind in count){
printf("%-35s: %d\n",ind,count[ind]);
}
}'

# 执行结果如下
Word : Count
NODE : 1
pve-node1 : 1
pve-node2 : 1


# awk 的语法我没深入了解, 有兴趣的读者可以研究看看, 这里我就不求甚解了.

kubectl Proxy 的使用

你可以理解为这个命令为 K8s 的 ApiServer 做了一层代理, 使用该代理, 你可以直接调用 API 而不需要经过鉴权. 启动之后, 甚至可以实现 kubectl 套娃, 下面是一个例子:

1
2
3
4
5
6
7
8
9
10
11
12
# 当你没有设置 kubeconfig 而直接调用 kubectl 时
$ kubectl get ns -v=9
# 可以打印出下面类似的错误
$ curl -k -v -XGET -H "Accept: application/json, */*" -H "User-Agent: kubectl/v1.21.3 (linux/amd64) kubernetes/ca643a4" 'http://localhost:8080/api?timeout=32s'
skipped caching discovery info due to Get "http://localhost:8080/api?timeout=32s": dial tcp 127.0.0.1:8080: connect: connection refused
# 也就是说当你不指定kubeconfig文件时, kubectl会默认访问本机的8080端口
# 那么我们先启动一个kubectl proxy, 然后指定监听8080, 再使用kubectl直接访问, 是不是就可行了呢,
# 事实证明, 安全与预想一致.
$ KUBECONFIG=~/.kube/config-symv3 kubectl proxy -p 8080
$ kubectl get ns
NAME STATUS AGE
default Active 127d

默认启动的 Proxy 是屏蔽了某些 API 的, 并且有一些限制, 例如无法使用 exec 进入 pod 之中 可以使用 kubectl proxy --help 来看, 例如

1
2
3
4
5
6
7
# 仅允许本机访问
--accept-hosts='^localhost$,^127\.0\.0\.1$,^\[::1\]$': Regular expression for hosts that the proxy should accept.
# 不允许访问下面的api, 也就是说默认没法exec进入容器
--reject-paths='^/api/.*/pods/.*/exec,^/api/.*/pods/.*/attach': Regular expression for paths that the proxy should reject. Paths specified here will be rejected even accepted by --accept-paths.

# 想跳过 exec 的限制也很简单, 把 reject-paths 去掉就可以了
$ kubectl proxy -p 8080 --keepalive 3600s --reject-paths='' -v=9

有人说这个 kubectl proxy 可能没什么作用, 那可能仅仅是你还没有实际的应用场景. 例如当我想要调试 K8s Dashboard 代码的时候. 如果直接使用 kubeconfig 文件, 我没法看到具体的请求过程, 如果你加上一层 Proxy 转发, 并且设置 -v=9 的时候, 你就自动获得了一个日志记录工具, 在调试时相当有用.

总结

kubectl 是一个强大的命令行工具, 上面我只是介绍了我工作中对其用法的一点探索, 也并不鼓励大家非要记住这些命令, 只是希望当读者需要的时候, 能够想起来 kubectl 可以有类似的功能, 就不需要针对几个临时需求去研读client-api 了.

本文转载自:「 我的小米粥分你一半 」,原文:https://tinyurl.com/364wh2rk ,版权归原作者所有。欢迎投稿,投稿邮箱: editor@hi-linux.com