Kubernetes 调度利器(一):标签与选择器(分组调度)

作者: 王炳明 分类: Kubernetes 发布时间: 2022-03-12 15:14 热度:1,692

本系列教程目录(已发布):

图解 K8S(01):基于ubuntu 部署最新版 k8s 集群
图解 K8S(02):认识 K8S 中的资源对象
图解 K8S(03):从 Pause 容器理解 Pod 的本质
图解 K8S(04):吃透 Pod 中的第三类容器 — init 容器
图解 K8S(05):调度利器之标签与选择器(分组调度)
图解 K8S(06):调度利器之污点与容忍度(压力驱逐)
图解 K8S(07):调度利器之亲和与反亲和(服务容灾)

将一个 Pod 分配到某一个可以满足 Pod 资源请求的节点上,这一过程称之为调度。

理想情况下,你的集群中,有足够的资源能让你创建你期望的 Pod,如此一来,你就有理由不关心你的节点的资源还剩多少,有理由不关心 K8S 调度 Pod 的细节。

可事实上,你的集群资源是有限的,为了能让节点资源得到合理分配、有效利用,需要你对节点进行规划。

比如哪些机器是高性能的机器,哪些是普通机器,哪些是专用机器,尽量避免让普通的应用跑在高性能的机器上。

除此之外,有些应用,出于高可用的考虑,还需要应用部署多个副本,并分散开在不同的域里。

而关于这些内容,可以分成三个部分:

  • 标签与选择器
  • 污点与容忍度
  • 亲和与反亲和

本篇文章先介绍 标签与选择器

1. 通俗理解标签

打个比方,在你面前的食物摆放着一堆食物,分类起来,可以分为两种:

  1. 零食:薯片、辣条 等
  2. 水果:苹果、香蕉 等

肚子饿的时候,你的头脑,首先给出信号:好饿,我想吃零食。

于是你吃的东西,就被限定在了【零食】分组里,而不会去吃水果分组里的东西。

这即是分组的作用,在本例中:

  • 薯片、辣条、苹果、香蕉等食物,即为 K8S 中的 Node
  • 零食、水果,则是打在食物(K8S 中 Node) 上的标签
  • 而大脑给出的进食信号,而是 K8S 中的 Pod

可以看出,标签实际上是从 Pod 的角度,约束了 Pod 只能调度到那些满足条件的节点上。

2. 如何打标签?

标签是打在 Node 上,可以理解为 Node 的属性,或者说你为 Node 分的组名。

使用如下两条命令分别为 worker01 和 worker02 打上 disktype 的分组标签

 kubectl label node worker01 disktype=ssd
 kubectl label node worker02 disktype=hdd

3. 选择器的作用

在 Pod 的 spec 中可以指定一个 nodeSelector 对象,它是一个 map 字典,字典里的每个 key-value ,分别对应 node 上的 label。

当我在 nodeSelector 里指定了 disktype: ssd 后

Kubernetes 调度利器(一):标签与选择器(分组调度)

就意味着,该 Pod 只能调度到 worker01 上,而不能调度到 worker02 上。

当然,如果 nodeSelector 指定了多个标签,那么指定的标签都需要满足,才能调度成功。

Kubernetes 调度利器(一):标签与选择器(分组调度)

4. 标签的操作

与标签有关的命令,这边也一并说下。

删除某个标签

如果想要删除原有标签,可以使用

 kubectl label node worker01 disktype-
 kubectl label node worker02 disktype-

显示所有标签

如果想查看某种资源对象的所有标签可以加 --show-labels

[root@master01 ~]# kubectl get pods --show-labels
NAME                               READY   STATUS    RESTARTS   AGE    LABELS
nginx-test                         1/1     Running   0          5d8h   app=nginx

根据标签过滤

当我们使用 kubectl get pods 时,会列出当前 namespace 的所有 pod,若只想显示有某个 label 的 pod 呢?可以使用 -l 命令指定标签,比较符可以是 =!=

[root@master01 ~]# kubectl get pods -l app=nginx
NAME         READY   STATUS    RESTARTS   AGE
nginx-test   1/1     Running   0          5d8h

除此之外,也使用 in 和 notin 来判断标签的集合关系

[root@master01 ~]# kubectl get pod -l "app in (web,nginx)" --show-labels
NAME         READY   STATUS    RESTARTS   AGE    LABELS
nginx-test   1/1     Running   0          5d8h   app=nginx,env=test
[root@master01 ~]#
[root@master01 ~]# kubectl get pod -l "env notin (product,dev)" --show-labels
NAME                               READY   STATUS    RESTARTS   AGE    LABELS
nginx-test                         1/1     Running   0          5d8h   app=nginx,env=test

更简单一点,直接判断存在某个标签或者不存在某个标签,注意在判断不存在某个标签时,需要使用单引号包裹

[root@master01 ~]# kubectl get pod -l app
NAME         READY   STATUS    RESTARTS   AGE
nginx-test   1/1     Running   0          5d8h
[root@master01 ~]#
[root@master01 ~]#
[root@master01 ~]# kubectl get pod -l '!dev'
NAME                               READY   STATUS    RESTARTS   AGE
nginx-test                         1/1     Running   0          5d8h

显示某些标签

当标签较多时,也可以使用 -L 来指定显示那些标签;

[root@master01 ~]# kubectl get pods -L app
NAME                               READY   STATUS    RESTARTS   AGE    APP
nginx-test                         1/1     Running   0          5d8h   nginx

修改某个标签

[root@master01 ~]# kubectl label pod nginx-test app=web --overwrite
pod/nginx-test labeled
[root@master01 ~]#
[root@master01 ~]# kubectl get pods -L app
NAME                               READY   STATUS    RESTARTS   AGE    APP
nginx-test                         1/1     Running   0          5d8h   web

添加多个标签

直接在后面添加多个 key=value 即可

[root@master01 ~]# kubectl label pod nginx-test app=nginx env=test
pod/nginx-test labeled
[root@master01 ~]#
[root@master01 ~]# kubectl get pod --show-labels
NAME                               READY   STATUS    RESTARTS   AGE    LABELS
nginx-test                         1/1     Running   0          5d8h   app=nginx,env=test

5. 语法与字符集

标签的 key 和 value,是有长度限制的,都不能超过63个字符。

并且标签必须以字母数字字符([a-z0-9A-Z])开头和结尾, 中间的字符可以用破折号(-),下划线(_),点( .

举个反例,如下 key 是不合法的,因为它没有用 [a-z0-9A-Z] 开头

__disk_type

如果你的标签有域名或者前缀,可以用 / 来分隔,比如

ovn.kubernetes.io/pod_nic_type: veth-pair
ovn.kubernetes.io/routed: "true"

你可以随意定义,但 K8S 有两个保留前缀你无法使用,

  • kubernetes.io/
  • k8s.io/

6. 总结一下

K8S 中的标签用来给资源对象分类,任何已注册到 K8S 中的资源对象(标签并不是 Node 和 Pod 的专属),你都可以使用 kubectl label 去操作标签。

而对于 Pod 和 Node 来说,标签还有一层作用,就是借助 nodeSelector 实现指定节点的属性来辅助调度。

文章有帮助,请作者喝杯咖啡?

发表评论