k8spod原地更新？ k8s configmap热更新？

k8s学习指南(57)-K8S核心组件Kube-Proxy简介

服务代理：Kube-Proxy负责监听Kubernetes API Server，获取Service和Endpoint信息，并根据这些信息配置系统的网络规则，实现服务代理和负载均衡。这是Kube-Proxy最基本的功能之一，它使得集群内部的服务可以相互访问，并且可以通过ClusterIP进行访问。

kube-controller-manager： 包含多个控制器，如副本控制器、命名空间控制器等，用于集群内部资源的管理，如自动恢复因故障宕机的节点。ETCd： 作为数据存储，用于存储和复制集群状态，是kubernetes的核心组件。Node 节点的主要组件有：kubelet： 负责Pod的创建和运行，监听api Server获取并执行pod部署。

核心组件：kubectl：与Kubernetes集群交互的客户端工具。kubeapiserver：提供API服务，管理集群资源和认证。kubecontrollermanager：负责集群资源的自动管理和配置。kubescheduler：动态调度POD以优化资源分配。etcd：分布式存储系统，用于服务发现和配置共享。kubeproxy：维护Pod与外部网络的连接。

Kubernetes集群的高效运作依赖于其核心组件的协同工作。以下是K8s组件的全解析，你需要知道的一切秘密：kubeapiserver 功能：作为集群的控制中心，处理所有API请求，验证、授权并持久化存储数据。重要性：是集群管理操作的入口，负责集群的整体配置管理。etcd 功能：作为分布式存储，存储着集群配置和状态。

kube-proxy是K8s集群中的网络代理组件，负责实现集群内service的负载均衡和访问控制等功能。每个node节点上都会部署一个kube-proxy组件，负责处理该节点上所有Service的流量转发和路由等操作。通过kube-proxy，K8s集群内的Service可以实现跨节点的访问和负载均衡。

Kubernetes（简称K8s）是用8代替名字中间的8个字符“ubernete”而成的缩写，是一个开源的容器编排引擎，用于管理云平台中多个主机上的容器化应用。Kubernetes的目标是让部署容器化的应用简单且高效。内容简介 Kubernetes是google开源的一个容器编排系统，它支持自动化部署、大规模可伸缩、应用容器化管理。

k8s证书更新方式

1、自动更新脚本 适用场景：适用于原生kubeadm部署的集群。实现方式：配置一个自动更新脚本来定期检查证书有效期。可以使用systemd定时器设置每周一凌晨三点执行检查。如果证书有效期少于30天，脚本将自动更新证书。执行节点：需要在所有master节点上执行相关配置。

2、Kubernetes 证书更新主要有两种方式：自动更新脚本和原生 kubeadm 手动更新。自动更新脚本 适用场景：适用于 kubeadm 管理的集群，可以简化证书的定期更新过程。实现方式：在 master 节点上设置一个证书更新服务和定时器。当证书有效期少于 30 天时，自动执行 kubeadm certs renew all 命令来更新所有证书。

3、方式一：自动更新脚本对于原生kubeadm部署的集群，可以配置一个自动更新脚本来定期检查证书有效期。使用systemd定时器每周一凌晨三点执行，如证书有效期少于30天，脚本将自动更新。在所有master节点上执行相关配置。方式二：原生kubeadm更新针对kubeadm部署，master节点证书更新是关键。

4、方法一：配置自动更新脚本。此方法适用于使用原生kubeadm进行部署的集群。 在所有master节点上配置定时更新脚本，设置每周一凌晨三点执行更新操作，当证书有效期低于30天时自动触发更新。 操作步骤需要在所有master节点上执行。 方法二：使用原生kubeadm更新证书。

5、dONEsystemctl stART k8s-certs-renew.timersystemctl status k8s-certs-renew.TIMEr原生 kubeadm 更新：手动操作对于更高级的用户，可以直接在 master 节点上执行原生 kubeadm 命令来更新证书。

Spark+Celeborn:更快,更稳,更弹性

综上所述，Spark+Celeborn通过一系列创新设计和技术优化，显著提高了大数据处理的性能、稳定性和弹性，满足了更快、更稳、更弹性的需求。

Apache Celeborn确实能够让Spark和FLINK更快、更稳、更弹性。以下是具体解释：更快： Push/聚合/Spilt机制：通过优化shuffle过程，将相同Partition的数据推送给同一Celeborn Worker，避免了数据排序和写放大问题，提升了处理速度。 异步化设计：如异步刷盘、异步commit和异步Fetch，显著提高了处理效率。

Apache Spark在大数据处理领域广泛流行，它通过统一的RDD抽象和窄依赖、宽依赖来描述数据流依赖关系，其中宽依赖是实现复杂算子（如Join、Agg）的关键，而实现机制就是Shuffle。传统Shuffle存在五大主要问题，导致效率、稳定性和弹性不足。

Apache Celeborn，旨在解决大数据引擎中间数据处理过程中的关键问题，通过一系列创新设计和优化，使其在性能、稳定性和弹性方面表现卓越。在性能方面，Apache Celeborn通过核心设计中的Push/聚合/Spilt机制，优化了Shuffle过程。这一机制将相同Partition的数据推送给同一Celeborn Worker，避免了数据排序和写放大问题。

连接级别优化：通过设置 k8s pod 的 CPU/memory limit 和客户端控制并发数来解决 Kyuubi Server 节点保护和任务 overhead 问题。大结果集传输：引入 ARRow 序列化技术，提高了大结果集传输效率，尤其在大内存环境下效果更佳。