腾 讯 云 容 器 团 队 腾 讯 云 容 器 团 队 H o m e A r c h i v e s  2 0 2 0 0 6 1 6 K u b e r n e t e s 服 务 部 署 最 佳 实 践 ( 一 ) 作 者 : 陈 鹏 引 言 业 务 容 器 化 后 ， 如 何 将 其 部 署 在 K 8 S 上 ？ 如 果 仅 仅 是 将 它 跑 起 来 ， 很 简 单 ， 但 如 果 是 上 生 产 ， 我 们 有 许 多 地 方 是 需 要 结 合 业 务 场 景 和 部 署 环 境 进 行 方 案 选 型 和 配 置 调 优 的 。 比 如 ， 如 何 设 置 容 器 的 R e q u e s t 与 L i m i t 、 如 何 让 部 署 的 服 务 做 到 高 可 用 、 如 何 配 置 健 康 检 查 、 如 何 进 行 弹 性 伸 缩 、 如 何 更 好 的 进 行 资 源 调 度 、 如 何 选 择 持 久 化 存 储 、 如 何 对 外 暴 露 服 务 等 。 对 于 这 一 系 列 高 频 问 题 ， 这 里 将 会 出 一 个 K u b e r n e t e s 服 务 部 署 最 佳 实 践 的 系 列 的 文 章 来 为 大 家 一 一 作 答 ， 本 文 将 先 围 绕 如 何 合 理 利 用 资 源 的 主 题 来 进 行 探 讨 。 R e q u e s t 与 L i m i t 怎 么 设 置 才 好 如 何 为 容 器 配 置 R e q u e s t 与 L i m i t ? 这 是 一 个 即 常 见 又 棘 手 的 问 题 ， 这 个 根 据 服 务 类 型 ， 需 求 与 场 景 的 不 同 而 不 同 ， 没 有 固 定 的 答 案 ， 这 里 结 合 生 产 经 验 总 结 了 一 些 最 佳 实 践 ， 可 以 作 为 参 考 。 所 有 容 器 都 应 该 设 置 r e q u e s t r e q u e s t 的 值 并 不 是 指 给 容 器 实 际 分 配 的 资 源 大 小 ， 它 仅 仅 是 给 调 度 器 看 的 ， 调 度 器 会 “ 观 察 ” 每 个 节 点 可 以 用 于 分 配 的 资 源 有 多 少 ， 也 知 道 每 个 节 点 已 经 被 分 配 了 多 少 资 源 。 被 分 配 资 源 的 大 小 就 是 节 点 上 所 有 P o d 中 定 义 的 容 器 r e q u e s t 之 和 ， 它 可 以 计 算 出 节 点 剩 余 多 少 资 源 可 以 被 分 配 ( 可 分 配 资 源 减 去 已 分 配 的 r e q u e s t 之 和 ) 。 如 果 发 现 节 点 剩 余 可 分 配 资 源 大 小 比 当 前 要 被 调 度 的 P o d 的 r e u q e s t 还 小 ， 那 么 就 不 会 考 虑 调 度 到 这 个 节 点 ， 反 之 ， 才 可 能 调 度 。 所 以 ， 如 果 不 配 置 r e q u e s t ， 那 么 调 度 器 就 不 能 知 道 节 点 大 概 被 分 配 了 多 少 资 源 出 去 ， 调 度 器 得 不 到 准 确 信 息 ， 也 就 无 法 做 出 合 理 的 调 度 决 策 ， 很 容 易 造 成 调 度 不 合 理 ， 有 些 节 点 可 能 很 闲 ， 而 有 些 节 点 可 能 很 忙 ， 甚 至 N o t R e a d y 。 所 以 ， 建 议 是 给 所 有 容 器 都 设 置 r e q u e s t ， 让 调 度 器 感 知 节 点 有 多 少 资 源 被 分 配 了 ， 以 便 做 出 合 理 的 调 度 决 策 ， 让 集 群 节 点 的 资 源 能 够 被 合 理 的 分 配 使 用 ， 避 免 陷 入 资 源 分 配 不 均 导 致 一 些 意 外 发 生 。 老 是 忘 记 设 置 怎 么 办 有 时 候 我 们 会 忘 记 给 部 分 容 器 设 置 r e q u e s t 与 l i m i t ， 其 实 我 们 可 以 使 用 L i m i t R a n g e 来 设 置 n a m e s p a c e 的 默 认 r e q u e s t 与 l i m i t 值 ， 同 时 它 也 可 以 用 来 限 制 最 小 和 最 大 的 r e q u e s t 与 l i m i t 。 示 例 : 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 a p i V e r s i o n : v 1 k i n d : L i m i t R a n g e m e t a d a t a : n a m e : m e m l i m i t r a n g e n a m e s p a c e : t e s t s p e c : l i m i t s : d e f a u l t : m e m o r y : 5 1 2 M i c p u : 5 0 0 m d e f a u l t R e q u e s t : m e m o r y : 2 5 6 M i c p u : 1 0 0 m t y p e : C o n t a i n e r 重 要 的 线 上 应 用 改 如 何 设 置 节 点 资 源 不 足 时 ， 会 触 发 自 动 驱 逐 ， 将 一 些 低 优 先 级 的 P o d 删 除 掉 以 释 放 资 源 让 节 点 自 愈 。 没 有 设 置 r e q u e s t ， l i m i t 的 P o d 优 先 级 最 低 ， 容 易 被 驱 逐 ； r e q u e s t 不 等 于 l i m i t 的 其 次 ； r e q u e s t 等 于 l i m i t 的 P o d 优 先 级 较 高 ， 不 容 易 被 驱 逐 。 所 以 如 果 是 重 要 的 线 上 应 用 ， 不 希 望 在 节 点 故 障 时 被 驱 逐 导 致 线 上 业 务 受 影 响 ， 就 建 议 将 r e q u e s t 和 l i m i t 设 成 一 致 。 怎 样 设 置 才 能 提 高 资 源 利 用 率 如 果 给 给 你 的 应 用 设 置 较 高 的 r e q u e s t 值 ， 而 实 际 占 用 资 源 长 期 远 小 于 它 的 r e q u e s t 值 ， 导 致 节 点 整 体 的 资 源 利 用 率 较 低 。 当 然 这 对 时 延 非 常 敏 感 的 业 务 除 外 ， 因 为 敏 感 的 业 务 本 身 不 期 望 节 点 利 用 率 过 高 ， 影 响 网 络 包 收 发 速 度 。 所 以 对 一 些 非 核 心 ， 并 且 资 源 不 长 期 占 用 的 应 用 ， 可 以 适 当 减 少 r e q u e s t 以 提 高 资 源 利 用 率 。 如 果 你 的 服 务 支 持 水 平 扩 容 ， 单 副 本 的 r e q u e s t 值 一 般 可 以 设 置 到 不 大 于 1 核 ， C P U 密 集 型 应 用 除 外 。 比 如 c o r e d n s ， 设 置 到 0 . 1 核 就 可 以 ， 即 1 0 0 m 。 尽 量 避 免 使 用 过 大 的 r e q u e s t 与 l i m i t 如 果 你 的 服 务 使 用 单 副 本 或 者 少 量 副 本 ， 给 很 大 的 r e q u e s t 与 l i m i t ， 让 它 分 配 到 足 够 多 的 资 源 来 支 撑 业 务 ， 那 么 某 个 副 本 故 障 对 业 务 带 来 的 影 响 可 能 就 比 较 大 ， 并 且 由 于 r e q u e s t 较 大 ， 当 集 群 内 资 源 分 配 比 较 碎 片 化 ， 如 果 这 个 P o d 所 在 节 点 挂 了 ， 其 它 节 点 又 没 有 一 个 有 足 够 的 剩 余 可 分 配 资 源 能 够 满 足 这 个 P o d 的 r e q u e s t 时 ， 这 个 P o d 就 无 法 实 现 漂 移 ， 也 就 不 能 自 愈 ， 加 重 对 业 务 的 影 响 。 相 反 ， 建 议 尽 量 减 小 r e q u e s t 与 l i m i t ， 通 过 增 加 副 本 的 方 式 来 对 你 的 服 务 支 撑 能 力 进 行 水 平 扩 容 ， 让 你 的 系 统 更 加 灵 活 可 靠 。 避 免 测 试 n a m e s p a c e 消 耗 过 多 资 源 影 响 生 产 业 务 若 生 产 集 群 有 用 于 测 试 的 n a m e s p a c e ， 如 果 不 加 以 限 制 ， 可 能 导 致 集 群 负 载 过 高 ， 从 而 影 响 生 产 业 务 。 可 以 使 用 R e s o u r c e Q u o t a 来 限 制 测 试 n a m e s p a c e 的 r e q u e s t 与 l i m i t 的 总 大 小 。 示 例 : 1 2 3 4 5 6 7 8 9 1 0 1 1 a p i V e r s i o n : v 1 k i n d : R e s o u r c e Q u o t a m e t a d a t a : n a m e : q u o t a t e s t n a m e s p a c e : t e s t s p e c : h a r d : r e q u e s t s . c p u : 1 r e q u e s t s . m e m o r y : 1 G i l i m i t s . c p u : 2 l i m i t s . m e m o r y : 2 G i 如 何 让 资 源 得 到 更 合 理 的 分 配 设 置 R e q u e s t 能 够 解 决 让 P o d 调 度 到 有 足 够 资 源 的 节 点 上 ， 但 无 法 做 到 更 细 致 的 控 制 。 如 何 进 一 步 让 资 源 得 到 合 理 的 使 用 ？ 我 们 可 以 结 合 亲 和 性 、 污 点 与 容 忍 等 高 级 调 度 技 巧 ， 让 P o d 能 够 被 合 理 调 度 到 合 适 的 节 点 上 ， 让 资 源 得 到 充 分 的 利 用 。 使 用 亲 和 性 对 节 点 有 特 殊 要 求 的 服 务 可 以 用 节 点 亲 和 性 ( N o d e A f f i n i t y ) 部 署 ， 以 便 调 度 到 符 合 要 求 的 节 点 ， 比 如 让 M y S Q L 调 度 到 高 I O 的 机 型 以 提 升 数 据 读 写 效 率 。 可 以 将 需 要 离 得 比 较 近 的 有 关 联 的 服 务 用 P o d 亲 和 性 ( P o d A f f i n i t y ) 部 署 ， 比 如 让 W e b 服 务 跟 它 的 R e d i s 缓 存 服 务 都 部 署 在 同 一 可 用 区 ， 实 现 低 延 时 。 也 可 使 用 P o d 反 亲 和 ( P o d A n t i A f f i n i t y ) 将 P o d 进 行 打 散 调 度 ， 避 免 单 点 故 障 或 者 流 量 过 于 集 中 导 致 的 一 些 问 题 。 使 用 污 点 与 容 忍 使 用 污 点 ( T a i n t ) 与 容 忍 ( T o l e r a t i o n ) 可 优 化 集 群 资 源 调 度 : 通 过 给 节 点 打 污 点 来 给 某 些 应 用 预 留 资 源 ， 避 免 其 它 P o d 调 度 上 来 。 需 要 使 用 这 些 资 源 的 P o d 加 上 容 忍 ， 结 合 节 点 亲 和 性 让 它 调 度 到 预 留 节 点 ， 即 可 使 用 预 留 的 资 源 。 弹 性 伸 缩 如 何 支 持 流 量 突 发 型 业 务 通 常 业 务 都 会 有 高 峰 和 低 谷 ， 为 了 更 合 理 的 利 用 资 源 ， 我 们 为 服 务 定 义 H P A ， 实 现 根 据 P o d 的 资 源 实 际 使 用 情 况 来 对 服 务 进 行 自 动 扩 缩 容 ， 在 业 务 高 峰 时 自 动 扩 容 P o d 数 量 来 支 撑 服 务 ， 在 业 务 低 谷 时 ， 自 动 缩 容 P o d 释 放 资 源 ， 以 供 其 它 服 务 使 用 （ 比 如 在 夜 间 ， 线 上 业 务 低 峰 ， 自 动 缩 容 释 放 资 源 以 供 大 数 据 之 类 的 离 线 任 务 运 行 ) 。 使 用 H P A 前 提 是 让 K 8 S 得 知 道 你 服 务 的 实 际 资 源 占 用 情 况 ( 指 标 数 据 ) ， 需 要 安 装 r e s o u r c e m e t r i c s ( m e t r i c s . k 8 s . i o ) 或 c u s t o m m e t r i c s ( c u s t o m . m e t r i c s . k 8 s . i o ) 的 实 现 ， 好 让 h p a c o n t r o l l e r 查 询 这 些 A P I 来 获 取 到 服 务 的 资 源 占 用 情 况 。 早 期 H P A 用 r e s o u r c e m e t r i c s 获 取 指 标 数 据 ， 后 来 推 出 c u s t o m m e t r i c s ， 可 以 实 现 更 灵 活 的 指 标 来 控 制 扩 缩 容 。 官 方 有 个 叫 m e t r i c s s e r v e r 的 实 现 ， 通 常 社 区 使 用 的 更 多 的 是 基 于 p r o m e t h e u s 的 实 现 p r o m e t h e u s a d a p t e r ， 而 云 厂 商 托 管 的 K 8 S 集 群 通 常 集 成 了 自 己 的 实 现 ， 比 如 T K E ， 实 现 了 C P U 、 内 存 、 硬 盘 、 网 络 等 维 度 的 指 标 ， 可 以 在 网 页 控 制 台 可 视 化 创 建 H P A ， 但 最 终 都 会 转 成 K 8 S 的 y a m l ， 示 例 : 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 a p i V e r s i o n : a u t o s c a l i n g / v 2 b e t a 2 k i n d : H o r i z o n t a l P o d A u t o s c a l e r m e t a d a t a : n a m e : n g i n x s p e c : s c a l e T a r g e t R e f : a p i V e r s i o n : a p p s / v 1 b e t a 2 k i n d : D e p l o y m e n t n a m e : n g i n x m i n R e p l i c a s : 1 m a x R e p l i c a s : 1 0 m e t r i c s : t y p e : P o d s p o d s : m e t r i c : n a m e : k 8 s _ p o d _ r a t e _ c p u _ c o r e _ u s e d _ r e q u e s t t a r g e t : a v e r a g e V a l u e : 1 0 0 t y p e : A v e r a g e V a l u e 如 何 节 约 成 本 H P A 能 实 现 P o d 水 平 扩 缩 容 ， 但 如 果 节 点 资 源 不 够 用 了 ， P o d 扩 容 出 来 还 是 会 P e n d i n g 。 如 果 我 们 提 前 准 备 好 大 量 节 点 ， 做 好 资 源 冗 余 ， 提 前 准 备 好 大 量 节 点 ， 通 常 不 会 有 P o d P e n d i n g 的 问 题 ， 但 也 意 味 着 需 要 付 出 更 高 的 成 本 。 通 常 云 厂 商 托 管 的 K 8 S 集 群 都 会 实 现 c l u s t e r a u t o s c a l e r ， 即 根 据 资 源 使 用 情 况 ， 动 态 增 删 节 点 ， 让 计 算 资 源 能 够 被 最 大 化 的 弹 性 使 用 ， 按 量 付 费 ， 以 节 约 成 本 。 在 T K E 上 的 实 现 叫 做 伸 缩 组 ， 以 及 一 个 包 含 伸 缩 功 能 组 但 更 高 级 的 特 性 ： 节 点 池 ( 正 在 灰 度 ) 无 法 水 平 扩 容 的 服 务 怎 么 办 对 于 无 法 适 配 水 平 伸 缩 的 单 体 应 用 ， 或 者 不 确 定 最 佳 r e q u e s t 与 l i m i t 超 卖 比 的 应 用 ， 可 以 尝 用 V P A 来 进 行 垂 直 伸 缩 ， 即 自 动 更 新 r e q u e s t 与 l i m i t ， 然 后 重 启 p o d 。 不 过 这 个 特 性 容 易 导 致 你 的 服 务 出 现 短 暂 的 不 可 用 ， 不 建 议 在 生 产 环 境 中 大 规 模 使 用 。 参 考 资 料 U n d e r s t a n d i n g K u b e r n e t e s l i m i t s a n d r e q u e s t s b y e x a m p l e : h t t p s : / / s y s d i g . c o m / b l o g / k u b e r n e t e s l i m i t s r e q u e s t s / U n d e r s t a n d i n g r e s o u r c e l i m i t s i n k u b e r n e t e s : c p u t i m e : h t t p s : / / m e d i u m . c o m / @ b e t z . m a r k / u n d e r s t a n d i n g r e s o u r c e l i m i t s i n k u b e r n e t e s c p u t i m e 9 e f f 7 4 d 3 1 6 1 b U n d e r s t a n d i n g r e s o u r c e l i m i t s i n k u b e r n e t e s : m e m o r y : h t t p s : / / m e d i u m . c o m / @ b e t z . m a r k / u n d e r s t a n d i n g r e s o u r c e l i m i t s i n k u b e r n e t e s m e m o r y 6 b 4 1 e 9 a 9 5 5 f 9 K u b e r n e t e s b e s t p r a c t i c e s : R e s o u r c e r e q u e s t s a n d l i m i t s : h t t p s : / / c l o u d . g o o g l e . c o m / b l o g / p r o d u c t s / g c p / k u b e r n e t e s b e s t p r a c t i c e s r e s o u r c e r e q u e s t s a n d l i m i t s K u b e r n e t e s 资 源 分 配 之 R e q u e s t 和 L i m i t 解 析 : h t t p s : / / c l o u d . t e n c e n t . c o m / d e v e l o p e r / a r t i c l e / 1 0 0 4 9 7 6 A s s i g n P o d s t o N o d e s u s i n g N o d e A f f i n i t y : h t t p s : / / k u b e r n e t e s . i o / d o c s / t a s k s / c o n f i g u r e p o d c o n t a i n e r / a s s i g n p o d s n o d e s u s i n g n o d e a f f i n i t y / T a i n t s a n d T o l e r a t i o n s : h t t p s : / / k u b e r n e t e s . i o / d o c s / c o n c e p t s / s c h e d u l i n g e v i c t i o n / t a i n t a n d t o l e r a t i o n / m e t r i c s s e r v e r : h t t p s : / / g i t h u b . c o m / k u b e r n e t e s s i g s / m e t r i c s s e r v e r p r o m e t h e u s a d a p t e r : h t t p s : / / g i t h u b . c o m / D i r e c t X M a n 1 2 / k 8 s p r o m e t h e u s a d a p t e r c l u s t e r a u t o s c a l e r : h t t p s : / / g i t h u b . c o m / k u b e r n e t e s / a u t o s c a l e r / t r e e / m a s t e r / c l u s t e r a u t o s c a l e r V P A : h t t p s : / / g i t h u b . c o m / k u b e r n e t e s / a u t o s c a l e r / t r e e / m a s t e r / v e r t i c a l p o d a u t o s c a l e r S h a r e 2 0 2 0 0 6 1 6 T K E 集 群 组 建 最 佳 实 践 作 者 : 陈 鹏 K u b e r n e t e s 版 本 K 8 S 版 本 迭 代 比 较 快 ， 新 版 本 通 常 包 含 许 多 b u g 修 复 和 新 功 能 ， 旧 版 本 逐 渐 淘 汰 ， 建 议 创 建 集 群 时 选 择 当 前 T K E 支 持 的 最 新 版 本 ， 后 续 出 新 版 本 后 也 是 可 以 支 持 M a s t e r 和 节 点 的 版 本 升 级 的 。 网 络 模 式 : G l o b a l R o u t e r v s V P C C N I G l o b a l R o u t e r 模 式 架 构 : 基 于 C N I 和 网 桥 实 现 的 容 器 网 络 能 力 ， 容 器 路 由 直 接 通 过 V P C 底 层 实 现 容 器 与 节 点 在 同 一 网 络 平 面 ， 但 网 段 不 与 V P C 网 段 重 叠 ， 容 器 网 段 地 址 充 裕 V P C C N I 模 式 架 构 : 基 于 C N I 和 V P C 弹 性 网 卡 实 现 的 容 器 网 络 能 力 ， 容 器 路 由 通 过 弹 性 网 卡 ， 性 能 相 比 G l o b a l R o u t e r 约 提 高 1 0 % 容 器 与 节 点 在 同 一 网 络 平 面 ， 网 段 在 V P C 网 段 内 支 持 P o d 固 定 I P 对 比 : 支 持 三 种 使 用 方 式 : 创 建 集 群 时 指 定 G l o b a l R o u t e r 模 式 创 建 集 群 时 指 定 V P C C N I 模 式 ， 后 续 所 有 P o d 都 必 须 使 用 V P C C N I 模 式 创 建 创 建 集 群 时 指 定 G l o b a l R o u t e r 模 式 ， 在 需 要 使 用 V P C C N I 模 式 时 为 集 群 启 用 V P C C N I 的 支 持 ， 即 两 种 模 式 混 用 选 型 建 议 : 绝 大 多 数 情 况 下 应 该 选 择 G l o b a l R o u t e r ， 容 器 网 段 地 址 充 裕 ， 扩 展 性 强 ， 能 适 应 规 模 较 大 的 业 务 如 果 后 期 部 分 业 务 需 要 用 到 V P C C N I 模 式 ， 可 以 在 G l o b a l R o u t e r 集 群 再 开 启 V P C C N I 支 持 ， 也 就 是 G l o b a l R o u t e r 与 V P C C N I 混 用 ， 仅 对 部 分 业 务 使 用 V P C C N I 模 式 如 果 完 全 了 解 并 接 受 V P C C N I 的 各 种 限 制 ， 并 且 需 要 集 群 内 所 有 P o d 都 用 V P C C N I 模 式 ， 可 以 创 建 集 群 时 选 择 V P C C N I 网 络 插 件 参 考 官 方 文 档 《 如 何 选 择 容 器 服 务 网 络 模 式 》 : h t t p s : / / c l o u d . t e n c e n t . c o m / d o c u m e n t / p r o d u c t / 4 5 7 / 4 1 6 3 6 运 行 时 : D o c k e r v s C o n t a i n e r d D o c k e r 作 为 运 行 时 的 架 构 : k u b e l e t 内 置 的 d o c k e r s h i m 模 块 帮 傲 娇 的 d o c k e r 适 配 了 C R I 接 口 ， 然 后 k u b e l e t 自 己 调 自 己 的 d o c k e r s h i m ( 通 过 s o c k e t 文 件 ) ， 然 后 d o c k e r s h i m 再 调 d o c k e r d 接 口 ( D o c k e r H T T P A P I ) ， 接 着 d o c k e r d 还 要 再 调 d o c k e r c o n t a i n e r d ( g R P C ) 来 实 现 容 器 的 创 建 与 销 毁 等 。 为 什 么 调 用 链 这 么 长 ？ K 8 S 一 开 始 支 持 的 就 只 是 D o c k e r ， 后 来 引 入 了 C R I ， 将 运 行 时 抽 象 以 支 持 多 种 运 行 时 ， 而 D o c k e r 跟 K 8 S 在 一 些 方 面 有 一 定 的 竞 争 ， 不 甘 做 小 弟 ， 也 就 没 在 d o c k e r d 层 面 实 现 C R I 接 口 ， 所 以 k u b e l e t 为 了 让 d o c k e r d 支 持 C R I ， 就 自 己 为 d o c k e r d 实 现 了 C R I 。 d o c k e r 本 身 内 部 组 件 也 模 块 化 了 ， 再 加 上 一 层 C R I 适 配 ， 调 用 链 肯 定 就 长 了 。 C o n t a i n e r d 作 为 运 行 时 的 架 构 : c o n t a i n e r d 1 . 1 之 后 ， 支 持 C R I P l u g i n ， 即 c o n t a i n e r d 自 身 这 里 就 可 以 适 配 C R I 接 口 。 相 比 D o c k e r 方 案 ， 调 用 链 少 了 d o c k e r s h i m 和 d o c k e r d 。 对 比 : c o n t a i n e r d 方 案 由 于 绕 过 了 d o c k e r d ， 调 用 链 更 短 ， 组 件 更 少 ， 占 用 节 点 资 源 更 少 ， 绕 过 了 d o c k e r d 本 身 的 一 些 b u g ， 但 c o n t a i n e r d 自 身 也 还 存 在 一 些 b u g ( 已 修 复 一 些 ， 灰 度 中 ) 。 d o c k e r 方 案 历 史 比 较 悠 久 ， 相 对 更 成 熟 ， 支 持 d o c k e r a p i ， 功 能 丰 富 ， 符 合 大 多 数 人 的 使 用 习 惯 。 选 型 建 议 : D o c k e r 方 案 相 比 c o n t a i n e r d 更 成 熟 ， 如 果 对 稳 定 性 要 求 很 高 ， 建 议 d o c k e r 方 案 以 下 场 景 只 能 使 用 d o c k e r : D o c k e r i n d o c k e r ( 通 常 在 C I 场 景 ) 节 点 上 使 用 d o c k e r 命 令 调 用 d o c k e r A P I 没 有 以 上 场 景 建 议 使 用 c o n t a i n e r d 参 考 官 方 文 档 《 如 何 选 择 C o n t a i n e r d 和 D o c k e r 》 : h t t p s : / / c l o u d . t e n c e n t . c o m / d o c u m e n t / p r o d u c t / 4 5 7 / 3 5 7 4 7 S e r v i c e 转 发 模 式 : i p t a b l e s v s i p v s 先 看 看 S e r v i c e 的 转 发 原 理 : 节 点 上 的 k u b e p r o x y 组 件 w a t c h a p i s e r v e r ， 获 取 S e r v i c e 与 E n d p o i n t ， 转 化 成 i p t a b l e s 或 i p v s 规 则 并 写 到 节 点 上 集 群 内 的 c l i e n t 去 访 问 S e r v i c e ( C l u s t e r I P ) ， 会 被 i p t a b l e / i p v s 规 则 负 载 均 衡 到 S e r v i c e 对 应 的 后 端 p o d 对 比 : i p v s 模 式 性 能 更 高 ， 但 也 存 在 一 些 已 知 未 解 决 的 b u g i p t a b l e s 模 式 更 成 熟 稳 定 选 型 建 议 : 对 稳 定 性 要 求 极 高 且 s e r v i c e 数 量 小 于 2 0 0 0 ， 选 i p t a b l e s 其 余 场 景 首 选 i p v s 集 群 类 型 : 托 管 集 群 v s 独 立 集 群 托 管 集 群 : M a s t e r 组 件 用 户 不 可 见 ， 由 腾 讯 云 托 管 很 多 新 功 能 也 是 会 率 先 支 持 托 管 的 集 群 M a s t e r 的 计 算 资 源 会 根 据 集 群 规 模 自 动 扩 容 用 户 不 需 要 为 M a s t e r 付 费 独 立 集 群 : M a s t e r 组 件 用 户 可 以 完 全 掌 控 用 户 需 要 为 M a s t e r 付 费 购 买 机 器 选 型 建 议 : 一 般 推 荐 托 管 集 群 如 果 希 望 能 能 够 对 M a s t e r 完 全 掌 控 ， 可 以 使 用 独 立 集 群 ( 比 如 对 M a s t e r 进 行 个 性 化 定 制 实 现 高 级 功 能 ) 节 点 操 作 系 统 T K E 主 要 支 持 U b u n t u 和 C e n t O S 两 类 发 行 版 ， 带 “ T K E O p t i m i z e d ” 后 缀 用 的 是 T K E 定 制 优 化 版 的 内 核 ， 其 它 的 是 l i n u x 社 区 官 方 开 源 内 核 : T K E O p t i m i z e d 的 优 势 : 基 于 内 核 社 区 长 期 支 持 的 4 . 1 4 . 1 0 5 版 本 定 制 针 对 容 器 和 云 场 景 进 行 优 化 计 算 、 存 储 和 网 络 子 系 统 均 经 过 性 能 优 化 对 内 核 缺 陷 修 复 支 持 较 好 完 全 开 源 ： h t t p s : / / g i t h u b . c o m / T e n c e n t / T e n c e n t O S k e r n e l 选 型 建 议 : 推 荐 “ T K E O p t i m i z e d ” ， 稳 定 性 和 技 术 支 持 都 比 较 好 如 果 需 要 更 高 版 本 内 核 ， 选 非 “ T K E O p t i m i z e d ” 版 本 的 操 作 系 统 节 点 池 此 特 性 当 前 正 在 灰 度 中 ， 可 申 请 开 白 名 单 使 用 。 主 要 可 用 于 批 量 管 理 节 点 ： 节 点 L a b e l 与 T a i n t 节 点 组 件 启 动 参 数 节 点 自 定 义 启 动 脚 本 操 作 系 统 与 运 行 时 ( 暂 未 支 持 ) 产 品 文 档 ： h t t p s : / / c l o u d . t e n c e n t . c o m / d o c u m e n t / p r o d u c t / 4 5 7 / 4 3 7 1 9 适 用 场 景 : 异 构 节 点 分 组 管 理 ， 减 少 管 理 成 本 让 集 群 更 好 支 持 复 杂 的 调 度 规 则 ( L a b e l , T a i n t ) 频 繁 扩 缩 容 节 点 ， 减 少 操 作 成 本 节 点 日 常 维 护 ( 版 本 升 级 ) 用 法 举 例 : 部 分 I O 密 集 型 业 务 需 要 高 I O 机 型 ， 为 其 创 建 一 个 节 点 池 ， 配 置 机 型 并 统 一 设 置 节 点 L a b e l 与 T a i n t ， 然 后 将 I O 密 集 型 业 务 配 置 亲 和 性 ， 选 中 L a b e l ， 使 其 调 度 到 高 I O 机 型 的 节 点 ( T a i n t 可 以 避 免 其 它 业 务 P o d 调 度 上 来 ) 。 随 着 时 间 的 推 移 ， 业 务 量 快 速 上 升 ， 该 I O 密 集 型 业 务 也 需 要 更 多 的 计 算 资 源 ， 在 业 务 高 峰 时 段 ， H P A 功 能 自 动 为 该 业 务 扩 容 了 P o d ， 而 节 点 计 算 资 源 不 够 用 ， 这 时 节 点 池 的 自 动 伸 缩 功 能 自 动 扩 容 了 节 点 ， 扛 住 了 流 量 高 峰 。 启 动 脚 本 添 加 节 点 时 通 过 自 定 义 数 据 配 置 节 点 启 动 脚 本 ( 可 用 于 修 改 组 件 启 动 参 数 、 内 核 参 数 等 ) : 组 件 自 定 义 参 数 此 特 性 当 前 也 正 在 灰 度 中 ， 可 申 请 开 白 名 单 使 用 。 创 建 集 群 时 可 自 定 义 M a s t e r 组 件 部 分 启 动 参 数 : 添 加 节 点 时 可 自 定 义 k u b e l e t 部 分 启 动 参 数 : S h a r e 2 0 2 0 0 5 1 3 揭 秘 K u b e r n e t e s a t t a c h / d e t a c h c o n t r o l l e r 逻 辑 漏 洞 致 使 p o d 启 动 失 败 作 者 ： 蔡 靖 前 言 本 文 主 要 通 过 深 入 学 习 k 8 s a t t a c h / d e t a c h c o n t r o l l e r 源 码 ， 了 解 现 网 案 例 发 现 的 a t t a c h / d e t a c h c o n t r o l l e r b u g 发 生 的 原 委 ， 并 给 出 解 决 方 案 。 看 完 本 文 你 也 将 学 习 到 ： a t t a c h / d e t a c h c o n t r o l l e r 的 主 要 数 据 结 构 有 哪 些 ， 保 存 什 么 数 据 ， 数 据 从 哪 来 ， 到 哪 去 等 等 ； k 8 s a t t a c h / d e t a c h v o l u m e 的 详 细 流 程 ， 如 何 判 断 v o l u m e 是 否 需 要 a t t a c h / d e t a c h ， a t t a c h / d e t a c h c o n t r o l l e r 和 k u b e l e t ( v o l u m e m a n a g e r ) 如 何 协 同 工 作 等 等 。 现 网 案 例 现 象 我 们 首 先 了 解 下 现 网 案 例 的 问 题 和 现 象 ； 然 后 去 深 入 理 解 a d c o n t r o l l e r 维 护 的 数 据 结 构 ； 之 后 根 据 数 据 结 构 与 a d c o n t r o l l e r 的 代 码 逻 辑 ， 再 来 详 细 分 析 现 网 案 例 出 现 的 原 因 和 解 决 方 案 。 从 而 深 入 理 解 整 个 a d c o n t r o l l e r 。 问 题 描 述 一 个 s t a t e f u l s e t s ( s t s ) 引 用 了 多 个 p v c c b s ， 我 们 更 新 s t s 时 ， 删 除 旧 p o d ， 创 建 新 p o d ， 此 时 如 果 删 除 旧 p o d 时 c b s d e t a c h 失 败 ， 且 创 建 的 新 p o d 调 度 到 和 旧 p o d 相 同 的 节 点 ， 就 可 能 会 让 这 些 p o d 一 直 处 于 C o n t a i n e r C r e a t i n g 。 现 象 k u b e c t l d e s c r i b e p o d k u b e l e t l o g k u b e c t l g e t n o d e x x x o y a m l 的 v o l u m e s A t t a c h e d 和 v o l u m e s I n U s e 1 2 3 4 5 6 v o l u m e s A t t a c h e d : d e v i c e P a t h : / d e v / d i s k / b y i d / v i r t i o d i s k 6 w 8 7 j 3 w v n a m e : k u b e r n e t e s . i o / q c l o u d c b s / d i s k 6 w 8 7 j 3 w v v o l u m e s I n U s e : k u b e r n e t e s . i o / q c l o u d c b s / d i s k 6 w 8 7 j 3 w v k u b e r n e t e s . i o / q c l o u d c b s / d i s k 7 b f q s f t 5 k 8 s 存 储 简 述 k 8 s 中 a t t a c h / d e t a c h c o n t r o l l e r 负 责 存 储 插 件 的 a t t a c h / d e t a c h 。 本 文 结 合 现 网 出 现 的 一 个 案 例 来 分 析 a d c o n t r o l l e r 的 源 码 逻 辑 ， 该 案 例 是 因 k 8 s 的 a d c o n t r o l l e r b u g 导 致 的 p o d 创 建 失 败 。 k 8 s 中 涉 及 存 储 的 组 件 主 要 有 ： a t t a c h / d e t a c h c o n t r o l l e r 、 p v c o n t r o l l e r 、 v o l u m e m a n a g e r 、 v o l u m e p l u g i n s 、 s c h e d u l e r 。 每 个 组 件 分 工 明 确 ： a t t a c h / d e t a c h c o n t r o l l e r ： 负 责 对 v o l u m e 进 行 a t t a c h / d e t a c h p v c o n t r o l l e r ： 负 责 处 理 p v / p v c 对 象 ， 包 括 p v 的 p r o v i s i o n / d e l e t e （ c b s i n t r e e 的 p r o v i s i o n e r 设 计 成 了 e x t e r n a l p r o v i s i o n e r ， 独 立 的 c b s p r o v i s i o n e r 来 负 责 c b s p v 的 p r o v i s i o n / d e l e t e ） v o l u m e m a n a g e r ： 主 要 负 责 对 v o l u m e 进 行 m o u n t / u n m o u n t v o l u m e p l u g i n s ： 包 含 k 8 s 原 生 的 和 各 厂 商 的 的 存 储 插 件 原 生 的 包 括 ： e m p t y d i r 、 h o s t p a t h 、 f l e x v o l u m e 、 c s i 等 各 厂 商 的 包 括 ： a w s e b s 、 a z u r e 、 我 们 的 c b s 等 s c h e d u l e r ： 涉 及 到 v o l u m e 的 调 度 。 比 如 对 e b s 、 c s i 等 的 单 n o d e 最 大 可 a t t a c h 磁 盘 数 量 的 p r e d i c a t e 策 略 控 制 器 模 式 是 k 8 s 非 常 重 要 的 概 念 ， 一 般 一 个 c o n t r o l l e r 会 去 管 理 一 个 或 多 个 A P I 对 象 ， 以 让 对 象 从 实 际 状 态 / 当 前 状 态 趋 近 于 期 望 状 态 。 所 以 a t t a c h / d e t a c h c o n t r o l l e r 的 作 用 其 实 就 是 去 a t t a c h 期 望 被 a t t a c h 的 v o l u m e ， d e t a c h 期 望 被 d e t a c h 的 v o l u m e 。 后 续 a t t a c h / d e t a c h c o n t r o l l e r 简 称 a d c o n t r o l l e r 。 a d c o n t r o l l e r 数 据 结 构 对 于 a d c o n t r o l l e r 来 说 ， 理 解 了 其 内 部 的 数 据 结 构 ， 再 去 理 解 逻 辑 就 事 半 功 倍 。 a d c o n t r o l l e r 在 内 存 中 维 护 2 个 数 据 结 构 ： a c t u a l S t a t e O f W o r l d — — 表 征 实 际 状 态 （ 后 面 简 称 a s w ） d e s i r e d S t a t e O f W o r l d — — 表 征 期 望 状 态 （ 后 面 简 称 d s w ） 很 明 显 ， 对 于 声 明 式 A P I 来 说 ， 是 需 要 随 时 比 对 实 际 状 态 和 期 望 状 态 的 ， 所 以 a d c o n t r o l l e r 中 就 用 了 2 个 数 据 结 构 来 分 别 表 征 实 际 状 态 和 期 望 状 态 。 a c t u a l S t a t e O f W o r l d a c t u a l S t a t e O f W o r l d 包 含 2 个 m a p ： a t t a c h e d V o l u m e s ： 包 含 了 那 些 a d c o n t r o l l e r 认 为 被 成 功 a t t a c h 到 n o d e s 上 的 v o l u m e s n o d e s T o U p d a t e S t a t u s F o r ： 包 含 要 更 新 n o d e . S t a t u s . V o l u m e s A t t a c h e d 的 n o d e s a t t a c h e d V o l u m e s 如 何 填 充 数 据 ？ 1 、 在 启 动 a d c o n t r o l l e r 时 ， 会 p o p u l a t e a s w ， 此 时 会 l i s t 集 群 内 所 有 n o d e 对 象 ， 然 后 用 这 些 n o d e 对 象 的 n o d e . S t a t u s . V o l u m e s A t t a c h e d 去 填 充 a t t a c h e d V o l u m e s 。 2 、 之 后 只 要 有 需 要 a t t a c h 的 v o l u m e 被 成 功 a t t a c h 了 ， 就 会 调 用 M a r k V o l u m e A s A t t a c h e d （ G e n e r a t e A t t a c h V o l u m e F u n c 中 ） 来 填 充 到 a t t a c h e d V o l u m e s 中 。 如 何 删 除 数 据 ？ 1 、 只 有 在 v o l u m e 被 d e t a c h 成 功 后 ， 才 会 把 相 关 的 v o l u m e 从 a t t a c h e d V o l u m e s 中 删 掉 。 （ G e n e r a t e D e t a c h V o l u m e F u n c 中 调 用 M a r k V o l u m e D e t a c h e d ) n o d e s T o U p d a t e S t a t u s F o r 如 何 填 充 数 据 ？ 1 、 d e t a c h v o l u m e 失 败 后 ， 将 v o l u m e a d d b a c k 到 n o d e s T o U p d a t e S t a t u s F o r ​ G e n e r a t e D e t a c h V o l u m e F u n c 中 调 用 A d d V o l u m e T o R e p o r t A s A t t a c h e d 如 何 删 除 数 据 ？ 1 、 在 d e t a c h v o l u m e 之 前 会 先 调 用 R e m o v e V o l u m e F r o m R e p o r t A s A t t a c h e d 从 n o d e s T o U p d a t e S t a t u s F o r 中 先 删 除 该 v o l u m e 相 关 信 息 d e s i r e d S t a t e O f W o r l d d e s i r e d S t a t e O f W o r l d 中 维 护 了 一 个 m a p ： n o d e s M a n a g e d ： 包 含 被 a d c o n t r o l l e r 管 理 的 n o d e s ， 以 及 期 望 a t t a c h 到 这 些 n o d e 上 的 v o l u m e s 。 n o d e s M a n a g e d 如 何 填 充 数 据 ？ 1 、 在 启 动 a d c o n t r o l l e r 时 ， 会 p o p u l a t e a s w ， l i s t 集 群 内 所 有 n o d e 对 象 ， 然 后 把 由 a d c o n t r o l l e r 管 理 的 n o d e 填 充 到 n o d e s M a n a g e d 2 、 a d c o n t r o l l e r 的 n o d e I n f o r m e r w a t c h 到 n o d e 有 更 新 也 会 把 n o d e 填 充 到 n o d e s M a n a g e d 3 、 另 外 在 p o p u l a t e d s w 和 p o d I n f o r m e r w a t c h 到 p o d 有 变 化 （ a d d , u p d a t e ） 时 ， 往 n o d e s M a n a g e d 中 填 充 v o l u m e 和 p o d 的 信 息 4 、 d e s i r e d S t a t e O f W o r l d P o p u l a t o r 中 也 会 周 期 性 地 去 找 出 需 要 被 a d d 的 p o d ， 此 时 也 会 把 相 应 的 v o l u m e 和 p o d 填 充 到 n o d e s M a n a g e d 如 何 删 除 数 据 ？ 1 、 当 删 除 n o d e 时 ， a d c o n t r o l l e r 中 的 n o d e I n f o r m e r w a t c h 到 变 化 会 从 d s w 的 n o d e s M a n a g e d 中 删 除 相 应 的 n o d e 2 、 当 a d c o n t r o l l e r 中 的 p o d I n f o r m e r w a t c h 到 p o d 的 删 除 时 ， 会 从 n o d e s M a n a g e d 中 删 除 相 应 的 v o l u m e 和 p o d 3 、 d e s i r e d S t a t e O f W o r l d P o p u l a t o r 中 也 会 周 期 性 地 去 找 出 需 要 被 删 除 的 p o d ， 此 时 也 会 从 n o d e s M a n a g e d 中 删 除 相 应 的 v o l u m e 和 p o d a d c o n t r o l l e r 流 程 简 述 a d c o n t r o l l e r 的 逻 辑 比 较 简 单 ： 1 、 首 先 ， l i s t 集 群 内 所 有 的 n o d e 和 p o d ， 来 p o p u l a t e a c t u a l S t a t e O f W o r l d ( a t t a c h e d V o l u m e s ) 和 d e s i r e d S t a t e O f W o r l d ( n o d e s M a n a g e d ) 2 、 然 后 ， 单 独 开 个 g o r o u t i n e 运 行 r e c o n c i l e r ， 通 过 触 发 a t t a c h , d e t a c h 操 作 周 期 性 地 去 r e c o n c i l e a s w （ 实 际 状 态 ） 和 d w s （ 期 望 状 态 ） 触 发 a t t a c h ， d e t a c h 操 作 也 就 是 ， d e t a c h 该 被 d e t a c h 的 v o l u m e ， a t t a c h 该 被 a t t a c h 的 v o l u m e 3 、 之 后 ， 又 单 独 开 个 g o r o u t i n e 运 行 D e s i r e d S t a t e O f W o r l d P o p u l a t o r ， 定 期 去 验 证 d s w 中 的 p o d s 是 否 依 然 存 在 ， 如 果 不 存 在 就 从 d s w 中 删 除 现 网 案 例 接 下 来 结 合 上 面 所 说 的 现 网 案 例 ， 来 详 细 看 看 r e c o n c i l e r 的 逻 辑 。 案 例 初 步 分 析 从 p o d 的 事 件 可 以 看 出 来 ： a d c o n t r o l l e r 认 为 c b s a t t a c h 成 功 了 ， 然 后 k u b e l e t 没 有 m o u n t 成 功 。 但 是 从 k u b e l e t 日 志 却 发 现 V o l u m e n o t a t t a c h e d a c c o r d i n g t o n o d e s t a t u s ， 也 就 是 说 k u b e l e t 认 为 c b s 没 有 按 照 n o d e 的 状 态 去 挂 载 。 这 个 从 n o d e i n f o 也 可 以 得 到 证 实 ： v o l u m e s A t t a c h e d 中 的 确 没 有 这 个 c b s 盘 （ d i s k 7 b f q s f t 5 ） 。 n o d e i n f o 中 还 有 个 现 象 ： v o l u m e s I n U s e 中 还 有 这 个 c b s 。 说 明 没 有 u n m o u n t 成 功 很 明 显 ， c b s 要 能 被 p o d 成 功 使 用 ， 需 要 a d c o n t r o l l e r 和 v o l u m e m a n a g e r 的 协 同 工 作 。 所 以 这 个 问 题 的 定 位 首 先 要 明 确 ： v o l u m e m a n a g e r 为 什 么 认 为 v o l u m e 没 有 按 照 n o d e 状 态 挂 载 ， a d c o n t r o l l e r 却 认 为 v o l u m e a t t c h 成 功 了 ？ v o l u m e s A t t a c h e d 和 v o l u m e s I n U s e 在 a d c o n t r o l l e r 和 k u b e l e t 之 间 充 当 什 么 角 色 ？ 这 里 只 对 分 析 v o l u m e m a n a g e r 做 简 要 分 析 。 根 据 V o l u m e n o t a t t a c h e d a c c o r d i n g t o n o d e s t a t u s 在 代 码 中 找 到 对 应 的 位 置 ， 发 现 在 G e n e r a t e V e r i f y C o n t r o l l e r A t t a c h e d V o l u m e F u n c 中 。 仔 细 看 代 码 逻 辑 ， 会 发 现 v o l u m e m a n a g e r 的 r e c o n c i l e r 会 先 确 认 该 被 u n m o u n t 的 v o l u m e 被 u n m o u n t 掉 然 后 确 认 该 被 m o u n t 的 v o l u m e 被 m o u n t 此 时 会 先 从 v o l u m e m a n a g e r 的 d s w 缓 存 中 获 取 要 被 m o u n t 的 v o l u m e s （ v o l u m e s T o M o u n t 的 p o d s T o M o u n t ） 然 后 遍 历 ， 验 证 每 个 v o l u m e T o M o u n t 是 否 已 经 a t t a c h 了 这 个 v o l u m e T o M o u n t 是 由 p o d M a n a g e r 中 的 p o d I n f o r m e r 加 入 到 相 应 内 存 中 ， 然 后 d e s i r e d S t a t e O f W o r l d P o p u l a t o r 周 期 性 同 步 到 d s w 中 的 验 证 逻 辑 中 ， 在 G e n e r a t e V e r i f y C o n t r o l l e r A t t a c h e d V o l u m e F u n c 中 会 去 遍 历 本 节 点 的 n o d e . S t a t u s . V o l u m e s A t t a c h e d ， 如 果 没 有 找 到 就 报 错 （ V o l u m e n o t a t t a c h e d a c c o r d i n g t o n o d e s t a t u s ） 所 以 可 以 看 出 来 ， v o l u m e m a n a g e r 就 是 根 据 v o l u m e 是 否 存 在 于 n o d e . S t a t u s . V o l u m e s A t t a c h e d 中 来 判 断 v o l u m e 有 无 被 a t t a c h 成 功 。 那 谁 去 填 充 n o d e . S t a t u s . V o l u m e s A t t a c h e d ？ a d c o n t r o l l e r 的 数 据 结 构 n o d e s T o U p d a t e S t a t u s F o r 就 是 用 来 存 储 要 更 新 到 n o d e . S t a t u s . V o l u m e s A t t a c h e d 上 的 数 据 的 。 所 以 ， 如 果 a d c o n t r o l l e r 那 边 没 有 更 新 n o d e . S t a t u s . V o l u m e s A t t a c h e d ， 而 又 新 建 了 p o d ， d e s i r e d S t a t e O f W o r l d P o p u l a t o r 从 p o d M a n a g e r 中 的 内 存 把 新 建 p o d 引 用 的 v o l u m e 同 步 到 了 v o l u m e s T o M o u n t 中 ， 在 验 证 v o l u m e 是 否 a t t a c h 时 ， 就 会 报 错 （ V o l u m e n o t a t t a c h e d a c c o r d i n g t o n o d e s t a t u s ） 当 然 ， 之 后 由 于 k u b l e t 的 s y n c L o o p 里 面 会 调 用 W a i t F o r A t t a c h A n d M o u n t 去 等 待 v o l u m e a t t a c h 和 m o u n t 成 功 ， 由 于 前 面 一 直 无 法 成 功 ， 等 待 超 时 ， 才 会 有 会 面 t i m e o u t e x p i r e d 的 报 错 所 以 接 下 来 主 要 需 要 看 为 什 么 a d c o n t r o l l e r 那 边 没 有 更 新 n o d e . S t a t u s . V o l u m e s A t t a c h e d 。 a d c o n t r o l l e r 的 r e c o n c i l e r 详 解 接 下 来 详 细 分 析 下 a d c o n t r o l l e r 的 逻 辑 ， 看 看 为 什 么 会 没 有 更 新 n o d e . S t a t u s . V o l u m e s A t t a c h e d ， 但 从 事 件 看 a d c o n t r o l l e r 却 又 认 为 v o l u m e 已 经 挂 载 成 功 。 从 流 程 简 述 中 表 述 可 见 ， a d c o n t r o l l e r 主 要 逻 辑 是 在 r e c o n c i l e r 中 。 r e c o n c i l e r 定 时 去 运 行 r e c o n c i l i a t i o n L o o p F u n c ， 周 期 为 1 0 0 m s 。 r e c o n c i l i a t i o n L o o p F u n c 的 主 要 逻 辑 在 r e c o n c i l e ( ) 中 ： 首 先 ， 确 保 该 被 d e t a c h 的 v o l u m e 被 d e t a c h 掉 遍 历 a s w 中 的 a t t a c h e d V o l u m e s ， 对 于 每 个 v o l u m e ， 判 断 其 是 否 存 在 于 d s w 中 根 据 n o d e N a m e 去 d s w . n o d e s M a n a g e d 中 判 断 n o d e 是 否 存 在 存 在 的 话 ， 再 根 据 v o l u m e N a m e 判 断 v o l u m e 是 否 存 在 如 果 v o l u m e 存 在 于 a s w ， 且 不 存 在 于 d s w ， 则 意 味 着 需 要 进 行 d e t a c h 之 后 ， 根 据 n o d e . S t a t u s . V o l u m e s I n U s e 来 判 断 v o l u m e 是 否 已 经 u n m o u n t 完 成 ， u n m o u n t 完 成 或 者 等 待 6 m i n t i m e o u t 时 间 到 后 ， 会 继 续 d e t a c h 逻 辑 在 执 行 d e t a c h v o l u m e 之 前 ， 会 先 调 用 R e m o v e V o l u m e F r o m R e p o r t A s A t t a c h e d 从 a s w 的 n o d e s T o U p d a t e S t a t u s F o r 中 去 删 除 要 d e t a c h 的 v o l u m e 然 后 p a t c h n o d e ， 也 就 等 于 从 n o d e . s t a t u s . V o l u m e s A t t a c h e d 删 除 这 个 v o l u m e 之 后 进 行 d e t a c h ， d e t a c h 失 败 主 要 分 2 种 如 果 真 正 执 行 了 v o l u m e P l u g i n 的 具 体 实 现 D e t a c h V o l u m e 失 败 ， 会 把 v o l u m e a d d b a c k 到 n o d e s T o U p d a t e S t a t u s F o r （ 之 后 在 a t t a c h 逻 辑 结 束 后 ， 会 再 次 p a t c h n o d e ） 如 果 是 o p e r a t o r _ e x c u t o r 判 断 还 没 到 b a c k o f f 周 期 ， 就 会 返 回 b a c k o f f E r r o r ， 直 接 跳 过 D e t a c h V o l u m e b a c k o f f 周 期 起 始 为 5 0 0 m s ， 之 后 指 数 递 增 至 2 m i n 2 s 。 已 经 d e t a c h 失 败 了 的 v o l u m e ， 在 每 个 周 期 期 间 进 入 d e t a c h 逻 辑 都 会 直 接 返 回 b a c k o f f E r r o r 之 后 ， 确 保 该 被 a t t a c h 的 v o l u m e 被 a t t a c h 成 功 遍 历 d s w 的 n o d e s M a n a g e d ， 判 断 v o l u m e 是 否 已 经 被 a t t a c h 到 该 n o d e ， 如 果 已 经 被 a t t a c h 到 该 n o d e ， 则 跳 过 a t t a c h 操 作 去 a s w . a t t a c h e d V o l u m e s 中 判 断 是 否 存 在 ， 若 不 存 在 就 认 为 没 有 a t t a c h 到 n o d e 若 存 在 ， 再 判 断 n o d e ， n o d e 也 匹 配 就 返 回 a t t a c h e d C o n f i r m e d 而 ` a t t a c h e d C o n f i r m e d ` 是 由 a s w 中 ` A d d V o l u m e N o d e ` 去 设 置 的 ， ` M a r k V o l u m e A s A t t a c h e d ` 设 置 为 t r u e 。 （ t r u e 即 代 表 该 v o l u m e 已 经 被 a t t a c h 到 该 n o d e 了 ） 之 后 判 断 是 否 禁 止 多 挂 载 ， 再 由 o p e r a t o r _ e x c u t o r 去 执 行 a t t a c h 3 . 最 后 ， ` U p d a t e N o d e S t a t u s e s ` 去 更 新 n o d e s t a t u s 案 例 详 细 分 析 前 提 v o l u m e d e t a c h 失 败 s t s + c b s ( p v c ) ， p o d r e c r e a t e 前 后 调 度 到 相 同 的 n o d e 涉 及 k 8 s 组 件 a d c o n t r o l l e r k u b e l e t ( v o l u m e n a m a g e r ) a d c o n t r o l l e r 和 k u b e l e t ( v o l u m e n a m a g e r ) 通 过 字 段 n o d e . s t a t u s . V o l u m e s A t t a c h e d 交 互 。 a d c o n t r o l l e r 为 n o d e . s t a t u s . V o l u m e s A t t a c h e d 新 增 或 删 除 v o l u m e ， 新 增 表 明 已 挂 载 ， 删 除 表 明 已 删 除 k u b e l e t ( v o l u m e m a n a g e r ) 需 要 验 证 新 建 p o d 中 的 ( p v c 的 ) v o l u m e 是 否 挂 载 成 功 ， 存 在 于 n o d e . s t a t u s . V o l u m e s A t t a c h e d 中 ， 则 表 明 验 证 v o l u m e 已 挂 载 成 功 ； 不 存 在 ， 则 表 明 还 未 挂 载 成 功 。 以 下 是 整 个 过 程 ： 首 先 ， 删 除 p o d 时 ， 由 于 某 种 原 因 c b s d e t a c h 失 败 ， 失 败 后 就 会 b a c k o f f 重 试 。 由 于 d e t a c h 失 败 ， 该 v o l u m e 也 不 会 从 a s w 的 a t t a c h e d V o l u m e s 中 删 除 由 于 d e t a c h 时 ， 先 从 n o d e . s t a t u s . V o l u m e s A t t a c h e d 中 删 除 v o l u m e ， 之 后 才 去 执 行 d e t a c h d e t a c h 时 返 回 b a c k o f f E r r o r 不 会 把 该 v o l u m e a d d b a c k n o d e . s t a t u s . V o l u m e s A t t a c h e d 之 后 ， 我 们 在 b a c k o f f 周 期 中 （ 假 如 就 为 第 一 个 周 期 的 5 0 0 m s 中 间 ） 再 次 创 建 s t s ， p o d 被 调 度 到 之 前 的 n o d e 而 p o d 一 旦 被 创 建 ， 就 会 被 添 加 到 d s w 的 n o d e s M a n a g e d ( n o d e N a m e 和 v o l u m e N a m e 都 没 变 ) r e c o n c i l e ( ) 中 的 第 2 步 ， 会 去 判 断 v o l u m e 是 否 被 a t t a c h ， 此 时 发 现 该 v o l u m e 同 时 存 在 于 a s w 和 d w s 中 ， 并 且 由 于 d e t a c h 失 败 ， 也 会 在 检 测 时 发 现 还 是 a t t a c h ， 从 而 设 置 a t t a c h e d C o n f i r m e d 为 t r u e a d c o n t r o l l e r 就 认 为 该 v o l u m e 被 a t t a c h 成 功 了 r e c o n c i l e ( ) 中 第 1 步 的 d e t a c h 逻 辑 进 行 判 断 时 ， 发 现 要 d e t a c h 的 v o l u m e 已 经 存 在 于 d s w . n o d e s M a n a g e d 了 （ 由 于 n o d e N a m e 和 v o l u m e N a m e 都 没 变 ） ， 这 样 v o l u m e 同 时 存 在 于 a s w 和 d s w 中 了 ， 实 际 状 态 和 期 望 状 态 一 致 ， 被 认 为 就 不 需 要 进 行 d e t a c h 了 。 这 样 ， 该 v o l u m e 之 后 就 再 也 不 会 被 a d d b a c k 到 n o d e . s t a t u s . V o l u m e s A t t a c h e d 。 所 以 就 出 现 了 现 象 中 的 n o d e i n f o 中 没 有 该 v o l u m e ， 而 a d c o n t r o l l e r 又 认 为 该 v o l u m e 被 a t t a c h 成 功 了 由 于 k u b e l e t ( v o l u m e m a n a g e r ) 与 c o n t r o l l e r m a n a g e r 是 异 步 的 ， 而 它 们 之 间 交 互 是 依 据 n o d e . s t a t u s . V o l u m e s A t t a c h e d ， 所 以 v o l u m e m a n a g e r 在 验 证 v o l u m e 是 否 a t t a c h 成 功 ， 发 现 n o d e . s t a t u s . V o l u m e s A t t a c h e d 中 没 有 这 个 v o u m e ， 也 就 认 为 没 有 a t t a c h 成 功 ， 所 以 就 有 了 现 象 中 的 报 错 V o l u m e n o t a t t a c h e d a c c o r d i n g t o n o d e s t a t u s 之 后 k u b e l e t 的 s y n c P o d 在 等 待 p o d 所 有 的 v o l u m e a t t a c h 和 m o u n t 成 功 时 ， 就 超 时 了 ( 现 象 中 的 另 一 个 报 错 t i m e o u t e x p i r e d w a t i n g . . . ) 。 所 以 p o d 一 直 处 于 C o n t a i n e r C r e a t i n g 小 结 所 以 ， 该 案 例 出 现 的 原 因 是 ： s t s + c b s ， p o d r e c r e a t e 时 间 被 调 度 到 相 同 的 n o d e 由 于 d e t a c h 失 败 ， b a c k o f f 期 间 创 建 s t s / p o d ， 致 使 a d c o n t r o l l e r 中 的 d s w 和 a s w 数 据 一 致 （ 此 时 该 v o l u m e 由 于 没 有 被 d e t a c h 成 功 而 确 实 处 于 a t t a c h 状 态 ） ， 从 而 导 致 a d c o n t r o l l e r 认 为 不 再 需 要 去 d e t a c h 该 v o l u m e 。 又 由 于 d e t a c h 时 ， 是 先 从 n o d e . s t a t u s . V o l u m e s A t t a c h e d 中 删 除 该 v o l u m e ， 再 去 执 行 真 正 的 D e t a c h V o l u m e 。 b a c k o f f 期 间 直 接 返 回 b a c k o f f E r r o r ， 跳 过 D e t a c h V o l u m e ， 不 会 a d d b a c k 之 后 ， a d c o n t r o l l e r 因 v o l u m e 已 经 处 于 a t t a c h 状 态 ， 认 为 不 再 需 要 被 a t t a c h ， 就 不 会 再 向 n o d e . s t a t u s . V o l u m e s A t t a c h e d 中 添 加 该 v o l u m e 最 后 ， k u b e l e t 与 a d c o n t r o l l e r 交 互 就 通 过 n o d e . s t a t u s . V o l u m e s A t t a c h e d ， 所 以 k u b e l e t 认 为 没 有 a t t a c h 成 功 ， 新 创 建 的 p o d 就 一 直 处 于 C o n t i a n e r C r e a t i n g 了 据 此 ， 我 们 可 以 发 现 关 键 点 在 于 n o d e . s t a t u s . V o l u m e s A t t a c h e d 和 以 下 两 个 逻 辑 ： d e t a c h 时 b a c k o f f E r r o r ， 不 会 a d d b a c k d e t a c h 是 先 删 除 ， 失 败 再 a d d b a c k 所 以 只 要 想 办 法 能 在 任 何 情 况 下 a d d b a c k 就 不 会 有 问 题 了 。 根 据 以 上 两 个 逻 辑 就 对 应 有 以 下 2 种 解 决 方 案 ， 推 荐 使 用 方 案 2 ： b a c k o f f E r r o r 时 ， 也 a d d b a c k p r # 7 2 9 1 4 但 这 种 方 式 有 个 缺 点 ： p a t c h n o d e 的 请 求 数 增 加 了 1 0 + 次 / ( s * v o l u m e ) 一 进 入 d e t a c h 逻 辑 就 判 断 是 否 b a c k o f f E r r o r （ 处 于 b a c k o f f 周 期 中 ） ， 是 就 跳 过 之 后 所 有 d e t a c h 逻 辑 ， 不 删 除 就 不 需 要 a d d b a c k 了 。 p r # 8 8 5 7 2 这 个 方 案 能 避 免 方 案 1 的 问 题 ， 且 会 进 一 步 减 少 请 求 a p i s e r v e r 的 次 数 ， 且 改 动 也 不 多 总 结 A D C o n t r o l l e r 负 责 存 储 的 A t t a c h 、 D e t a c h 。 通 过 比 较 a s w 和 d s w 来 判 断 是 否 需 要 a t t a c h / d e t a c h 。 最 终 a t t a c h 和 d e t a c h 结 果 会 体 现 在 n o d e . s t a t u s . V o l u m e s A t t a c h e d 。 以 上 现 网 案 例 出 现 的 现 象 ， 是 k 8 s a d c o n t r o l l e r 的 b u g 导 致 ， 目 前 社 区 并 未 修 复 。 现 象 出 现 的 原 因 主 要 是 ： 先 删 除 旧 p o d 过 程 中 d e t a c h 失 败 ， 而 在 d e t a c h 失 败 的 b a c k o f f 周 期 中 创 建 新 p o d ， 此 时 由 于 a d c o n t r o l l e r 逻 辑 b u g ， 导 致 v o l u m e 被 从 n o d e . s t a t u s . V o l u m e s A t t a c h e d 中 删 除 ， 从 而 导 致 创 建 新 p o d 时 ， k u b e l e t 检 查 时 认 为 该 v o l u m e 没 有 a t t a c h 成 功 ， 致 使 p o d 就 一 直 处 于 C o n t i a n e r C r e a t i n g 。 而 现 象 的 解 决 方 案 ， 推 荐 使 用 p r # 8 8 5 7 2 。 目 前 T K E 已 经 有 该 方 案 的 稳 定 运 行 版 本 ， 在 灰 度 中 。 S h a r e 2 0 2 0 0 5 0 8 揭 秘 ！ c o n t a i n e r d 镜 像 文 件 丢 失 问 题 ， 竟 是 镜 像 生 成 惹 得 祸 作 者 : 李 志 宇 c o n t a i n e r d 镜 像 丢 失 文 件 问 题 说 明 近 期 有 客 户 反 映 某 些 容 器 镜 像 出 现 了 文 件 丢 失 的 奇 怪 现 象 ， 经 过 模 拟 复 现 汇 总 出 丢 失 情 况 如 下 ： 某 些 特 定 的 镜 像 会 稳 定 丢 失 文 件 ； “ 丢 失 ” 在 某 些 发 行 版 稳 定 复 现 ， 但 在 u b u n t u 上 不 会 出 现 ； v 1 . 2 版 本 的 c o n t a i n e r d 会 文 件 丢 失 ， 而 v 1 . 3 不 会 。 通 过 阅 读 源 码 和 文 档 ， 最 终 解 决 了 这 个 c o n t a i n e r d 镜 像 丢 失 问 题 ， 并 写 下 了 这 篇 文 章 ， 希 望 和 大 家 分 享 下 解 决 问 题 的 经 历 和 镜 像 生 成 的 原 理 。 为 了 方 便 某 些 心 急 的 同 学 ， 本 文 接 下 来 将 首 先 揭 晓 该 问 题 的 答 案 ~ 根 因 和 解 决 方 案 由 于 内 核 o v e r l a y 模 块 B u g ， 当 c o n t a i n e r d 从 镜 像 仓 库 下 载 镜 像 的 “ 压 缩 包 ” 生 成 镜 像 的 “ 层 ” 时 ， o v e r l a y 错 误 地 把 t r u s t e d . o v e r l a y . o p a q u e = y 这 个 x a t t r s 从 下 层 传 递 到 了 上 层 。 如 果 某 个 目 录 设 置 了 这 个 属 性 ， o v e r l a y 则 会 认 为 这 个 目 录 是 不 透 明 的 ， 以 至 于 在 进 行 联 合 挂 载 时 该 目 录 将 会 把 下 面 的 目 录 覆 盖 掉 ， 进 而 导 致 镜 像 文 件 丢 失 的 问 题 。 这 个 问 题 的 解 决 方 案 可 以 有 两 种 ， 一 种 简 单 粗 暴 ， 直 接 升 级 内 核 中 o v e r l a y 模 块 即 可 。 另 外 一 种 可 以 考 虑 把 c o n t a i n e r d 从 v 1 . 2 版 本 升 级 到 v 1 . 3 ， 原 因 在 于 c o n t a i n e r d v 1 . 3 中 会 主 动 设 置 上 述 o p a q u e 属 性 ， 该 版 本 c o n t a i n e r d 不 会 触 发 o v e r l a y f s 的 b u g 。 当 然 ， 这 种 方 式 是 规 避 而 非 彻 底 解 决 B u g 。 s n a p s h o t t e r 生 成 镜 像 原 理 分 析 虽 然 根 本 原 因 看 起 来 比 较 简 单 ， 但 分 析 的 过 程 还 是 比 较 曲 折 的 。 在 分 享 下 这 个 问 题 的 排 查 过 程 和 收 获 之 前 ， 为 了 方 便 大 家 理 解 ， 本 小 节 将 集 中 讲 解 问 题 排 查 过 程 涉 及 到 的 c o n t a i n e r d 和 o v e r l a y f s 的 知 识 ， 比 较 了 解 或 者 不 感 兴 趣 的 同 学 可 以 直 接 跳 过 。 与 d o c k e r d a e m o n 一 开 始 的 设 计 不 同 ， 为 了 减 少 耦 合 性 ， c o n t a i n e r d 通 过 插 件 的 方 式 由 多 个 模 块 组 成 。 结 合 下 图 可 以 看 出 ， 其 中 与 镜 像 相 关 的 模 块 包 含 以 下 几 种 ： m e t a d a t a 是 c o n t a i n e r d 通 过 b b o l t 实 现 的 k v 存 储 模 块 ， 用 来 保 存 镜 像 、 容 器 或 者 层 等 元 信 息 。 比 如 命 令 行 c t r 列 出 所 有 s n a p s h o t 或 k u b e l e t 获 取 所 有 p o d 都 是 通 过 m e t a d a t a 模 块 查 询 的 数 据 。 c o n t e n t 是 负 责 保 存 b l o b 的 模 块 ， 其 保 存 的 关 于 镜 像 的 内 容 一 般 分 为 三 种 ： 镜 像 的 m a n i f e s t （ 一 个 普 通 的 j s o n ， 其 中 指 定 了 镜 像 的 c o n f i g 和 镜 像 的 l a y e r s 数 组 ） 镜 像 的 c o n f i g （ 同 样 是 个 j s o n ， 其 中 指 定 镜 像 的 元 信 息 ， 比 如 启 动 命 令 、 环 境 变 量 等 ） 镜 像 的 l a y e r （ t a r 包 ， 解 压 、 处 理 后 会 生 成 镜 像 的 层 ） s n a p s h o t s 是 快 照 模 块 总 称 ， 可 以 设 置 使 用 不 同 的 快 照 模 块 ， 常 见 的 模 块 有 o v e r l a y f s 、 a u f s 或 n a t i v e 。 在 u n p a c k 时 s n a p s h o t s 会 把 生 成 镜 像 层 并 保 存 到 文 件 系 统 ； 当 运 行 容 器 时 ， 可 以 调 用 s n a p s h o t s 模 块 给 容 器 提 供 r o o t f s 。 容 器 镜 像 规 范 主 要 有 d o c k e r 和 o c i v 1 、 v 2 三 种 ， 考 虑 到 这 三 种 规 范 在 原 理 上 大 同 小 异 ， 可 以 参 考 以 下 示 例 ， 将 m a n i f e s t 当 作 是 每 个 镜 像 只 有 一 份 的 元 信 息 ， 用 于 指 向 镜 像 的 c o n f i g 和 每 层 l a y e r 。 其 中 ， c o n f i g 即 为 镜 像 配 置 ， 把 镜 像 作 为 容 器 运 行 时 需 要 ； l a y e r 即 为 镜 像 的 每 一 层 。 1 2 3 4 t y p e m a n i f e s t s t r u c t 镜 像 下 载 流 程 与 图 1 中 数 字 标 注 出 来 的 顺 序 一 致 ， 每 个 步 骤 作 用 总 结 如 下 ： 首 先 在 m e t a d a t a 模 块 中 添 加 一 个 i m a g e ， 这 样 我 们 在 执 行 l i s t i m a g e 时 可 看 到 这 个 i m a g e 。 其 次 是 需 要 下 载 镜 像 ， 因 为 镜 像 是 有 m a n i f e s t 、 c o n f i g 、 l a y e r s 等 多 个 部 分 组 成 ， 所 以 先 下 载 镜 像 的 m a n i f e s t 并 保 存 到 c o n t e n t 模 块 ， 再 解 析 m a n i f e s t 获 取 c o n f i g 的 地 址 和 l a y e r s 的 地 址 。 接 下 来 分 别 把 c o n f i g 和 每 个 l a y e r 下 载 并 保 存 到 c o n t e n t 模 块 ， 这 里 需 要 强 调 镜 像 的 l a y e r 本 来 应 该 是 目 录 ， 当 创 建 容 器 时 联 合 挂 载 到 r o o t 下 ， 但 是 为 了 方 便 网 络 传 输 和 存 储 ， 这 里 会 用 t a r + 压 缩 的 方 式 保 存 。 这 里 保 存 到 c o n t e n t 也 是 不 解 压 的 。 ③ 、 ④ 、 ⑤ 的 作 用 关 联 性 比 较 强 ， 此 处 放 在 一 起 解 释 。 s n a p s h o t 模 块 去 c o n t e n t 模 块 读 取 m a n i f e s t ， 找 到 镜 像 的 所 有 层 ， 再 去 c o n t e n t 模 块 把 这 些 层 自 “ 下 ” 而 “ 上 ” 读 取 出 来 ， 逐 一 解 压 并 加 工 ， 最 后 放 到 s n a p s h o t 模 块 的 目 录 下 ， 像 图 1 中 的 1 0 0 1 / f s 、 1 0 0 2 / f s 这 些 都 是 镜 像 的 层 。 （ 当 创 建 容 器 时 ， 需 要 把 这 些 层 联 合 挂 载 生 成 容 器 的 r o o t f s ， 可 以 理 解 成 1 0 0 1 / f s + 1 0 0 2 / f s + … = > 1 0 0 8 / w o r k ) 。 整 个 流 程 的 函 数 调 用 关 系 如 下 图 2 ， 喜 欢 阅 读 源 码 的 同 学 可 以 照 着 这 个 去 看 下 。 为 了 方 便 理 解 ， 接 下 来 用 l a y e r 表 示 s n a p s h o t 中 的 层 ， 把 刚 下 载 未 经 过 加 工 的 “ 层 ” 称 之 为 镜 像 层 的 t a r 包 或 者 是 t a r 包 。 下 载 镜 像 保 存 入 c o n t e n t 的 流 程 比 较 简 单 ， 直 接 跳 过 就 好 。 而 通 过 镜 像 的 t a r 包 生 成 s n a p s h o t 中 的 l a y e r 这 个 过 程 比 较 巧 妙 ， 甚 至 b u g 也 是 出 现 在 这 里 ， 接 下 来 进 行 重 点 描 述 。 首 先 通 过 c o n t e n t 拿 到 了 镜 像 的 m a n i f e s t ， 这 样 我 们 得 知 镜 像 是 有 哪 些 层 组 成 的 。 最 下 面 一 层 镜 像 比 较 简 单 ， 直 接 解 压 到 s n a p s h o t 提 供 的 目 录 就 可 以 了 ， 比 如 1 0 / f s 。 假 设 接 下 来 要 在 1 1 / f s 生 成 第 二 层 （ 此 时 1 1 / f s 还 是 空 的 ） ， s n a p s h o t 会 使 用 m o u n t t o v e r l a y o v e r l a y o l o w e r d i r = 1 0 / f s , u p p e r d i r = 1 1 / f s , w o r k d i r = 1 1 / w o r k t m p 把 已 经 生 成 好 的 l a y e r 1 0 和 还 未 生 成 的 l a y e r 1 1 挂 载 到 一 个 t m p 目 录 上 ， 其 中 写 入 层 是 1 1 / f s 也 就 是 我 们 想 要 生 成 的 l a y e r 。 去 c o n t e n t 中 拿 到 l a y e r 1 1 对 应 的 t a r 包 ， 遍 历 这 个 t a r 包 ， 根 据 t a r 包 中 不 同 的 文 件 对 挂 载 点 t m p 进 行 写 入 或 者 删 除 文 件 的 操 作 （ 因 为 是 联 合 挂 载 ， 所 以 对 于 挂 载 点 的 操 作 都 会 变 成 对 写 入 层 的 操 作 ） 。 把 t a r 包 转 化 成 l a y e r 的 具 体 逻 辑 和 下 面 经 过 简 化 的 源 码 一 致 ， 可 以 看 到 如 果 t a r 包 中 存 在 w h i t e o u t 文 件 或 者 当 前 的 层 比 如 1 1 / f s 和 之 前 的 层 有 冲 突 比 如 1 0 / f s ， 会 把 底 层 目 录 删 掉 。 在 把 t a r 包 的 文 件 写 入 到 目 录 后 ， 会 根 据 t a r 包 中 记 录 的 P A X R e c o r d s 给 文 件 添 加 x a t t r ， P A X R e c o r d s 可 以 看 做 是 t a r 中 每 个 文 件 都 带 有 的 k v 数 组 ， 可 以 用 来 映 射 文 件 系 统 中 文 件 属 性 。 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 / / 这 里 的 t m p 就 是 o v e r l a y 的 挂 载 点 a p p l y N a i v e ( t a r , t m p ) i f ! ( f i l e . I s D i r ( ) t h e d e f a u l t v a l u e i n t h i s f i l e i s 1 2 8 . I n k e r n e l s b e f o r e 2 . 4 . 2 5 , t h i s l i m i t w a s a h a r d c o d e d v a l u e , S O M A X C O N N , w i t h t h e v a l u e 1 2 8 . 继 续 深 挖 了 一 下 源 码 ， 结 合 这 里 的 解 释 提 炼 一 下 ： l i s t e n 的 b a c k l o g 参 数 同 时 指 定 了 s o c k e t 的 s y n q u e u e 与 a c c e p t q u e u e 大 小 。 a c c e p t q u e u e 最 大 不 能 超 过 n e t . c o r e . s o m a x c o n n 的 值 ， 即 : 1 m a x a c c e p t q u e u e s i z e = m i n ( b a c k l o g , n e t . c o r e . s o m a x c o n n ) 如 果 启 用 了 s y n c o o k i e s ( n e t . i p v 4 . t c p _ s y n c o o k i e s = 1 ) ， 当 s y n q u e u e 满 了 ， s e r v e r 还 是 可 以 继 续 接 收 S Y N 包 并 回 复 S Y N + A C K 给 c l i e n t ， 只 是 不 会 存 入 s y n q u e u e 了 。 因 为 会 利 用 一 套 巧 妙 的 s y n c o o k i e s 算 法 机 制 生 成 隐 藏 信 息 写 入 响 应 的 S Y N + A C K 包 中 ， 等 c l i e n t 回 A C K 时 ， s e r v e r 再 利 用 s y n c o o k i e s 算 法 校 验 报 文 ， 校 验 通 过 后 三 次 握 手 就 顺 利 完 成 了 。 所 以 如 果 启 用 了 s y n c o o k i e s ， s y n q u e u e 的 逻 辑 大 小 是 没 有 限 制 的 ， s y n c o o k i e s 通 常 都 是 启 用 了 的 ， 所 以 一 般 不 用 担 心 s y n q u e u e 满 了 导 致 丢 包 。 s y n c o o k i e s 是 为 了 防 止 S Y N F l o o d 攻 击 ( 一 种 常 见 的 D D o S 方 式 ) ， 攻 击 原 理 就 是 c l i e n t 不 断 发 S Y N 包 但 不 回 最 后 的 A C K ， 填 满 s e r v e r 的 s y n q u e u e 从 而 无 法 建 立 新 连 接 ， 导 致 s e r v e r 拒 绝 服 务 。 如 果 s y n c o o k i e s 没 有 启 用 ， s y n q u e u e 的 大 小 就 有 限 制 ， 除 了 跟 a c c e p t q u e u e 一 样 受 n e t . c o r e . s o m a x c o n n 大 小 限 制 之 外 ， 还 会 受 到 n e t . i p v 4 . t c p _ m a x _ s y n _ b a c k l o g 的 限 制 ， 即 : 1 m a x s y n q u e u e s i z e = m i n ( b a c k l o g , n e t . c o r e . s o m a x c o n n , n e t . i p v 4 . t c p _ m a x _ s y n _ b a c k l o g ) 4 . 3 及 其 之 前 版 本 的 内 核 ， s y n q u e u e 的 大 小 计 算 方 式 跟 现 在 新 版 内 核 这 里 还 不 一 样 ， 详 细 请 参 考 c o m m i t e f 5 4 7 f 2 a c 1 6 b 队 列 溢 出 毫 无 疑 问 ， 在 队 列 大 小 有 限 制 的 情 况 下 ， 如 果 队 列 满 了 ， 再 有 新 连 接 过 来 肯 定 就 有 问 题 。 翻 下 l i n u x 源 码 ， 看 下 处 理 S Y N 包 的 部 分 ， 在 n e t / i p v 4 / t c p _ i n p u t . c 的 t c p _ c o n n _ r e q u e s t 函 数 : 1 2 3 4 5 6 7 8 9 1 0 1 1 i f ( ( n e t i p v 4 . s y s c t l _ t c p _ s y n c o o k i e s = = 2 | | i n e t _ c s k _ r e q s k _ q u e u e _ i s _ f u l l ( s k ) ) 所 以 ， 在 容 器 中 使 用 n g i n x 来 支 撑 高 并 发 的 业 务 时 ， 记 得 要 同 时 调 整 下 n e t . c o r e . s o m a x c o n n 内 核 参 数 和 n g i n x . c o n f 中 的 b a c k l o g 配 置 。 参 考 资 料 U s i n g s y s c t l s i n a K u b e r n e t e s C l u s t e r : h t t p s : / / k u b e r n e t e s i o v n e x t s t a g i n g . n e t l i f y . c o m / d o c s / t a s k s / a d m i n i s t e r c l u s t e r / s y s c t l c l u s t e r / S Y N p a c k e t h a n d l i n g i n t h e w i l d : h t t p s : / / b l o g . c l o u d f l a r e . c o m / s y n p a c k e t h a n d l i n g i n t h e w i l d / S h a r e 2 0 1 9 1 2 1 5 K u b e r n e t e s 疑 难 杂 症 排 查 分 享 : 诡 异 的 N o r o u t e t o h o s t 作 者 : 陈 鹏 之 前 发 过 一 篇 干 货 满 满 的 爆 火 文 章 K u b e r n e t e s 网 络 疑 难 杂 症 排 查 分 享 ， 包 含 多 个 疑 难 杂 症 的 排 查 案 例 分 享 ， 信 息 量 巨 大 。 这 次 我 又 带 来 了 续 集 ， 只 讲 一 个 案 例 ， 但 信 息 量 也 不 小 ， A r e y o u r e a d y ? 问 题 反 馈 有 用 户 反 馈 D e p l o y m e n t 滚 动 更 新 的 时 候 ， 业 务 日 志 偶 尔 会 报 “ N o r o u t e t o h o s t ” 的 错 误 。 分 析 之 前 没 遇 到 滚 动 更 新 会 报 “ N o r o u t e t o h o s t ” 的 问 题 ， 我 们 先 看 下 滚 动 更 新 导 致 连 接 异 常 有 哪 些 常 见 的 报 错 : C o n n e c t i o n r e s e t b y p e e r : 连 接 被 重 置 。 通 常 是 连 接 建 立 过 ， 但 s e r v e r 端 发 现 c l i e n t 发 的 包 不 对 劲 就 返 回 R S T ， 应 用 层 就 报 错 连 接 被 重 置 。 比 如 在 s e r v e r 滚 动 更 新 过 程 中 ， c l i e n t 给 s e r v e r 发 的 请 求 还 没 完 全 结 束 ， 或 者 本 身 是 一 个 类 似 g r p c 的 多 路 复 用 长 连 接 ， 当 s e r v e r 对 应 的 旧 P o d 删 除 ( 没 有 做 优 雅 结 束 ， 停 止 时 没 有 关 闭 连 接 ) ， 新 P o d 很 快 创 建 启 动 并 且 刚 好 有 跟 之 前 旧 P o d 一 样 的 I P ， 这 时 k u b e p r o x y 也 没 感 知 到 这 个 I P 其 实 已 经 被 删 除 然 后 又 被 重 建 了 ， 针 对 这 个 I P 的 规 则 就 不 会 更 新 ， 旧 的 连 接 依 然 发 往 这 个 I P ， 但 旧 P o d 已 经 不 在 了 ， 后 面 继 续 发 包 时 依 然 转 发 给 这 个 P o d I P ， 最 终 会 被 转 发 到 这 个 有 相 同 I P 的 新 P o d 上 ， 而 新 P o d 收 到 此 包 时 检 查 报 文 发 现 不 对 劲 ， 就 返 回 R S T 给 c l i e n t 告 知 将 连 接 重 置 。 针 对 这 种 情 况 ， 建 议 应 用 自 身 处 理 好 优 雅 结 束 ： P o d 进 入 T e r m i n a t i n g 状 态 后 会 发 送 S I G T E R M 信 号 给 业 务 进 程 ， 业 务 进 程 的 代 码 需 处 理 这 个 信 号 ， 在 进 程 退 出 前 关 闭 所 有 连 接 。 C o n n e c t i o n r e f u s e d : 连 接 被 拒 绝 。 通 常 是 连 接 还 没 建 立 ， c l i e n t 正 在 发 S Y N 包 请 求 建 立 连 接 ， 但 到 了 s e r v e r 之 后 发 现 端 口 没 监 听 ， 内 核 就 返 回 R S T 包 ， 然 后 应 用 层 就 报 错 连 接 被 拒 绝 。 比 如 在 s e r v e r 滚 动 更 新 过 程 中 ， 旧 的 P o d 中 的 进 程 很 快 就 停 止 了 ( 网 卡 还 未 完 全 销 毁 ) ， 但 c l i e n t 所 在 节 点 的 i p t a b l e s / i p v s 规 则 还 没 更 新 ， 包 就 可 能 会 被 转 发 到 了 这 个 停 止 的 P o d ( 由 于 k 8 s 的 c o n t r o l l e r 模 式 ， 从 P o d 删 除 到 s e r v i c e 的 e n d p o i n t 更 新 ， 再 到 k u b e p r o x y w a t c h 到 更 新 并 更 新 节 点 上 的 i p t a b l e s / i p v s 规 则 ， 这 个 过 程 是 异 步 的 ， 中 间 存 在 一 点 时 间 差 ， 所 以 有 可 能 存 在 P o d 中 的 进 程 已 经 没 有 监 听 ， 但 i p t a b l e s / i p v s 规 则 还 没 更 新 的 情 况 ) 。 针 对 这 种 情 况 ， 建 议 给 容 器 加 一 个 p r e S t o p ， 在 真 正 销 毁 P o d 之 前 等 待 一 段 时 间 ， 留 时 间 给 k u b e p r o x y 更 新 转 发 规 则 ， 更 新 完 之 后 就 不 会 再 有 新 连 接 往 这 个 旧 P o d 转 发 了 ， p r e S t o p 示 例 : 1 2 3 4 5 6 7 l i f e c y c l e : p r e S t o p : e x e c : c o m m a n d : / b i n / b a s h c s l e e p 3 0 另 外 ， 还 可 能 是 新 的 P o d 启 动 比 较 慢 ， 虽 然 状 态 已 经 R e a d y ， 但 实 际 上 可 能 端 口 还 没 监 听 ， 新 的 请 求 被 转 发 到 这 个 还 没 完 全 启 动 的 P o d 就 会 报 错 连 接 被 拒 绝 。 针 对 这 种 情 况 ， 建 议 给 容 器 加 就 绪 检 查 ( r e a d i n e s s P r o b e ) ， 让 容 器 真 正 启 动 完 之 后 才 将 其 状 态 置 为 R e a d y ， 然 后 k u b e p r o x y 才 会 更 新 转 发 规 则 ， 这 样 就 能 保 证 新 的 请 求 只 被 转 发 到 完 全 启 动 的 P o d ， r e a d i n e s s P r o b e 示 例 : 1 2 3 4 5 6 7 8 9 r e a d i n e s s P r o b e : h t t p G e t : p a t h : / h e a l t h z p o r t : 8 0 h t t p H e a d e r s : n a m e : X C u s t o m H e a d e r v a l u e : A w e s o m e i n i t i a l D e l a y S e c o n d s : 1 5 t i m e o u t S e c o n d s : 1 C o n n e c t i o n t i m e d o u t : 连 接 超 时 。 通 常 是 连 接 还 没 建 立 ， c l i e n t 发 S Y N 请 求 建 立 连 接 一 直 等 到 超 时 时 间 都 没 有 收 到 A C K ， 然 后 就 报 错 连 接 超 时 。 这 个 可 能 场 景 跟 前 面 C o n n e c t i o n r e f u s e d 可 能 的 场 景 类 似 ， 不 同 点 在 于 端 口 有 监 听 ， 但 进 程 无 法 正 常 响 应 了 : 转 发 规 则 还 没 更 新 ， 旧 P o d 的 进 程 正 在 停 止 过 程 中 ， 虽 然 端 口 有 监 听 ， 但 已 经 不 响 应 了 ； 或 者 转 发 规 则 更 新 了 ， 新 P o d 端 口 也 监 听 了 ， 但 还 没 有 真 正 就 绪 ， 还 没 有 能 力 处 理 新 请 求 。 针 对 这 些 情 况 的 建 议 跟 前 面 一 样 ： 加 p r e S t o p 和 r e a d i n e s s P r o b e 。 下 面 我 们 来 继 续 分 析 下 滚 动 更 新 时 发 生 N o r o u t e t o h o s t 的 可 能 情 况 。 这 个 报 错 很 明 显 ， I P 无 法 路 由 ， 通 常 是 将 报 文 发 到 了 一 个 已 经 彻 底 销 毁 的 P o d ( 网 卡 已 经 不 在 ) 。 不 可 能 发 到 一 个 网 卡 还 没 创 建 好 的 P o d ， 因 为 即 便 不 加 存 活 检 查 ， 也 是 要 等 到 P o d 网 络 初 始 化 完 后 才 可 能 R e a d y ， 然 后 k u b e p r o x y 才 会 更 新 转 发 规 则 。 什 么 情 况 下 会 转 发 到 一 个 已 经 彻 底 销 毁 的 P o d ？ 借 鉴 前 面 几 种 滚 动 更 新 的 报 错 分 析 ， 我 们 推 测 应 该 是 P o d 很 快 销 毁 了 但 转 发 规 则 还 没 更 新 ， 从 而 新 的 请 求 被 转 发 了 这 个 已 经 销 毁 的 P o d ， 最 终 报 文 到 达 这 个 P o d 所 在 P o d C I D R 的 N o d e 上 时 ， N o d e 发 现 本 机 已 经 没 有 这 个 I P 的 容 器 ， 然 后 N o d e 就 返 回 I C M P 包 告 知 c l i e n t 这 个 I P 不 可 达 ， c l i e n t 收 到 I C M P 后 ， 应 用 层 就 会 报 错 “ N o r o u t e t o h o s t ” 。 所 以 根 据 我 们 的 分 析 ， 关 键 点 在 于 P o d 销 毁 太 快 ， 转 发 规 则 还 没 来 得 及 更 新 ， 导 致 后 来 的 请 求 被 转 发 到 已 销 毁 的 P o d 。 针 对 这 种 情 况 ， 我 们 可 以 给 容 器 加 一 个 p r e S t o p ， 留 时 间 给 k u b e p r o x y 更 新 转 发 规 则 来 解 决 ， 参 考 《 K u b e r n e t e s 实 践 指 南 》 中 的 部 分 章 节 : h t t p s : / / k 8 s . i m r o c . i o / b e s t p r a c t i c e / h i g h a v a i l a b i l i t y d e p l o y m e n t o f a p p l i c a t i o n s # s m o o t h u p d a t e u s i n g p r e s t o p h o o k a n d r e a d i n e s s p r o b e 问 题 没 有 解 决 我 们 自 己 没 有 复 现 用 户 的 “ N o r o u t e t o h o s t ” 的 问 题 ， 可 能 是 复 现 条 件 比 较 苛 刻 ， 最 后 将 我 们 上 面 理 论 上 的 分 析 结 论 作 为 解 决 方 案 给 到 了 用 户 。 但 用 户 尝 试 加 了 p r e S t o p 之 后 ， 问 题 依 然 存 在 ， 服 务 滚 动 更 新 时 偶 尔 还 是 会 出 现 “ N o r o u t e t o h o s t ” 。 深 入 分 析 为 了 弄 清 楚 根 本 原 因 ， 我 们 请 求 用 户 协 助 搭 建 了 一 个 可 以 复 现 问 题 的 测 试 环 境 ， 最 终 这 个 问 题 在 测 试 环 境 中 可 以 稳 定 复 现 。 仔 细 观 察 ， 实 际 是 部 署 两 个 服 务 ： S e r v i c e A 和 S e r v i c e B 。 使 用 a b 压 测 工 具 去 压 测 S e r v i c e A （ 短 连 接 ） ， 然 后 S e r v i c e A 会 通 过 R P C 调 用 S e r v i c e B ( 短 连 接 ) ， 滚 动 更 新 的 是 S e r v i c e B ， 报 错 发 生 在 S e r v i c e A 调 用 S e r v i c e B 这 条 链 路 。 在 S e r v i c e B 滚 动 更 新 期 间 ， 新 的 P o d R e a d y 了 之 后 会 被 添 加 到 I P V S 规 则 的 R S 列 表 ， 但 旧 的 P o d 不 会 立 即 被 踢 掉 ， 而 是 将 新 的 P o d 权 重 置 为 1 ， 旧 的 置 为 0 ， 通 过 在 c l i e n t 所 在 节 点 查 看 I P V S 规 则 可 以 看 出 来 : 1 2 3 4 5 6 r o o t @ V M 0 3 u b u n t u : ~ # i p v s a d m l n t 1 7 2 . 1 6 . 2 5 5 . 2 4 1 : 8 0 P r o t L o c a l A d d r e s s : P o r t S c h e d u l e r F l a g s R e m o t e A d d r e s s : P o r t F o r w a r d W e i g h t A c t i v e C o n n I n A c t C o n n T C P 1 7 2 . 1 6 . 2 5 5 . 2 4 1 : 8 0 r r 1 7 2 . 1 6 . 8 . 1 0 6 : 8 0 M a s q 0 5 1 4 0 4 8 1 7 2 . 1 6 . 8 . 1 0 7 : 8 0 M a s q 1 2 2 4 3 为 什 么 不 立 即 踢 掉 旧 的 P o d 呢 ？ 因 为 要 支 持 优 雅 结 束 ， 让 存 量 的 连 接 处 理 完 ， 等 存 量 连 接 全 部 结 束 了 再 踢 掉 它 ( A c t i v e C o n n + I n a c t i v e C o n n = 0 ) ， 这 个 逻 辑 可 以 通 过 这 里 的 代 码 确 认 ： h t t p s : / / g i t h u b . c o m / k u b e r n e t e s / k u b e r n e t e s / b l o b / v 1 . 1 7 . 0 / p k g / p r o x y / i p v s / g r a c e f u l _ t e r m i n a t i o n . g o # L 1 7 0 然 后 再 通 过 i p v s a d m l n c | g r e p 1 7 2 . 1 6 . 8 . 1 0 6 发 现 旧 P o d 上 的 连 接 大 多 是 T I M E _ W A I T 状 态 ， 这 个 也 容 易 理 解 ： 因 为 S e r v i c e A 作 为 c l i e n t 发 起 短 连 接 请 求 调 用 S e r v i c e B ， 调 用 完 成 就 会 关 闭 连 接 ， T C P 三 次 挥 手 后 进 入 T I M E _ W A I T 状 态 ， 等 待 2 * M S L ( 2 分 钟 ) 的 时 长 再 清 理 连 接 。 经 过 上 面 的 分 析 ， 看 起 来 都 是 符 合 预 期 的 ， 那 为 什 么 还 会 出 现 “ N o r o u t e t o h o s t ” 呢 ？ 难 道 权 重 被 置 为 0 之 后 还 有 新 连 接 往 这 个 旧 P o d 转 发 ？ 我 们 来 抓 包 看 下 ： 1 2 3 4 5 6 7 r o o t @ V M 0 3 u b u n t u : ~ # t c p d u m p i e t h 0 h o s t 1 7 2 . 1 6 . 8 . 1 0 6 n t t t t t c p d u m p : v e r b o s e o u t p u t s u p p r e s s e d , u s e v o r v v f o r f u l l p r o t o c o l d e c o d e l i s t e n i n g o n e t h 0 , l i n k t y p e E N 1 0 M B ( E t h e r n e t ) , c a p t u r e s i z e 2 6 2 1 4 4 b y t e s 2 0 1 9 1 2 1 3 1 1 : 4 9 : 4 7 . 3 1 9 0 9 3 I P 1 0 . 0 . 0 . 3 . 3 6 7 0 8 > 1 7 2 . 1 6 . 8 . 1 0 6 . 8 0 : F l a g s [ S ] , s e q 3 9 8 8 3 3 9 6 5 6 , w i n 2 9 2 0 0 , o p t i o n s [ m s s 1 4 6 0 , s a c k O K , T S v a l 3 7 5 1 1 1 1 6 6 6 e c r 0 , n o p , w s c a l e 9 ] , l e n g t h 0 2 0 1 9 1 2 1 3 1 1 : 4 9 : 4 7 . 3 1 9 1 3 3 I P 1 0 . 0 . 0 . 3 . 3 6 7 0 6 > 1 7 2 . 1 6 . 8 . 1 0 6 . 8 0 : F l a g s [ S ] , s e q 1 0 9 1 9 6 9 4 5 , w i n 2 9 2 0 0 , o p t i o n s [ m s s 1 4 6 0 , s a c k O K , T S v a l 3 7 5 1 1 1 1 6 6 6 e c r 0 , n o p , w s c a l e 9 ] , l e n g t h 0 2 0 1 9 1 2 1 3 1 1 : 4 9 : 4 7 . 3 1 9 1 4 4 I P 1 0 . 0 . 0 . 3 . 3 6 7 0 4 > 1 7 2 . 1 6 . 8 . 1 0 6 . 8 0 : F l a g s [ S ] , s e q 1 8 3 8 6 8 2 0 6 3 , w i n 2 9 2 0 0 , o p t i o n s [ m s s 1 4 6 0 , s a c k O K , T S v a l 3 7 5 1 1 1 1 6 6 6 e c r 0 , n o p , w s c a l e 9 ] , l e n g t h 0 2 0 1 9 1 2 1 3 1 1 : 4 9 : 4 7 . 3 1 9 1 5 3 I P 1 0 . 0 . 0 . 3 . 3 6 7 0 2 > 1 7 2 . 1 6 . 8 . 1 0 6 . 8 0 : F l a g s [ S ] , s e q 1 5 9 1 9 8 2 9 6 3 , w i n 2 9 2 0 0 , o p t i o n s [ m s s 1 4 6 0 , s a c k O K , T S v a l 3 7 5 1 1 1 1 6 6 6 e c r 0 , n o p , w s c a l e 9 ] , l e n g t h 0 果 然 是 ！ 即 使 权 重 为 0 ， 仍 然 会 尝 试 发 S Y N 包 跟 这 个 旧 P o d 建 立 连 接 ， 但 永 远 无 法 收 到 A C K ， 因 为 旧 P o d 已 经 销 毁 了 。 为 什 么 会 这 样 呢 ？ 难 道 是 I P V S 内 核 模 块 的 调 度 算 法 有 问 题 ？ 尝 试 去 看 了 下 l i n u x 内 核 源 码 ， 并 没 有 发 现 哪 个 调 度 策 略 的 实 现 函 数 会 将 新 连 接 调 度 到 权 重 为 0 的 r s 上 。 这 就 奇 怪 了 ， 可 能 不 是 调 度 算 法 的 问 题 ？ 继 续 尝 试 看 更 多 的 代 码 ， 主 要 是 n e t / n e t f i l t e r / i p v s / i p _ v s _ c o r e . c 中 的 i p _ v s _ i n 函 数 ， 也 就 是 I P V S 模 块 处 理 报 文 的 主 要 入 口 ， 发 现 它 会 先 在 本 地 连 接 转 发 表 看 这 个 包 是 否 已 经 有 对 应 的 连 接 了 （ 匹 配 五 元 组 ） ， 如 果 有 就 说 明 它 不 是 新 连 接 也 就 不 会 调 度 ， 直 接 发 给 这 个 连 接 对 应 的 之 前 已 经 调 度 过 的 r s ( 也 不 会 判 断 权 重 ) ； 如 果 没 匹 配 到 说 明 这 个 包 是 新 的 连 接 ， 就 会 走 到 调 度 这 里 ( r r , w r r 等 调 度 策 略 ) ， 这 个 逻 辑 看 起 来 也 没 问 题 。 那 为 什 么 会 转 发 到 权 重 为 0 的 r s ？ 难 道 是 匹 配 连 接 这 里 出 问 题 了 ？ 新 的 连 接 匹 配 到 了 旧 的 连 接 ？ 我 开 始 做 实 验 验 证 这 个 猜 想 ， 修 改 一 下 这 里 的 逻 辑 ： 检 查 匹 配 到 的 连 接 对 应 的 r s 如 果 权 重 为 0 ， 则 重 新 调 度 。 然 后 重 新 编 译 和 加 载 I P V S 内 核 模 块 ， 再 重 新 压 测 一 下 ， 发 现 问 题 解 决 了 ！ 没 有 报 “ N o r o u t e t o h o s t ” 了 。 虽 然 通 过 改 内 核 源 码 解 决 了 ， 但 我 知 道 这 不 是 一 个 好 的 解 决 方 案 ， 它 会 导 致 I P V S 不 支 持 连 接 的 优 雅 结 束 ， 因 为 不 再 转 发 包 给 权 重 为 0 的 r s ， 存 量 的 连 接 就 会 立 即 中 断 。 继 续 陷 入 深 思 … … 这 个 实 验 只 是 证 明 了 猜 想 ： 新 连 接 匹 配 到 了 旧 连 接 。 那 为 什 么 会 这 样 呢 ？ 难 道 新 连 接 报 文 的 五 元 组 跟 旧 连 接 的 相 同 了 ？ 经 过 一 番 思 考 ， 发 现 这 个 是 有 可 能 的 。 因 为 S e r v i c e A 作 为 c l i e n t 请 求 S e r v i c e B ， 不 同 请 求 的 源 I P 始 终 是 相 同 的 ， 关 键 点 在 于 源 端 口 是 否 可 能 相 同 。 由 于 S e r v i c e A 向 S e r v i c e B 发 起 大 量 短 连 接 ， S e r v i c e A 所 在 节 点 就 会 有 大 量 T I M E _ W A I T 状 态 的 连 接 ， 需 要 等 2 分 钟 ( 2 * M S L ) 才 会 清 理 ， 而 由 于 连 接 量 太 大 ， 每 次 发 起 的 连 接 都 会 占 用 一 个 源 端 口 ， 当 源 端 口 不 够 用 了 ， 就 会 重 用 T I M E _ W A I T 状 态 连 接 的 源 端 口 ， 这 个 时 候 当 报 文 进 入 I P V S 模 块 ， 检 测 到 它 的 五 元 组 跟 本 地 连 接 转 发 表 中 的 某 个 连 接 一 致 ( T I M E _ W A I T 状 态 ) ， 就 以 为 它 是 一 个 存 量 连 接 ， 然 后 直 接 将 报 文 转 发 给 这 个 连 接 之 前 对 应 的 r s 上 ， 然 而 这 个 r s 对 应 的 P o d 早 已 销 毁 ， 所 以 抓 包 看 到 的 现 象 是 将 S Y N 发 给 了 旧 P o d ， 并 且 无 法 收 到 A C K ， 伴 随 着 返 回 I C M P 告 知 这 个 I P 不 可 达 ， 也 被 应 用 解 释 为 “ N o r o u t e t o h o s t ” 。 后 来 无 意 间 又 发 现 一 个 还 在 o p e n 状 态 的 i s s u e ， 虽 然 还 没 提 到 “ N o r o u t e t o h o s t ” 关 键 字 ， 但 讨 论 的 跟 我 们 这 个 其 实 是 同 一 个 问 题 。 我 也 参 与 了 讨 论 ， 有 兴 趣 的 同 学 可 以 看 下 ： h t t p s : / / g i t h u b . c o m / k u b e r n e t e s / k u b e r n e t e s / i s s u e s / 8 1 7 7 5 总 结 这 个 问 题 通 常 发 生 的 场 景 就 是 类 似 于 我 们 测 试 环 境 这 种 ： S e r v i c e A 对 外 提 供 服 务 ， 当 外 部 发 起 请 求 ， S e r v i c e A 会 通 过 r p c 或 h t t p 调 用 S e r v i c e B ， 如 果 外 部 请 求 量 变 大 ， S e r v i c e A 调 用 S e r v i c e B 的 量 也 会 跟 着 变 大 ， 大 到 一 定 程 度 ， S e r v i c e A 所 在 节 点 源 端 口 不 够 用 ， 复 用 T I M E _ W A I T 状 态 连 接 的 源 端 口 ， 导 致 五 元 组 跟 I P V S 里 连 接 转 发 表 中 的 T I M E _ W A I T 连 接 相 同 ， I P V S 就 认 为 这 是 一 个 存 量 连 接 的 报 文 ， 就 不 判 断 权 重 直 接 转 发 给 之 前 的 r s ， 导 致 转 发 到 已 销 毁 的 P o d ， 从 而 发 生 “ N o r o u t e t o h o s t ” 。 如 何 规 避 ？ 集 群 规 模 小 可 以 使 用 i p t a b l e s 模 式 ， 如 果 需 要 使 用 i p v s 模 式 ， 可 以 增 加 S e r v i c e A 的 副 本 ， 并 且 配 置 反 亲 和 性 ( p o d A n t i A f f i n i t y ) ， 让 S e r v i c e A 的 P o d 部 署 到 不 同 节 点 ， 分 摊 流 量 ， 避 免 流 量 集 中 到 某 一 个 节 点 ， 导 致 调 用 S e r v i c e B 时 源 端 口 复 用 。 如 何 彻 底 解 决 ？ 暂 时 还 没 有 一 个 完 美 的 方 案 。 I s s u e 8 5 5 1 7 讨 论 让 k u b e p r o x y 支 持 自 定 义 配 置 几 种 连 接 状 态 的 超 时 时 间 ， 但 这 对 T I M E _ W A I T 状 态 无 效 。 I s s u e 8 1 3 0 8 讨 论 I V P S 的 优 雅 结 束 是 否 不 考 虑 不 活 跃 的 连 接 ( 包 括 T I M E _ W A I T 状 态 的 连 接 ) ， 也 就 是 只 考 虑 活 跃 连 接 ， 当 活 跃 连 接 数 为 0 之 后 立 即 踢 掉 r s 。 这 个 确 实 可 以 更 快 的 踢 掉 r s ， 但 无 法 让 优 雅 结 束 做 到 那 么 优 雅 了 ， 并 且 有 人 测 试 了 ， 即 便 是 不 考 虑 不 活 跃 连 接 ， 当 请 求 量 很 大 ， 还 是 不 能 很 快 踢 掉 r s ， 因 为 源 端 口 复 用 还 是 会 导 致 不 断 有 新 的 连 接 占 用 旧 的 连 接 ， 在 较 新 的 内 核 版 本 ， S Y N _ R E C V 状 态 也 被 视 为 活 跃 连 接 ， 所 以 活 跃 连 接 数 还 是 不 会 很 快 降 到 0 。 这 个 问 题 的 终 极 解 决 方 案 该 走 向 何 方 ， 我 们 拭 目 以 待 ， 感 兴 趣 的 同 学 可 以 持 续 关 注 i s s u e 8 1 7 7 5 并 参 与 讨 论 。 想 学 习 更 多 K 8 S 知 识 ， 可 以 关 注 本 人 的 开 源 书 《 K u b e r n e t e s 实 践 指 南 》 : h t t p s : / / k 8 s . i m r o c . i o S h a r e 1 2 3 4 N e x t » A r c h i v e s 六 月 2 0 2 0 五 月 2 0 2 0 四 月 2 0 2 0 三 月 2 0 2 0 一 月 2 0 2 0 十 二 月 2 0 1 9 十 一 月 2 0 1 9 八 月 2 0 1 9 六 月 2 0 1 9 五 月 2 0 1 9 四 月 2 0 1 9 三 月 2 0 1 9 一 月 2 0 1 9 十 二 月 2 0 1 8 十 一 月 2 0 1 8 十 月 2 0 1 8 R e c e n t P o s t s K u b e r n e t e s 服 务 部 署 最 佳 实 践 ( 一 ) T K E 集 群 组 建 最 佳 实 践 揭 秘 K u b e r n e t e s a t t a c h / d e t a c h c o n t r o l l e r 逻 辑 漏 洞 致 使 p o d 启 动 失 败 揭 秘 ！ c o n t a i n e r d 镜 像 文 件 丢 失 问 题 ， 竟 是 镜 像 生 成 惹 得 祸 大 规 模 使 用 C o n f i g M a p 卷 的 负 载 分 析 及 缓 解 方 案 © 2 0 2 0 腾 讯 云 容 器 团 队 P o w e r e d b y H e x o H o m e A r c h i v e s

域名(tencentcloudcontainerteam.github.io)由网友主动性提交被自动秒收录整理收录的，本页最后更新时间为：2024-06-19 23:02:01，自动秒收录仅提供tencentcloudcontainerteam.github.io的基础信息并免费向广大游客展示，该站IP地址为185.199.108.153 [泛播 GitHub]，该站打开速度为608毫秒，该站的百度权重为0、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在-之间、百度手机端来访流量大约在-之间、tencentcloudcontainerteam.github.io的备案号是-、备案人叫-、被百度收录的关键词有0个、手机端关键词有0个、迄今为止已经创建11年3个月10天，其内容不代表本站赞成被显示该站点的内容或立场，相关资料: txt下载、docx下载、pdf下载、rar下载、zip下载，本页地址：http://www.aidhw.com/ailiaotiandh/63d401e7eb20a1086671.html。