欢迎光临
我们一直在努力

MySQL 高可用系列 · Orchestrator + ProxySQL 第二篇——架构深度拆解

拓扑发现、Raft 共识与故障切换机制

  • Orchestrator 四大模块:存储 / 发现 / 重构 / 切换
  • 自动拓扑发现:InstancePollSeconds 周期扫描与递归发现
  • Raft 自身高可用:多节点选主,监控者不再是单点
  • 故障检测:探测失败阈值、连续确认与隔离判断
  • 切换全流程:选新主 → 提升 → 重挂 → 钩子脚本
  • 钩子体系与手动切换:8 类钩子 + 4 种切换命令

高可用大脑的内部协作骨架

目  录

回顾与导读:从"是什么"到"怎么转"

第一章 Orchestrator 整体架构:四大模块

1.1 存储层:元数据放在哪

1.2 四个模块如何协作

第二章 拓扑发现机制:眼睛怎么看

2.1 从"种子"开始递归发现

递归发现流程

2.2 实例状态刷新与元数据

2.3 拓扑可视化的意义

第三章 Raft 共识:为什么它自己不会单点

3.1 单点监控者的困境

3.2 Raft 的工作原理

3.3 生产部署形态

3.4 Raft 与后端存储的关系

第四章 故障检测与判定:怎么判断"真的挂了"

4.1 探测失败阈值

4.2 连续失败确认与隔离判断

4.3 误判的代价与防护

第五章 故障切换流程:手脚怎么动

5.1 切换的完整步骤

自动切换(Recovery)流程

5.2 选主策略:凭什么选它当新主

5.3 计划内切换与强制切换

第六章 可编程钩子体系:对外联动的大门

6.1 钩子是什么

6.2 主要钩子一览

6.3 钩子的使用规范

第七章 架构对比:为什么它取代了 MHA

7.1 一句话总结架构优势

读者收获与下一步

8.1 读完本篇,你应该带走什么

8.2 下一步建议

回顾与导读:从"是什么"到"怎么转"

第一篇建立了整体认知:Orchestrator 是 MySQL 复制拓扑的管理大脑,负责自动发现拓扑、监控状态、故障切换决策;ProxySQL 是流量闸门,负责读写分离与无感切换。这一篇深入 Orchestrator 内部,把"高可用大脑"的四个器官逐一拆开看:数据怎么存(存储层)、拓扑怎么发现(发现层)、决策怎么一致(Raft 层)、故障怎么处理(切换层)。

读完这一篇,你将能回答三个关键问题:Orchestrator 为什么能管理上千个集群而不错乱?为什么它自己不会成为新的单点?故障切换时它依据什么选出"最优新主"?这三个问题的答案,正是它取代 MHA 的根本原因。

第一章 Orchestrator 整体架构:四大模块

Orchestrator 用 Go 编写、单二进制部署,内部按职责划分为四个模块:

模块

职责

关键说明

存储层(BackendDB)

持久化拓扑元数据与状态

默认 SQLite,生产用 MySQL 后端

发现层(Discovery)

周期扫描实例、递归发现拓扑

InstancePollSeconds 控制频率

重构层(Refactoring)

调整复制拓扑关系

GUI 拖拽或 API 执行

切换层(Failover/Recovery)

故障检测、决策与执行切换

Raft 确认 + 钩子脚本联动

1.1 存储层:元数据放在哪

Orchestrator 需要一个地方记录它发现的一切:实例列表、复制关系、心跳状态、切换历史。单机场景默认使用 SQLite 文件;生产环境强烈建议使用独立的 MySQL 实例作为后端(backend db),支持 Raft 节点共享同一元数据视角,且便于备份与审计。

1.2 四个模块如何协作

一次典型的心跳循环是这样的:发现层周期性轮询各实例(读取复制状态、主从关系),把结果写入存储层;重构层响应管理员的拖拽/API 操作,调整复制拓扑并更新存储;切换层持续监控存储层中的状态快照,一旦发现主库异常,先经 Raft 确认决策,再执行提升与重挂,最后触发钩子脚本。

理解这个分层:发现层是"眼睛",存储层是"记忆",Raft 是"共识机制",切换层是"手脚"。眼睛持续看、记忆持续记、共识保证大家看法一致、手脚在共识确认后才动。

第二章 拓扑发现机制:眼睛怎么看

2.1 从"种子"开始递归发现

Orchestrator 不需要你手工录入完整的节点清单。你只需要提供"种子"——任意一个已知的 MySQL 实例地址,发现层会:

递归发现流程

① 连接种子实例,读取其复制状态(SHOW SLAVE STATUS / performance_schema) ② 从复制状态中得知它的主库地址(Master_Host/Port) ③ 把主库加入待扫描队列,连接主库继续向上发现 ④ 同时查询主库的从库列表(SHOW SLAVE HOSTS),向下发现兄弟节点 ⑤ 递归直至整条复制链上的所有实例都被扫描到 ⑥ 每个实例按 InstancePollSeconds(默认 5 秒)周期刷新状态

2.2 实例状态刷新与元数据

每次扫描,Orchestrator 会读取并记录实例的关键信息:复制状态(是否在复制、延迟秒数)、binlog 位置 / GTID 集合、read_only 标志、半同步状态、版本与配置。这些元数据是后续选主与切换决策的数据基础。

2.3 拓扑可视化的意义

Web UI 把存储层中的拓扑渲染成实时图:主库、级联从库、复制链一目了然,延迟高亮的节点一眼可见。可视化不只是好看——它是"发现层是否正常工作"的直接反馈:图里少了一台机器,说明那台机器不可达或发现层探测失败。

一个常见坑:发现层需要专门的拓扑账号,且该账号要有跨节点权限(含 performance_schema 读取);IP 直连优于 DNS 依赖,否则 DNS 故障会导致误判不可达(详见第六篇避坑)。

第三章 Raft 共识:为什么它自己不会单点

3.1 单点监控者的困境

MHA 的 Manager 是单点:Manager 进程或所在主机挂了,整个高可用体系就"瞎了"。Orchestrator 的方案是让多个 Orchestrator 节点组成 Raft 集群——监控者自身也高可用。

3.2 Raft 的工作原理

  • 选主:Raft 集群中所有节点定期心跳,心跳超时后发起选举,获得多数派投票的节点成为 Leader(Raft 主)。
  • 日志复制:只有 Leader 可以对外提供"写"服务(执行切换决策),并把自己的决策日志复制给 Follower。
  • 多数派确认:任何决策需要大多数节点确认才生效——3 节点允许挂 1 个,5 节点允许挂 2 个。
  • 防脑裂:网络分区时,少数派一侧因凑不齐多数派而无法做出切换决策,从机制上杜绝"两个大脑同时指挥"。

3.3 生产部署形态

规模

节点数

容错能力

最小高可用

3 节点

允许挂 1 个

推荐生产

5 节点

允许挂 2 个

试验/开发

1~2 节点

无容错(2 节点无法形成多数派)

注意:Raft 集群至少 3 节点才有意义。2 节点时任何一方故障都无法凑齐多数派,与单点无异;这也是"MHA 迁移到 Orchestrator 时至少部署 3 台"的硬性要求。

3.4 Raft 与后端存储的关系

Raft 节点之间通过 Raft 协议同步"决策日志",但拓扑元数据存储在共享后端(MySQL/SQLite)。生产上通常让 Raft 各节点连接同一个 MySQL 后端,确保"谁当 Leader 不重要,看到的拓扑都一样"。

第四章 故障检测与判定:怎么判断"真的挂了"

4.1 探测失败阈值

Orchestrator 按 InstancePollSeconds(默认 5 秒)轮询实例,连续多次失败才判定实例不可达——单次失败不触发切换,避免网络抖动造成误切。

  • InstancePollSeconds:拓扑探测周期(默认 5 秒),决定发现与故障感知的粒度。
  • FailureDetectionPeriodBlockMinutes:故障检测的节流窗口(默认 60 分钟),同一实例在窗口内不重复触发检测流程。
  • RecoveryPeriodBlockSeconds:切换恢复的阻塞窗口(默认 3600 秒),切换后一段时间内不再对该集群重复切换,防止"抖动风暴"。

4.2 连续失败确认与隔离判断

当实例连续探测失败达到阈值,Orchestrator 会进入故障检测流程(OnFailureDetectionProcesses 钩子触发),并执行一系列"确认"动作:

  • 确认该实例真的是主库(还是只是普通从库掉线)。
  • 确认它是否还能被其他途径访问(网络隔离 vs 进程崩溃的区分)。
  • 确认集群内是否有其他更优的恢复路径(如存在级联中间主)。

4.3 误判的代价与防护

误判主库故障是最危险的场景:主库其实活着,却被切走流量,造成"双主短暂并存"或服务中断。Orchestrator 的多重确认机制(多次失败 + 隔离判断 + Raft 多数派决策)正是为把误判概率压到最低而设计——这也是它比 MHA"探测一次就切换"更稳健的核心差异。

第五章 故障切换流程:手脚怎么动

5.1 切换的完整步骤

当主库故障确认后,Orchestrator 执行一套严密的切换流程:

自动切换(Recovery)流程

① 确认主库故障(连续探测失败 + 隔离判断) ② Raft 多数派确认决策,防止脑裂 ③ 从所有存活从库中选出"最优候选"(见 5.2) ④ 将候选从库补齐 relay log(可执行到最新位点) ⑤ 执行提升:停止复制、SET GLOBAL read_only=OFF(Promote) ⑥ 其余从库 CHANGE MASTER TO 指向新主(或通过中间主级联) ⑦ 触发 PostMasterFailoverProcesses / PostFailoverProcesses 钩子 ⑧ 更新拓扑状态,进入 RecoveryPeriodBlockSeconds 阻塞期

5.2 选主策略:凭什么选它当新主

Orchestrator 选择新主时按优先级综合评估:

  • PromotionRule(候选规则):管理员可为实例打标签——prefer(优先)、neutral(中立,默认)、must-not(禁止)、prefer-append(级联中优先)、must-not-append(级联中禁止)。
  • 复制延迟:延迟越小越优先(FailMasterPromotionOnLagMinutes 可设阈值,超过则放弃该候选)。
  • GTID / binlog 位点:与主库位点最接近者优先(数据最完整)。
  • 拓扑位置:直连从库通常优于级联从库(少一跳复制链)。
  • 主机规格与配置:同等级别下可结合脚本进一步自定义权重。

5.3 计划内切换与强制切换

除了自动切换,Orchestrator 还提供四种手动切换命令,覆盖运维的常见场景:

命令

类型

典型场景

orchestrator recover

自动恢复

触发自动切换流程(相当于手动启动 Recovery)

force-master-failover

强制切换

主库已确认故障,跳过部分检查强制执行

force-master-takeover

指定接管

强制把指定从库提升为新主(不信任自动选主)

graceful-master-takeover

计划内切换

主库仍健康,主动迁移(升级/下架主库)

特别说明:graceful-master-takeover 是计划内切换(Graceful Master Promotion)的标准姿势——先让候选从库追平主库位点,再把其他从库挂到候选上,最后切换流量,全程业务几乎无感知。升级主库、机房迁移都用它。

第六章 可编程钩子体系:对外联动的大门

6.1 钩子是什么

钩子(Hooks)是 Orchestrator 在关键事件点自动执行的脚本,是它"只做决策、执行交给外部"设计哲学的落地:切换的具体动作(更新 ProxySQL、发告警、跑运维脚本)全部通过钩子交给运维自定脚本完成,最大程度保证可控与可审计。

6.2 主要钩子一览

钩子配置项

触发时机

典型用途

OnFailureDetectionProcesses

检测到故障时

立即告警(短信/钉钉/企业微信)

PreFailoverProcesses

切换执行前

前置检查、通知、封流量

PostFailoverProcesses

切换执行后

更新 ProxySQL 后端、通用善后

PostMasterFailoverProcesses

主库提升完成后

把新主注册到监控/备份体系

PostIntermediateMasterFailoverProcesses

中间主切换后

级联从库重挂后的善后

PostUnsuccessfulFailoverProcesses

切换失败时

失败告警 + 人工介入通知

PreGracefulTakeoverProcesses

计划内切换前

预检查、窗口审批

PostGracefulTakeoverProcesses

计划内切换后

变更收尾、验证

6.3 钩子的使用规范

钩子脚本有几个必须遵守的规范:脚本路径在 orchestrator.conf.json 中配置,支持 %d(新主)/%h(主机)/%i(端口)等占位符传参;脚本必须幂等(重复执行无副作用),因为 Orchestrator 可能重试;脚本超时要有保护,避免卡死拖慢切换;建议脚本里自带日志,便于切换审计。

与 ProxySQL 的联动就在 PostFailoverProcesses 钩子中完成——这是第四篇部署实操的重点,这里先建立概念。

第七章 架构对比:为什么它取代了 MHA

把 Orchestrator 与 MHA 的架构对照起来看,差距一目了然:

对比维度

MHA

Orchestrator

架构语言

Perl 脚本 + Manager

Go 单二进制 + Web UI

自身高可用

Manager 单点

Raft 集群(3/5 节点)

拓扑发现

手动配置

自动递归发现

可视化

无

Web UI 实时拓扑

故障确认

探测即切换(相对简单)

多重确认 + Raft 决策

选主策略

延迟 + 位点(相对简单)

PromotionRule + 延迟 + 位点 + 拓扑

对外联动

脚本有限

8 类钩子 + API + 完整审计

版本支持

仅 5.6/5.7

5.7 / 8.0 / 8.4 全面支持

7.1 一句话总结架构优势

MHA 是"手工作坊":一个 Manager 统管一切,能力有限、自身脆弱;Orchestrator 是"工业系统":发现、存储、共识、切换四层分离,每一层都可扩展、可替换、可高可用。架构的代差决定了 MHA 必然被取代。

读者收获与下一步

8.1 读完本篇,你应该带走什么

  • Orchestrator 四大模块:存储层(SQLite/MySQL)、发现层(周期扫描)、重构层(拓扑调整)、切换层(故障恢复)。
  • 拓扑发现靠"种子递归":给一个地址,自动发现整条复制链,InstancePollSeconds 默认 5 秒刷新。
  • Raft 集群至少 3 节点才有意义:多数派确认 + 日志复制,从机制上防脑裂。
  • 故障判定多重确认:连续失败 + 隔离判断 + Raft 决策,最大限度避免误切换。
  • 选主四要素:PromotionRule 标签、复制延迟、GTID/位点接近度、拓扑位置。
  • 8 类钩子覆盖切换全生命周期,与 ProxySQL 的联动在 PostFailoverProcesses 完成。

8.2 下一步建议

下一篇切换到另一半:ProxySQL 的架构与核心原理——连接池、读写分离、查询路由、健康检查与配置三态分离。看完大脑再看闸门,整套组合的机制就拼齐了。

赞(0)
未经允许不得转载:171主机测评 » MySQL 高可用系列 · Orchestrator + ProxySQL 第二篇——架构深度拆解
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址