拓扑发现、Raft 共识与故障切换机制
- Orchestrator 四大模块:存储 / 发现 / 重构 / 切换
- 自动拓扑发现:InstancePollSeconds 周期扫描与递归发现
- Raft 自身高可用:多节点选主,监控者不再是单点
- 故障检测:探测失败阈值、连续确认与隔离判断
- 切换全流程:选新主 → 提升 → 重挂 → 钩子脚本
- 钩子体系与手动切换:8 类钩子 + 4 种切换命令
高可用大脑的内部协作骨架
目 录
回顾与导读:从"是什么"到"怎么转"
第一章 Orchestrator 整体架构:四大模块
1.1 存储层:元数据放在哪
1.2 四个模块如何协作
第二章 拓扑发现机制:眼睛怎么看
2.1 从"种子"开始递归发现
递归发现流程
2.2 实例状态刷新与元数据
2.3 拓扑可视化的意义
第三章 Raft 共识:为什么它自己不会单点
3.1 单点监控者的困境
3.2 Raft 的工作原理
3.3 生产部署形态
3.4 Raft 与后端存储的关系
第四章 故障检测与判定:怎么判断"真的挂了"
4.1 探测失败阈值
4.2 连续失败确认与隔离判断
4.3 误判的代价与防护
第五章 故障切换流程:手脚怎么动
5.1 切换的完整步骤
自动切换(Recovery)流程
5.2 选主策略:凭什么选它当新主
5.3 计划内切换与强制切换
第六章 可编程钩子体系:对外联动的大门
6.1 钩子是什么
6.2 主要钩子一览
6.3 钩子的使用规范
第七章 架构对比:为什么它取代了 MHA
7.1 一句话总结架构优势
读者收获与下一步
8.1 读完本篇,你应该带走什么
8.2 下一步建议
回顾与导读:从"是什么"到"怎么转"
第一篇建立了整体认知:Orchestrator 是 MySQL 复制拓扑的管理大脑,负责自动发现拓扑、监控状态、故障切换决策;ProxySQL 是流量闸门,负责读写分离与无感切换。这一篇深入 Orchestrator 内部,把"高可用大脑"的四个器官逐一拆开看:数据怎么存(存储层)、拓扑怎么发现(发现层)、决策怎么一致(Raft 层)、故障怎么处理(切换层)。
读完这一篇,你将能回答三个关键问题:Orchestrator 为什么能管理上千个集群而不错乱?为什么它自己不会成为新的单点?故障切换时它依据什么选出"最优新主"?这三个问题的答案,正是它取代 MHA 的根本原因。
第一章 Orchestrator 整体架构:四大模块
Orchestrator 用 Go 编写、单二进制部署,内部按职责划分为四个模块:
|
模块 |
职责 |
关键说明 |
|
存储层(BackendDB) |
持久化拓扑元数据与状态 |
默认 SQLite,生产用 MySQL 后端 |
|
发现层(Discovery) |
周期扫描实例、递归发现拓扑 |
InstancePollSeconds 控制频率 |
|
重构层(Refactoring) |
调整复制拓扑关系 |
GUI 拖拽或 API 执行 |
|
切换层(Failover/Recovery) |
故障检测、决策与执行切换 |
Raft 确认 + 钩子脚本联动 |
1.1 存储层:元数据放在哪
Orchestrator 需要一个地方记录它发现的一切:实例列表、复制关系、心跳状态、切换历史。单机场景默认使用 SQLite 文件;生产环境强烈建议使用独立的 MySQL 实例作为后端(backend db),支持 Raft 节点共享同一元数据视角,且便于备份与审计。
1.2 四个模块如何协作
一次典型的心跳循环是这样的:发现层周期性轮询各实例(读取复制状态、主从关系),把结果写入存储层;重构层响应管理员的拖拽/API 操作,调整复制拓扑并更新存储;切换层持续监控存储层中的状态快照,一旦发现主库异常,先经 Raft 确认决策,再执行提升与重挂,最后触发钩子脚本。
理解这个分层:发现层是"眼睛",存储层是"记忆",Raft 是"共识机制",切换层是"手脚"。眼睛持续看、记忆持续记、共识保证大家看法一致、手脚在共识确认后才动。
第二章 拓扑发现机制:眼睛怎么看
2.1 从"种子"开始递归发现
Orchestrator 不需要你手工录入完整的节点清单。你只需要提供"种子"——任意一个已知的 MySQL 实例地址,发现层会:
递归发现流程
① 连接种子实例,读取其复制状态(SHOW SLAVE STATUS / performance_schema) ② 从复制状态中得知它的主库地址(Master_Host/Port) ③ 把主库加入待扫描队列,连接主库继续向上发现 ④ 同时查询主库的从库列表(SHOW SLAVE HOSTS),向下发现兄弟节点 ⑤ 递归直至整条复制链上的所有实例都被扫描到 ⑥ 每个实例按 InstancePollSeconds(默认 5 秒)周期刷新状态
2.2 实例状态刷新与元数据
每次扫描,Orchestrator 会读取并记录实例的关键信息:复制状态(是否在复制、延迟秒数)、binlog 位置 / GTID 集合、read_only 标志、半同步状态、版本与配置。这些元数据是后续选主与切换决策的数据基础。
2.3 拓扑可视化的意义
Web UI 把存储层中的拓扑渲染成实时图:主库、级联从库、复制链一目了然,延迟高亮的节点一眼可见。可视化不只是好看——它是"发现层是否正常工作"的直接反馈:图里少了一台机器,说明那台机器不可达或发现层探测失败。
一个常见坑:发现层需要专门的拓扑账号,且该账号要有跨节点权限(含 performance_schema 读取);IP 直连优于 DNS 依赖,否则 DNS 故障会导致误判不可达(详见第六篇避坑)。
第三章 Raft 共识:为什么它自己不会单点
3.1 单点监控者的困境
MHA 的 Manager 是单点:Manager 进程或所在主机挂了,整个高可用体系就"瞎了"。Orchestrator 的方案是让多个 Orchestrator 节点组成 Raft 集群——监控者自身也高可用。
3.2 Raft 的工作原理
- 选主:Raft 集群中所有节点定期心跳,心跳超时后发起选举,获得多数派投票的节点成为 Leader(Raft 主)。
- 日志复制:只有 Leader 可以对外提供"写"服务(执行切换决策),并把自己的决策日志复制给 Follower。
- 多数派确认:任何决策需要大多数节点确认才生效——3 节点允许挂 1 个,5 节点允许挂 2 个。
- 防脑裂:网络分区时,少数派一侧因凑不齐多数派而无法做出切换决策,从机制上杜绝"两个大脑同时指挥"。
3.3 生产部署形态
|
规模 |
节点数 |
容错能力 |
|
最小高可用 |
3 节点 |
允许挂 1 个 |
|
推荐生产 |
5 节点 |
允许挂 2 个 |
|
试验/开发 |
1~2 节点 |
无容错(2 节点无法形成多数派) |
注意:Raft 集群至少 3 节点才有意义。2 节点时任何一方故障都无法凑齐多数派,与单点无异;这也是"MHA 迁移到 Orchestrator 时至少部署 3 台"的硬性要求。
3.4 Raft 与后端存储的关系
Raft 节点之间通过 Raft 协议同步"决策日志",但拓扑元数据存储在共享后端(MySQL/SQLite)。生产上通常让 Raft 各节点连接同一个 MySQL 后端,确保"谁当 Leader 不重要,看到的拓扑都一样"。
第四章 故障检测与判定:怎么判断"真的挂了"
4.1 探测失败阈值
Orchestrator 按 InstancePollSeconds(默认 5 秒)轮询实例,连续多次失败才判定实例不可达——单次失败不触发切换,避免网络抖动造成误切。
- InstancePollSeconds:拓扑探测周期(默认 5 秒),决定发现与故障感知的粒度。
- FailureDetectionPeriodBlockMinutes:故障检测的节流窗口(默认 60 分钟),同一实例在窗口内不重复触发检测流程。
- RecoveryPeriodBlockSeconds:切换恢复的阻塞窗口(默认 3600 秒),切换后一段时间内不再对该集群重复切换,防止"抖动风暴"。
4.2 连续失败确认与隔离判断
当实例连续探测失败达到阈值,Orchestrator 会进入故障检测流程(OnFailureDetectionProcesses 钩子触发),并执行一系列"确认"动作:
- 确认该实例真的是主库(还是只是普通从库掉线)。
- 确认它是否还能被其他途径访问(网络隔离 vs 进程崩溃的区分)。
- 确认集群内是否有其他更优的恢复路径(如存在级联中间主)。
4.3 误判的代价与防护
误判主库故障是最危险的场景:主库其实活着,却被切走流量,造成"双主短暂并存"或服务中断。Orchestrator 的多重确认机制(多次失败 + 隔离判断 + Raft 多数派决策)正是为把误判概率压到最低而设计——这也是它比 MHA"探测一次就切换"更稳健的核心差异。
第五章 故障切换流程:手脚怎么动
5.1 切换的完整步骤
当主库故障确认后,Orchestrator 执行一套严密的切换流程:
自动切换(Recovery)流程
① 确认主库故障(连续探测失败 + 隔离判断) ② Raft 多数派确认决策,防止脑裂 ③ 从所有存活从库中选出"最优候选"(见 5.2) ④ 将候选从库补齐 relay log(可执行到最新位点) ⑤ 执行提升:停止复制、SET GLOBAL read_only=OFF(Promote) ⑥ 其余从库 CHANGE MASTER TO 指向新主(或通过中间主级联) ⑦ 触发 PostMasterFailoverProcesses / PostFailoverProcesses 钩子 ⑧ 更新拓扑状态,进入 RecoveryPeriodBlockSeconds 阻塞期
5.2 选主策略:凭什么选它当新主
Orchestrator 选择新主时按优先级综合评估:
- PromotionRule(候选规则):管理员可为实例打标签——prefer(优先)、neutral(中立,默认)、must-not(禁止)、prefer-append(级联中优先)、must-not-append(级联中禁止)。
- 复制延迟:延迟越小越优先(FailMasterPromotionOnLagMinutes 可设阈值,超过则放弃该候选)。
- GTID / binlog 位点:与主库位点最接近者优先(数据最完整)。
- 拓扑位置:直连从库通常优于级联从库(少一跳复制链)。
- 主机规格与配置:同等级别下可结合脚本进一步自定义权重。
5.3 计划内切换与强制切换
除了自动切换,Orchestrator 还提供四种手动切换命令,覆盖运维的常见场景:
|
命令 |
类型 |
典型场景 |
|
orchestrator recover |
自动恢复 |
触发自动切换流程(相当于手动启动 Recovery) |
|
force-master-failover |
强制切换 |
主库已确认故障,跳过部分检查强制执行 |
|
force-master-takeover |
指定接管 |
强制把指定从库提升为新主(不信任自动选主) |
|
graceful-master-takeover |
计划内切换 |
主库仍健康,主动迁移(升级/下架主库) |
特别说明:graceful-master-takeover 是计划内切换(Graceful Master Promotion)的标准姿势——先让候选从库追平主库位点,再把其他从库挂到候选上,最后切换流量,全程业务几乎无感知。升级主库、机房迁移都用它。
第六章 可编程钩子体系:对外联动的大门
6.1 钩子是什么
钩子(Hooks)是 Orchestrator 在关键事件点自动执行的脚本,是它"只做决策、执行交给外部"设计哲学的落地:切换的具体动作(更新 ProxySQL、发告警、跑运维脚本)全部通过钩子交给运维自定脚本完成,最大程度保证可控与可审计。
6.2 主要钩子一览
|
钩子配置项 |
触发时机 |
典型用途 |
|
OnFailureDetectionProcesses |
检测到故障时 |
立即告警(短信/钉钉/企业微信) |
|
PreFailoverProcesses |
切换执行前 |
前置检查、通知、封流量 |
|
PostFailoverProcesses |
切换执行后 |
更新 ProxySQL 后端、通用善后 |
|
PostMasterFailoverProcesses |
主库提升完成后 |
把新主注册到监控/备份体系 |
|
PostIntermediateMasterFailoverProcesses |
中间主切换后 |
级联从库重挂后的善后 |
|
PostUnsuccessfulFailoverProcesses |
切换失败时 |
失败告警 + 人工介入通知 |
|
PreGracefulTakeoverProcesses |
计划内切换前 |
预检查、窗口审批 |
|
PostGracefulTakeoverProcesses |
计划内切换后 |
变更收尾、验证 |
6.3 钩子的使用规范
钩子脚本有几个必须遵守的规范:脚本路径在 orchestrator.conf.json 中配置,支持 %d(新主)/%h(主机)/%i(端口)等占位符传参;脚本必须幂等(重复执行无副作用),因为 Orchestrator 可能重试;脚本超时要有保护,避免卡死拖慢切换;建议脚本里自带日志,便于切换审计。
与 ProxySQL 的联动就在 PostFailoverProcesses 钩子中完成——这是第四篇部署实操的重点,这里先建立概念。
第七章 架构对比:为什么它取代了 MHA
把 Orchestrator 与 MHA 的架构对照起来看,差距一目了然:
|
对比维度 |
MHA |
Orchestrator |
|
架构语言 |
Perl 脚本 + Manager |
Go 单二进制 + Web UI |
|
自身高可用 |
Manager 单点 |
Raft 集群(3/5 节点) |
|
拓扑发现 |
手动配置 |
自动递归发现 |
|
可视化 |
无 |
Web UI 实时拓扑 |
|
故障确认 |
探测即切换(相对简单) |
多重确认 + Raft 决策 |
|
选主策略 |
延迟 + 位点(相对简单) |
PromotionRule + 延迟 + 位点 + 拓扑 |
|
对外联动 |
脚本有限 |
8 类钩子 + API + 完整审计 |
|
版本支持 |
仅 5.6/5.7 |
5.7 / 8.0 / 8.4 全面支持 |
7.1 一句话总结架构优势
MHA 是"手工作坊":一个 Manager 统管一切,能力有限、自身脆弱;Orchestrator 是"工业系统":发现、存储、共识、切换四层分离,每一层都可扩展、可替换、可高可用。架构的代差决定了 MHA 必然被取代。
读者收获与下一步
8.1 读完本篇,你应该带走什么
- Orchestrator 四大模块:存储层(SQLite/MySQL)、发现层(周期扫描)、重构层(拓扑调整)、切换层(故障恢复)。
- 拓扑发现靠"种子递归":给一个地址,自动发现整条复制链,InstancePollSeconds 默认 5 秒刷新。
- Raft 集群至少 3 节点才有意义:多数派确认 + 日志复制,从机制上防脑裂。
- 故障判定多重确认:连续失败 + 隔离判断 + Raft 决策,最大限度避免误切换。
- 选主四要素:PromotionRule 标签、复制延迟、GTID/位点接近度、拓扑位置。
- 8 类钩子覆盖切换全生命周期,与 ProxySQL 的联动在 PostFailoverProcesses 完成。
8.2 下一步建议
下一篇切换到另一半:ProxySQL 的架构与核心原理——连接池、读写分离、查询路由、健康检查与配置三态分离。看完大脑再看闸门,整套组合的机制就拼齐了。


