欢迎光临
我们一直在努力

私有云中 Ceph 一直 health_warn 的处理方法

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */
#content_views .toc,
/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */
#content_views.markdown_views > p:empty:has(+ .toc),
#content_views.markdown_views > .toc + p:empty,
/* 富文本旧版目录标记 */
#content_views.htmledit_views #main-toc,
#content_views.htmledit_views #hr-toc,
#content_views.htmledit_views p[id*=\”-toc\”] {
display: none !important;
}
/* 目录去掉后,紧跟的首个标题不再多出一块上边距 */
#content_views.markdown_views > .toc + h1,
#content_views.markdown_views > .toc + h2,
#content_views.markdown_views > .toc + h3,
#content_views.markdown_views > .toc + h4,
#content_views.markdown_views > .toc + p:empty + h1,
#content_views.markdown_views > .toc + p:empty + h2,
#content_views.markdown_views > .toc + p:empty + h3,
#content_views.markdown_views > .toc + p:empty + h4 {
margin-top: 0 !important;
}

1. 背景

不同于 GCP、AWS、Azure 这些公有云,遇到问题这些公有云会自动解决(大多数情况下)。私有云需要用户自己时刻观察问题。

2. 问题描述

最近客户抱怨说,在 Cloud Platform 的 UI 上 Ceph 老显示 health_warn,导致 Application 方面的业务无法继续进行下去。

3. 故障排查

根据 Ceph 官方文档,不是所有的 Ceph health_warn 都会自己解决。如果 health_warn 过了好几个小时还没有自行解决,那么就需要用户手动执行 Ceph 官网推荐的命令。

4. 解决方案

由于客户的 CephFS 有 data corruption,所以必须使用下面的命令重新创建 pool、file system。

4.1 停止 Ceph MDS

ceph mds fail cephfs-name

4.2 重置 session

cephfs-table-tool 0 reset session

4.3 重置 snap

cephfs-table-tool 0 reset snap

4.4 重置 inode

cephfs-table-tool 0 reset inode

4.5 重置 journal

cephfs-journal-tool –rank=cephfs-name:0 journal reset

4.6 重启 Ceph MDS

ceph mds fail cephfs-name

5. 小结

Ceph 出现 health_warn 时,先观察是否会自动恢复;若长时间未恢复,按官方推荐命令手动处理。本例中因 CephFS 存在 data corruption,通过重置 session、snap、inode、journal 并重启 MDS 完成修复。

赞(0)
未经允许不得转载:171主机测评 » 私有云中 Ceph 一直 health_warn 的处理方法
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址