从0到1搭建大数据存算分离平台：手把手教程
一、引言：为什么需要存算分离？
1.1 大数据平台的“成长痛”
假设你是一家电商公司的大数据工程师，负责维护公司的用户行为分析平台。最初，你用Hadoop集群搭建了一套存算一体的系统——数据存在HDFS（存储层），计算用MapReduce/Spark（计算层），所有节点既存数据又跑任务。
但随着业务增长，问题慢慢暴露：
- 资源浪费：计算高峰时，存储节点的CPU被占满，导致数据读写变慢；而低谷时，计算节点的硬盘空着，却要支付高额运维成本。
- 扩展性差：想增加计算能力？必须同时扩容存储节点（因为HDFS需要副本），否则数据无法均衡分布；想增加存储容量？又得买带计算能力的服务器，性价比极低。
- 数据孤岛：不同计算引擎（Spark、Flink、Presto）都要访问各自的存储，数据重复存储，同步成本高。
这就像“把仓库和车间建在一起”——车间（计算）需要扩容时，必须连仓库（存储）一起扩建；仓库想存更多货，又得搭新的车间。存算耦合，成了大数据平台的“性能瓶颈”和“成本杀手”。
1.2 存算分离：解决问题的钥匙
存算分离的核心逻辑，是将数据存储与计算资源彻底解耦：
- 存储层
