Spark 最小可用链路：先跑通读取、转换和落盘
第一次搭 Spark 任务，别急着上复杂调优参数。先用一份可控数据跑通读取、转换、校验和落盘，确认数据语义，再谈并行度。
最小链路要能重复运行
输入路径、schema 和分区规则写进配置；转换只保留一两个核心步骤；输出使用临时位置并带运行标识。重复执行时要么覆盖指定分区，要么幂等写入。
先看数据分布再调资源
用 explain 查看计划，检查 shuffle 边界和 key 倾斜。分区数量应根据数据量与集群资源调整，不直接复制别人的参数。
- 对输入、过滤后和输出分别计数。
- 检查小文件数量与单文件大小。
- 失败重跑前确认是否留下半成品。
验收从正确性开始
固定一组包含空值、重复键和倾斜 key 的小数据，用它验证结果与重跑行为。规模测试另开一组记录，避免正确性与性能问题混在一起。
先让数据稳稳走完一圈，再处理速度。最小可用链路不华丽，却最方便定位 Spark 任务的第一批问题。
