深入 ORC Footer：解锁文件级与 Stripe 级统计信息的终极指南
在构建 PB 级数据湖和实时数仓的过程中，查询性能优化是永恒的主题。面对万亿行级别的数据扫描，如何避免“大海捞针”式的全表扫描，实现毫秒级的谓词下推？答案就藏在 ORC 文件的 Footer（页脚）之中。
ORC 的 Footer 不仅仅是一个简单的元数据容器，它是一座蕴藏着丰富统计信息的宝库。通过解析 Footer，我们可以获取到从整个文件到每个 Stripe 的详细统计信息，包括每列的最小值、最大值、空值数量、总和等。这些信息是 Spark Catalyst 优化器、Flink 谓词下推引擎以及 Trino 分区裁剪逻辑赖以工作的基石。
本文将深入剖析 ORC 2.3.0 版本中 Footer 的内部结构，并手把手教你如何通过多种方式（orc-tools、Java API、Spark SQL）来提取和利用这些关键的统计信息。我们将通过源码级解析、可视化图表、生产级代码示例和真实场景验证，为你揭示这一核心机制背后的工程智慧。
一、问题引入：IoT 设备上报存储中的“无效扫描”
设想一个真实的 IoT 海量时序数据处理场景：某智能城市平台每天接收来自 1000 万个 传感器的上报数据，每条记录包含 device_id, me
