HBase作为基于Hadoop的分布式、面向列的NoSQL数据库，其核心存储引擎采用日志结构合并树(LSM-Tree)架构。LSM-Tree通过将随机写转换为顺序写来优化写入性能，这种设计使HBase特别适合写密集型工作负载。
在HBase中，数据写入流程首先进入内存中的MemStore，当MemStore达到预设阈值后，会刷写到磁盘形成一个新的StoreFile(也称为HFile)。StoreFile按照层级(Level)组织，Level-0包含新写入的数据，后续层级按有序方式组织。读取操作需要检查MemStore、BlockCache和各个层级的StoreFile，合并获取最终结果。
LSM-Tree这种架构虽然优化了写入性能，但引入了写入放大(Write Amplification)、读放大(Read Amplification)和空间放大(Space Amplification)等问题，需要通过Compaction机制来缓解。
写入放大是指实际写入物理存储的数据量与客户端写入数据量的比率。在HBase中，写入放大的主要原因是Compaction操作：当MemStore刷写或StoreFile合并时，数据会被多次重写。例如，在SizeTiered Compaction策略下，一个数据可能被多次合并到更大的文件中；而在Leveled Compaction中，数据可能在不同层级间多次移动。
写入放大的直接影响包括：
- 增加I/O负载，降低整体写入吞吐
- 缩短SSD寿命，增加存储成本
- 消耗更多CPU资源用于数据合并
读放大是指读取操作实际读取的数据量与客户端请求量的比率。在LSM-Tree中，由于数据分布在MemStore和多个层级的StoreFile中，一次读取可能需要检查多个位置。随着时间推移，层级增多，读放大问题会加剧。此外，Compaction过程中创建的新文件可能导致热点数据分散，增加读取延迟。
放大问题的程度与工作负载特征密切相关：写密集型负载主要面临写入放大，读密集型负载更关注读放大，而需要高压缩率的场景则更关注空间放大。
HBase提供了多种Compaction策略以应对不同的工作负载特征，主要策略包括SizeTiered、Leveled和Stripe/Universal Compaction：
SizeTiered Compaction：将大小相近的文件合并为更大的文件，层级内的文件大小相近但不保证全局有序。这种策略写入放大低，随机写性能好，但空间放大高，读放大中等。
Leveled Compaction：将数据分配到多个层级，每层数据全局有序，且下层文件键范围不重叠于上层。这种策略空间放大低，读放大低，但写入放大高，随机写性能差。
Stripe/Universal Compaction：结合两种策略的优点，将数据分成多个"条带"(Stripe)，在每个条带内使用类似Leveled的层级结构，条带间使用SizeTiered合并。这种策略平衡了读写放大，资源占用可控，但实现复杂，配置参数多。
| 策略类型 | 优点 | 缺点 | 适用场景 |
|———|——|——|———|
| SizeTieredCompaction | 写入放大低，随机写入性能好 | 空间放大高，读放大中等 | 写密集型应用，写多读少场景 |
| LeveledCompaction | 空间放大低，读放大低 | 写入放大高，随机写性能差 | 读密集型应用，要求高压缩率 |
| Stripe/UniversalCompaction | 平衡读写放大，资源占用可控 | 实现复杂，配置参数多 | 混合读写负载场景 |
选择合适的Compaction策略需要综合考虑业务特征、硬件配置和数据访问模式。例如，对于写入频繁且允许较高存储占用的场景，SizeTiered是较好的选择；对于读密集型且对存储敏感的场景，Leveled更合适；而对于读写均衡且资源有限的场景，Stripe/Universal可能是最佳平衡点。
针对HBase LSM-Tree的放大问题，可以通过以下优化手段减轻其影响：
- 设置合理的hbase.hstore.compaction.threshold控制触发Compaction的文件数量
- 通过hbase.hstore.compaction.max.size和hbase.hstore.compaction.min.size控制文件大小范围
- 使用hbase.hstore.blockingStoreFiles设置最大阻塞文件数
- 合理设置列族数量和属性，避免不必要的列族
- 使用适当的块缓存(BlockCache)大小
- 设计合理的行键(RowKey)模式，避免热点问题
- 为HLog和StoreFile使用不同的存储设备
- 考虑使用SSD减少随机I/O延迟
- 配置足够内存以减少刷写频率
- 监控Compaction队列长度和执行时间
- 跟踪读写放大比率变化
- 根据监控结果动态调整配置参数
通过综合应用这些优化策略，可以显著降低LSM-Tree带来的放大问题，提升HBase整体性能和资源利用率。
下面是一个简单的Java示例，展示如何配置HBase表的Compaction策略：
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.TableDescriptor;
import org.apache.hadoop.hbase.client.TableDescriptorBuilder;
import org.apache.hadoop.hbase.io.compress.Compression;
import org.apache.hadoop.hbase.io.encoding.DataBlockEncoding;
import org.apache.hadoop.hbase.regionserver.BloomType;
import org.apache.hadoop.hbase.regionstore.compaction.CompactionLifeCycleTracker;
import org.apache.hadoop.hbase.regionstore.compaction.ExponentialCompactionPolicy;
import org.apache.hadoop.hbase.regionstore.compaction.SizeTieredCompactionPolicy;
import org.apache.hadoop.hbase.regionstore.compaction.StripeCompactionPolicy;
import org.apache.hadoop.hbase.util.Bytes;
public class HBaseCompactionConfig {
public static void main(String[] args) throws Exception {
// 创建配置和连接
Configuration conf = HBaseConfiguration.create();
try (Connection connection = ConnectionFactory.createConnection(conf);
Admin admin = connection.getAdmin()) {
// 创建表描述构建器
TableName tableName = TableName.valueOf("compaction_example");
TableDescriptorBuilder tableDescriptorBuilder = TableDescriptorBuilder.newBuilder(tableName);
// 配置列族
tableDescriptorBuilder.setColumnFamily(ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("cf"))
.setCompactionPolicy(CompactionPolicy.SIZE_TIERED) // 设置Compaction策略
.setCompactionThreshold(5) // 触发Compaction的文件数量阈值
.setCompactionMaxFiles(10) // 最大Compaction文件数
.setCompactionMinSize(128 * 1024) // 最小文件大小，128KB
.setCompactionMaxSize(256 * 1024 * 1024) // 最大文件大小，256MB
.setBlocksize(64 * 1024) // 块大小，64KB
.setCompressionType(Compression.Algorithm.GZ) // 压缩算法
.setDataBlockEncoding(DataBlockEncoding.DIFF) // 数据块编码
.setBloomFilterType(BloomType.ROW) // 布隆过滤器类型
.setBlockCacheEnabled(true) // 启用块缓存
.build());
// 创建表
admin.createTable(tableDescriptorBuilder.build());
System.out.println("表创建成功，配置了SizeTiered Compaction策略");
}
}
}
注意事项：
#publish-mermaid-1788834316654-0{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#publish-mermaid-1788834316654-0 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#publish-mermaid-1788834316654-0 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#publish-mermaid-1788834316654-0 .error-icon{fill:#552222;}#publish-mermaid-1788834316654-0 .error-text{fill:#552222;stroke:#552222;}#publish-mermaid-1788834316654-0 .edge-thickness-normal{stroke-width:1px;}#publish-mermaid-1788834316654-0 .edge-thickness-thick{stroke-width:3.5px;}#publish-mermaid-1788834316654-0 .edge-pattern-solid{stroke-dasharray:0;}#publish-mermaid-1788834316654-0 .edge-thickness-invisible{stroke-width:0;fill:none;}#publish-mermaid-1788834316654-0 .edge-pattern-dashed{stroke-dasharray:3;}#publish-mermaid-1788834316654-0 .edge-pattern-dotted{stroke-dasharray:2;}#publish-mermaid-1788834316654-0 .marker{fill:#333333;stroke:#333333;}#publish-mermaid-1788834316654-0 .marker.cross{stroke:#333333;}#publish-mermaid-1788834316654-0 svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#publish-mermaid-1788834316654-0 p{margin:0;}#publish-mermaid-1788834316654-0 .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#publish-mermaid-1788834316654-0 .cluster-label text{fill:#333;}#publish-mermaid-1788834316654-0 .cluster-label span{color:#333;}#publish-mermaid-1788834316654-0 .cluster-label span p{background-color:transparent;}#publish-mermaid-1788834316654-0 .label text,#publish-mermaid-1788834316654-0 span{fill:#333;color:#333;}#publish-mermaid-1788834316654-0 .node rect,#publish-mermaid-1788834316654-0 .node circle,#publish-mermaid-1788834316654-0 .node ellipse,#publish-mermaid-1788834316654-0 .node polygon,#publish-mermaid-1788834316654-0 .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#publish-mermaid-1788834316654-0 .rough-node .label text,#publish-mermaid-1788834316654-0 .node .label text,#publish-mermaid-1788834316654-0 .image-shape .label,#publish-mermaid-1788834316654-0 .icon-shape .label{text-anchor:middle;}#publish-mermaid-1788834316654-0 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#publish-mermaid-1788834316654-0 .rough-node .label,#publish-mermaid-1788834316654-0 .node .label,#publish-mermaid-1788834316654-0 .image-shape .label,#publish-mermaid-1788834316654-0 .icon-shape .label{text-align:center;}#publish-mermaid-1788834316654-0 .node.clickable{cursor:pointer;}#publish-mermaid-1788834316654-0 .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#publish-mermaid-1788834316654-0 .arrowheadPath{fill:#333333;}#publish-mermaid-1788834316654-0 .edgePath .path{stroke:#333333;stroke-width:1px;}#publish-mermaid-1788834316654-0 .flowchart-link{stroke:#333333;fill:none;}#publish-mermaid-1788834316654-0 .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#publish-mermaid-1788834316654-0 .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#publish-mermaid-1788834316654-0 .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#publish-mermaid-1788834316654-0 .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#publish-mermaid-1788834316654-0 .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#publish-mermaid-1788834316654-0 .cluster text{fill:#333;}#publish-mermaid-1788834316654-0 .cluster span{color:#333;}#publish-mermaid-1788834316654-0 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#publish-mermaid-1788834316654-0 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#publish-mermaid-1788834316654-0 rect.text{fill:none;stroke-width:0;}#publish-mermaid-1788834316654-0 .icon-shape,#publish-mermaid-1788834316654-0 .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#publish-mermaid-1788834316654-0 .icon-shape p,#publish-mermaid-1788834316654-0 .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#publish-mermaid-1788834316654-0 .icon-shape .label rect,#publish-mermaid-1788834316654-0 .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#publish-mermaid-1788834316654-0 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#publish-mermaid-1788834316654-0 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#publish-mermaid-1788834316654-0 .node .neo-node{stroke:#9370DB;}#publish-mermaid-1788834316654-0 [data-look=\”neo\”].node rect,#publish-mermaid-1788834316654-0 [data-look=\”neo\”].cluster rect,#publish-mermaid-1788834316654-0 [data-look=\”neo\”].node polygon{stroke:#9370DB;filter:drop-shadow(1px 2px 2px rgba(185, 185, 185, 1));}#publish-mermaid-1788834316654-0 [data-look=\”neo\”].swimlane.cluster rect{filter:none;}#publish-mermaid-1788834316654-0 [data-look=\”neo\”].node path{stroke:#9370DB;stroke-width:1px;}#publish-mermaid-1788834316654-0 [data-look=\”neo\”].node .outer-path{filter:drop-shadow(1px 2px 2px rgba(185, 185, 185, 1));}#publish-mermaid-1788834316654-0 [data-look=\”neo\”].node .neo-line path{stroke:#9370DB;filter:none;}#publish-mermaid-1788834316654-0 [data-look=\”neo\”].node circle{stroke:#9370DB;filter:drop-shadow(1px 2px 2px rgba(185, 185, 185, 1));}#publish-mermaid-1788834316654-0 [data-look=\”neo\”].node circle .state-start{fill:#000000;}#publish-mermaid-1788834316654-0 [data-look=\”neo\”].icon-shape .icon{fill:#9370DB;filter:drop-shadow(1px 2px 2px rgba(185, 185, 185, 1));}#publish-mermaid-1788834316654-0 [data-look=\”neo\”].icon-shape .icon-neo path{stroke:#9370DB;filter:drop-shadow(1px 2px 2px rgba(185, 185, 185, 1));}#publish-mermaid-1788834316654-0 :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}
写入数据
内存写入MemStore
MemStore达到阈值
刷写到磁盘
创建新的StoreFile
查询数据流程
查MemStore
查BlockCache
逐层查StoreFile
合并读取结果
Compaction触发条件
大小级Compaction
层级级Compaction
合并小文件
合并整层数据
清理过期版本
释放空间
