欢迎光临
我们一直在努力

Apache Spark全面解析:基于内存的分布式计算引擎

Apache Spark全面解析:基于内存的分布式计算引擎

    • 引言
    • 一、Spark的核心定位
      • 1.1 Spark的本质
      • 1.2 你的理解验证
    • 二、Spark与MapReduce的对比
      • 2.1 核心差异
      • 2.2 性能对比
    • 三、Spark的核心组件
      • 3.1 组件架构图
      • 3.2 各组件功能
    • 四、Spark的工作原理
      • 4.1 计算流程
      • 4.2 内存计算的优势
    • 五、Spark的应用场景
      • 5.1 场景分类
      • 5.2 典型应用示例
    • 六、Spark与Hadoop的关系
      • 6.1 互补关系
      • 6.2 职责分工
    • 七、Spark的优势总结
      • 7.1 核心优势
      • 7.2 性能对比数据
    • 八、总结

🌺The Begin🌺点点关注,收藏不迷路🌺

引言

Apache Spark是当今大数据领域最流行的基于内存的分布式计算引擎。它最初由加州大学伯克利分校的AMPLab开发,后来捐赠给Apache软件基金会。Spark的核心设计理念是将数据加载到内存中进行迭代计算,从而大幅提升大数据处理的实时性。

一、Spark的核心定位

1.1 Spark的本质

#mermaid-svg-v4l5WxyuHL1u1elm{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-v4l5WxyuHL1u1elm .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-v4l5WxyuHL1u1elm .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-v4l5WxyuHL1u1elm .error-icon{fill:#552222;}#mermaid-svg-v4l5WxyuHL1u1elm .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-v4l5WxyuHL1u1elm .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-v4l5WxyuHL1u1elm .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-v4l5WxyuHL1u1elm .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-v4l5WxyuHL1u1elm .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-v4l5WxyuHL1u1elm .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-v4l5WxyuHL1u1elm .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-v4l5WxyuHL1u1elm .marker{fill:#333333;stroke:#333333;}#mermaid-svg-v4l5WxyuHL1u1elm .marker.cross{stroke:#333333;}#mermaid-svg-v4l5WxyuHL1u1elm svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-v4l5WxyuHL1u1elm p{margin:0;}#mermaid-svg-v4l5WxyuHL1u1elm .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-v4l5WxyuHL1u1elm .cluster-label text{fill:#333;}#mermaid-svg-v4l5WxyuHL1u1elm .cluster-label span{color:#333;}#mermaid-svg-v4l5WxyuHL1u1elm .cluster-label span p{background-color:transparent;}#mermaid-svg-v4l5WxyuHL1u1elm .label text,#mermaid-svg-v4l5WxyuHL1u1elm span{fill:#333;color:#333;}#mermaid-svg-v4l5WxyuHL1u1elm .node rect,#mermaid-svg-v4l5WxyuHL1u1elm .node circle,#mermaid-svg-v4l5WxyuHL1u1elm .node ellipse,#mermaid-svg-v4l5WxyuHL1u1elm .node polygon,#mermaid-svg-v4l5WxyuHL1u1elm .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-v4l5WxyuHL1u1elm .rough-node .label text,#mermaid-svg-v4l5WxyuHL1u1elm .node .label text,#mermaid-svg-v4l5WxyuHL1u1elm .image-shape .label,#mermaid-svg-v4l5WxyuHL1u1elm .icon-shape .label{text-anchor:middle;}#mermaid-svg-v4l5WxyuHL1u1elm .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-v4l5WxyuHL1u1elm .rough-node .label,#mermaid-svg-v4l5WxyuHL1u1elm .node .label,#mermaid-svg-v4l5WxyuHL1u1elm .image-shape .label,#mermaid-svg-v4l5WxyuHL1u1elm .icon-shape .label{text-align:center;}#mermaid-svg-v4l5WxyuHL1u1elm .node.clickable{cursor:pointer;}#mermaid-svg-v4l5WxyuHL1u1elm .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-v4l5WxyuHL1u1elm .arrowheadPath{fill:#333333;}#mermaid-svg-v4l5WxyuHL1u1elm .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-v4l5WxyuHL1u1elm .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-v4l5WxyuHL1u1elm .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-v4l5WxyuHL1u1elm .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-v4l5WxyuHL1u1elm .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-v4l5WxyuHL1u1elm .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-v4l5WxyuHL1u1elm .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-v4l5WxyuHL1u1elm .cluster text{fill:#333;}#mermaid-svg-v4l5WxyuHL1u1elm .cluster span{color:#333;}#mermaid-svg-v4l5WxyuHL1u1elm div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-v4l5WxyuHL1u1elm .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-v4l5WxyuHL1u1elm rect.text{fill:none;stroke-width:0;}#mermaid-svg-v4l5WxyuHL1u1elm .icon-shape,#mermaid-svg-v4l5WxyuHL1u1elm .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-v4l5WxyuHL1u1elm .icon-shape p,#mermaid-svg-v4l5WxyuHL1u1elm .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-v4l5WxyuHL1u1elm .icon-shape rect,#mermaid-svg-v4l5WxyuHL1u1elm .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-v4l5WxyuHL1u1elm .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-v4l5WxyuHL1u1elm .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-v4l5WxyuHL1u1elm :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

大数据生态系统

数据处理层

Spark基于内存计算

MapReduce基于磁盘计算

数据存储层HDFS/S3/HBase

数据处理层

数据分析层机器学习/SQL

1.2 你的理解验证

“基于内存计算的数据分析引擎,提高在大数据环境下数据处理的实时性,Spark仅涉及数据计算”

✅ 基本正确,但需要补充:

你的描述准确性补充说明
基于内存计算 ✅ 准确 Spark优先使用内存计算
数据分析引擎 ✅ 准确 提供SQL、MLlib等分析库
提高实时性 ✅ 准确 比MapReduce快10-100倍
仅涉及数据计算 ⚠️ 部分准确 Spark不存储数据,但可读/写各类存储

二、Spark与MapReduce的对比

2.1 核心差异

特性SparkMapReduce
计算模式 基于内存 基于磁盘
中间结果 可缓存在内存 必须写入磁盘
迭代计算 高效(内存复用) 低效(多次磁盘IO)
延迟 低(秒级) 高(分钟级)
API 丰富(Java/Scala/Python/R) 相对单一
实时性 支持流处理 仅批处理

2.2 性能对比

#mermaid-svg-QRcaqs5ihjtTYAh9{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-QRcaqs5ihjtTYAh9 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-QRcaqs5ihjtTYAh9 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-QRcaqs5ihjtTYAh9 .error-icon{fill:#552222;}#mermaid-svg-QRcaqs5ihjtTYAh9 .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-QRcaqs5ihjtTYAh9 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-QRcaqs5ihjtTYAh9 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-QRcaqs5ihjtTYAh9 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-QRcaqs5ihjtTYAh9 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-QRcaqs5ihjtTYAh9 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-QRcaqs5ihjtTYAh9 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-QRcaqs5ihjtTYAh9 .marker{fill:#333333;stroke:#333333;}#mermaid-svg-QRcaqs5ihjtTYAh9 .marker.cross{stroke:#333333;}#mermaid-svg-QRcaqs5ihjtTYAh9 svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-QRcaqs5ihjtTYAh9 p{margin:0;}#mermaid-svg-QRcaqs5ihjtTYAh9 .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-QRcaqs5ihjtTYAh9 .cluster-label text{fill:#333;}#mermaid-svg-QRcaqs5ihjtTYAh9 .cluster-label span{color:#333;}#mermaid-svg-QRcaqs5ihjtTYAh9 .cluster-label span p{background-color:transparent;}#mermaid-svg-QRcaqs5ihjtTYAh9 .label text,#mermaid-svg-QRcaqs5ihjtTYAh9 span{fill:#333;color:#333;}#mermaid-svg-QRcaqs5ihjtTYAh9 .node rect,#mermaid-svg-QRcaqs5ihjtTYAh9 .node circle,#mermaid-svg-QRcaqs5ihjtTYAh9 .node ellipse,#mermaid-svg-QRcaqs5ihjtTYAh9 .node polygon,#mermaid-svg-QRcaqs5ihjtTYAh9 .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-QRcaqs5ihjtTYAh9 .rough-node .label text,#mermaid-svg-QRcaqs5ihjtTYAh9 .node .label text,#mermaid-svg-QRcaqs5ihjtTYAh9 .image-shape .label,#mermaid-svg-QRcaqs5ihjtTYAh9 .icon-shape .label{text-anchor:middle;}#mermaid-svg-QRcaqs5ihjtTYAh9 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-QRcaqs5ihjtTYAh9 .rough-node .label,#mermaid-svg-QRcaqs5ihjtTYAh9 .node .label,#mermaid-svg-QRcaqs5ihjtTYAh9 .image-shape .label,#mermaid-svg-QRcaqs5ihjtTYAh9 .icon-shape .label{text-align:center;}#mermaid-svg-QRcaqs5ihjtTYAh9 .node.clickable{cursor:pointer;}#mermaid-svg-QRcaqs5ihjtTYAh9 .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-QRcaqs5ihjtTYAh9 .arrowheadPath{fill:#333333;}#mermaid-svg-QRcaqs5ihjtTYAh9 .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-QRcaqs5ihjtTYAh9 .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-QRcaqs5ihjtTYAh9 .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-QRcaqs5ihjtTYAh9 .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-QRcaqs5ihjtTYAh9 .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-QRcaqs5ihjtTYAh9 .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-QRcaqs5ihjtTYAh9 .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-QRcaqs5ihjtTYAh9 .cluster text{fill:#333;}#mermaid-svg-QRcaqs5ihjtTYAh9 .cluster span{color:#333;}#mermaid-svg-QRcaqs5ihjtTYAh9 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-QRcaqs5ihjtTYAh9 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-QRcaqs5ihjtTYAh9 rect.text{fill:none;stroke-width:0;}#mermaid-svg-QRcaqs5ihjtTYAh9 .icon-shape,#mermaid-svg-QRcaqs5ihjtTYAh9 .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-QRcaqs5ihjtTYAh9 .icon-shape p,#mermaid-svg-QRcaqs5ihjtTYAh9 .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-QRcaqs5ihjtTYAh9 .icon-shape rect,#mermaid-svg-QRcaqs5ihjtTYAh9 .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-QRcaqs5ihjtTYAh9 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-QRcaqs5ihjtTYAh9 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-QRcaqs5ihjtTYAh9 :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

迭代算法对比

MapReduce每次迭代写磁盘

10分钟×10次

Spark内存复用

2分钟×10次

WordCount性能对比

MapReduce磁盘IO

110秒

Spark内存计算

23秒

三、Spark的核心组件

3.1 组件架构图

#mermaid-svg-MYWKVMZacW6vFYin{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-MYWKVMZacW6vFYin .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-MYWKVMZacW6vFYin .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-MYWKVMZacW6vFYin .error-icon{fill:#552222;}#mermaid-svg-MYWKVMZacW6vFYin .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-MYWKVMZacW6vFYin .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-MYWKVMZacW6vFYin .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-MYWKVMZacW6vFYin .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-MYWKVMZacW6vFYin .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-MYWKVMZacW6vFYin .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-MYWKVMZacW6vFYin .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-MYWKVMZacW6vFYin .marker{fill:#333333;stroke:#333333;}#mermaid-svg-MYWKVMZacW6vFYin .marker.cross{stroke:#333333;}#mermaid-svg-MYWKVMZacW6vFYin svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-MYWKVMZacW6vFYin p{margin:0;}#mermaid-svg-MYWKVMZacW6vFYin .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-MYWKVMZacW6vFYin .cluster-label text{fill:#333;}#mermaid-svg-MYWKVMZacW6vFYin .cluster-label span{color:#333;}#mermaid-svg-MYWKVMZacW6vFYin .cluster-label span p{background-color:transparent;}#mermaid-svg-MYWKVMZacW6vFYin .label text,#mermaid-svg-MYWKVMZacW6vFYin span{fill:#333;color:#333;}#mermaid-svg-MYWKVMZacW6vFYin .node rect,#mermaid-svg-MYWKVMZacW6vFYin .node circle,#mermaid-svg-MYWKVMZacW6vFYin .node ellipse,#mermaid-svg-MYWKVMZacW6vFYin .node polygon,#mermaid-svg-MYWKVMZacW6vFYin .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-MYWKVMZacW6vFYin .rough-node .label text,#mermaid-svg-MYWKVMZacW6vFYin .node .label text,#mermaid-svg-MYWKVMZacW6vFYin .image-shape .label,#mermaid-svg-MYWKVMZacW6vFYin .icon-shape .label{text-anchor:middle;}#mermaid-svg-MYWKVMZacW6vFYin .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-MYWKVMZacW6vFYin .rough-node .label,#mermaid-svg-MYWKVMZacW6vFYin .node .label,#mermaid-svg-MYWKVMZacW6vFYin .image-shape .label,#mermaid-svg-MYWKVMZacW6vFYin .icon-shape .label{text-align:center;}#mermaid-svg-MYWKVMZacW6vFYin .node.clickable{cursor:pointer;}#mermaid-svg-MYWKVMZacW6vFYin .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-MYWKVMZacW6vFYin .arrowheadPath{fill:#333333;}#mermaid-svg-MYWKVMZacW6vFYin .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-MYWKVMZacW6vFYin .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-MYWKVMZacW6vFYin .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-MYWKVMZacW6vFYin .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-MYWKVMZacW6vFYin .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-MYWKVMZacW6vFYin .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-MYWKVMZacW6vFYin .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-MYWKVMZacW6vFYin .cluster text{fill:#333;}#mermaid-svg-MYWKVMZacW6vFYin .cluster span{color:#333;}#mermaid-svg-MYWKVMZacW6vFYin div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-MYWKVMZacW6vFYin .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-MYWKVMZacW6vFYin rect.text{fill:none;stroke-width:0;}#mermaid-svg-MYWKVMZacW6vFYin .icon-shape,#mermaid-svg-MYWKVMZacW6vFYin .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-MYWKVMZacW6vFYin .icon-shape p,#mermaid-svg-MYWKVMZacW6vFYin .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-MYWKVMZacW6vFYin .icon-shape rect,#mermaid-svg-MYWKVMZacW6vFYin .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-MYWKVMZacW6vFYin .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-MYWKVMZacW6vFYin .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-MYWKVMZacW6vFYin :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

Spark生态系统

Spark Core核心计算引擎

Spark SQL结构化数据

Spark Streaming实时流处理

MLlib机器学习

GraphX图计算

集群管理器Standalone/YARN/K8s/Mesos

数据源HDFS/S3/HBase/Cassandra

3.2 各组件功能

组件功能适用场景
Spark Core 基础计算引擎,RDD API 所有Spark应用的基础
Spark SQL 结构化数据处理 数据仓库、ETL
Spark Streaming 实时流处理 实时监控、实时分析
MLlib 机器学习库 预测、分类、聚类
GraphX 图计算 社交网络分析、推荐系统

四、Spark的工作原理

4.1 计算流程

#mermaid-svg-dxka6RSQpitZkm6h{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-dxka6RSQpitZkm6h .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-dxka6RSQpitZkm6h .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-dxka6RSQpitZkm6h .error-icon{fill:#552222;}#mermaid-svg-dxka6RSQpitZkm6h .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-dxka6RSQpitZkm6h .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-dxka6RSQpitZkm6h .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-dxka6RSQpitZkm6h .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-dxka6RSQpitZkm6h .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-dxka6RSQpitZkm6h .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-dxka6RSQpitZkm6h .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-dxka6RSQpitZkm6h .marker{fill:#333333;stroke:#333333;}#mermaid-svg-dxka6RSQpitZkm6h .marker.cross{stroke:#333333;}#mermaid-svg-dxka6RSQpitZkm6h svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-dxka6RSQpitZkm6h p{margin:0;}#mermaid-svg-dxka6RSQpitZkm6h .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-dxka6RSQpitZkm6h .cluster-label text{fill:#333;}#mermaid-svg-dxka6RSQpitZkm6h .cluster-label span{color:#333;}#mermaid-svg-dxka6RSQpitZkm6h .cluster-label span p{background-color:transparent;}#mermaid-svg-dxka6RSQpitZkm6h .label text,#mermaid-svg-dxka6RSQpitZkm6h span{fill:#333;color:#333;}#mermaid-svg-dxka6RSQpitZkm6h .node rect,#mermaid-svg-dxka6RSQpitZkm6h .node circle,#mermaid-svg-dxka6RSQpitZkm6h .node ellipse,#mermaid-svg-dxka6RSQpitZkm6h .node polygon,#mermaid-svg-dxka6RSQpitZkm6h .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-dxka6RSQpitZkm6h .rough-node .label text,#mermaid-svg-dxka6RSQpitZkm6h .node .label text,#mermaid-svg-dxka6RSQpitZkm6h .image-shape .label,#mermaid-svg-dxka6RSQpitZkm6h .icon-shape .label{text-anchor:middle;}#mermaid-svg-dxka6RSQpitZkm6h .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-dxka6RSQpitZkm6h .rough-node .label,#mermaid-svg-dxka6RSQpitZkm6h .node .label,#mermaid-svg-dxka6RSQpitZkm6h .image-shape .label,#mermaid-svg-dxka6RSQpitZkm6h .icon-shape .label{text-align:center;}#mermaid-svg-dxka6RSQpitZkm6h .node.clickable{cursor:pointer;}#mermaid-svg-dxka6RSQpitZkm6h .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-dxka6RSQpitZkm6h .arrowheadPath{fill:#333333;}#mermaid-svg-dxka6RSQpitZkm6h .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-dxka6RSQpitZkm6h .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-dxka6RSQpitZkm6h .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-dxka6RSQpitZkm6h .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-dxka6RSQpitZkm6h .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-dxka6RSQpitZkm6h .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-dxka6RSQpitZkm6h .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-dxka6RSQpitZkm6h .cluster text{fill:#333;}#mermaid-svg-dxka6RSQpitZkm6h .cluster span{color:#333;}#mermaid-svg-dxka6RSQpitZkm6h div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-dxka6RSQpitZkm6h .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-dxka6RSQpitZkm6h rect.text{fill:none;stroke-width:0;}#mermaid-svg-dxka6RSQpitZkm6h .icon-shape,#mermaid-svg-dxka6RSQpitZkm6h .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-dxka6RSQpitZkm6h .icon-shape p,#mermaid-svg-dxka6RSQpitZkm6h .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-dxka6RSQpitZkm6h .icon-shape rect,#mermaid-svg-dxka6RSQpitZkm6h .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-dxka6RSQpitZkm6h .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-dxka6RSQpitZkm6h .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-dxka6RSQpitZkm6h :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

输入数据HDFS/本地

SparkContext创建RDD

Transformation转换操作

Action行动操作

DAGScheduler划分Stage

TaskScheduler分配任务

Executor执行任务

结果输出

4.2 内存计算的优势

// MapReduce方式:每次操作都要写磁盘
// Job1: 读取HDFS -> 处理 -> 写回HDFS
// Job2: 读取HDFS -> 处理 -> 写回HDFS

// Spark方式:数据可以驻留内存
JavaRDD<String> lines = sc.textFile("hdfs://data.txt");
JavaRDD<String> words = lines.flatMap(...); // 内存中
JavaPairRDD<String, Integer> pairs = words.mapToPair(...); // 内存中
JavaPairRDD<String, Integer> counts = pairs.reduceByKey(...); // 内存中
counts.saveAsTextFile("hdfs://output"); // 最终写磁盘

五、Spark的应用场景

5.1 场景分类

场景类型具体应用使用组件实时性要求
批处理 日志分析、ETL Spark Core, SQL 分钟级
流处理 实时监控、风控 Spark Streaming 秒级
机器学习 推荐系统、用户画像 MLlib 小时级
交互查询 BI报表、数据探索 Spark SQL 秒级
图计算 社交网络、路径分析 GraphX 分钟级

5.2 典型应用示例

// 1. 实时流处理(滴滴订单监控)
val stream = SparkStreamingContext.getOrCreate(checkpointDir)
val orders = KafkaUtils.createDirectStream(...)
orders.map(record => (record.city, 1))
.reduceByKeyAndWindow(_ + _, Minutes(5))
.foreachRDD { rdd =>
// 实时展示各城市订单量
rdd.saveToMySQL("realtime_stats")
}

// 2. 机器学习(用户画像)
val userData = spark.sql("SELECT * FROM users")
val trainingData = userData.select("age", "gender", "purchase_history")
val model = new LogisticRegression().fit(trainingData)
model.save("hdfs://models/user_portrait")

// 3. SQL交互查询
spark.sql("""
SELECT city, COUNT(*) as order_count, SUM(amount) as total_amount
FROM orders
WHERE order_date = '2024-01-01'
GROUP BY city
"""
).show()

六、Spark与Hadoop的关系

6.1 互补关系

#mermaid-svg-g36GNwUiXfQC0dO2{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-g36GNwUiXfQC0dO2 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-g36GNwUiXfQC0dO2 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-g36GNwUiXfQC0dO2 .error-icon{fill:#552222;}#mermaid-svg-g36GNwUiXfQC0dO2 .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-g36GNwUiXfQC0dO2 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-g36GNwUiXfQC0dO2 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-g36GNwUiXfQC0dO2 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-g36GNwUiXfQC0dO2 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-g36GNwUiXfQC0dO2 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-g36GNwUiXfQC0dO2 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-g36GNwUiXfQC0dO2 .marker{fill:#333333;stroke:#333333;}#mermaid-svg-g36GNwUiXfQC0dO2 .marker.cross{stroke:#333333;}#mermaid-svg-g36GNwUiXfQC0dO2 svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-g36GNwUiXfQC0dO2 p{margin:0;}#mermaid-svg-g36GNwUiXfQC0dO2 .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-g36GNwUiXfQC0dO2 .cluster-label text{fill:#333;}#mermaid-svg-g36GNwUiXfQC0dO2 .cluster-label span{color:#333;}#mermaid-svg-g36GNwUiXfQC0dO2 .cluster-label span p{background-color:transparent;}#mermaid-svg-g36GNwUiXfQC0dO2 .label text,#mermaid-svg-g36GNwUiXfQC0dO2 span{fill:#333;color:#333;}#mermaid-svg-g36GNwUiXfQC0dO2 .node rect,#mermaid-svg-g36GNwUiXfQC0dO2 .node circle,#mermaid-svg-g36GNwUiXfQC0dO2 .node ellipse,#mermaid-svg-g36GNwUiXfQC0dO2 .node polygon,#mermaid-svg-g36GNwUiXfQC0dO2 .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-g36GNwUiXfQC0dO2 .rough-node .label text,#mermaid-svg-g36GNwUiXfQC0dO2 .node .label text,#mermaid-svg-g36GNwUiXfQC0dO2 .image-shape .label,#mermaid-svg-g36GNwUiXfQC0dO2 .icon-shape .label{text-anchor:middle;}#mermaid-svg-g36GNwUiXfQC0dO2 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-g36GNwUiXfQC0dO2 .rough-node .label,#mermaid-svg-g36GNwUiXfQC0dO2 .node .label,#mermaid-svg-g36GNwUiXfQC0dO2 .image-shape .label,#mermaid-svg-g36GNwUiXfQC0dO2 .icon-shape .label{text-align:center;}#mermaid-svg-g36GNwUiXfQC0dO2 .node.clickable{cursor:pointer;}#mermaid-svg-g36GNwUiXfQC0dO2 .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-g36GNwUiXfQC0dO2 .arrowheadPath{fill:#333333;}#mermaid-svg-g36GNwUiXfQC0dO2 .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-g36GNwUiXfQC0dO2 .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-g36GNwUiXfQC0dO2 .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-g36GNwUiXfQC0dO2 .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-g36GNwUiXfQC0dO2 .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-g36GNwUiXfQC0dO2 .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-g36GNwUiXfQC0dO2 .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-g36GNwUiXfQC0dO2 .cluster text{fill:#333;}#mermaid-svg-g36GNwUiXfQC0dO2 .cluster span{color:#333;}#mermaid-svg-g36GNwUiXfQC0dO2 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-g36GNwUiXfQC0dO2 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-g36GNwUiXfQC0dO2 rect.text{fill:none;stroke-width:0;}#mermaid-svg-g36GNwUiXfQC0dO2 .icon-shape,#mermaid-svg-g36GNwUiXfQC0dO2 .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-g36GNwUiXfQC0dO2 .icon-shape p,#mermaid-svg-g36GNwUiXfQC0dO2 .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-g36GNwUiXfQC0dO2 .icon-shape rect,#mermaid-svg-g36GNwUiXfQC0dO2 .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-g36GNwUiXfQC0dO2 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-g36GNwUiXfQC0dO2 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-g36GNwUiXfQC0dO2 :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

Spark

Hadoop生态系统

HDFS数据存储

YARN资源管理

Spark Core计算引擎

Spark SQL

Streaming

6.2 职责分工

组件所属系统职责
HDFS Hadoop 分布式存储
YARN Hadoop 资源管理
Spark Spark 数据计算
HBase Hadoop NoSQL数据库

七、Spark的优势总结

7.1 核心优势

优势说明对比MapReduce
速度快 内存计算,减少磁盘IO 快10-100倍
易用性 丰富的高级API 代码量减少2-5倍
通用性 一站式解决方案 需要组合多个工具
兼容性 运行在任何Hadoop集群上 完全兼容

7.2 性能对比数据

# 100TB数据排序测试
MapReduce: 72分钟
Spark: 23分钟
提升: 3.1倍

# 迭代机器学习算法
MapReduce: 每次迭代写磁盘
Spark: 内存复用
提升: 10-100倍

八、总结

维度说明
核心定义 基于内存的分布式计算引擎
设计理念 将数据加载到内存进行迭代计算
主要优势 速度快、易用、通用、兼容
适用范围 批处理、流处理、机器学习、SQL、图计算
与Hadoop关系 计算引擎 vs 存储系统,互补关系
你的理解 ✅ 基本正确,补充了存储层概念

一句话总结:Spark是一个基于内存的通用分布式计算引擎,它不存储数据(依赖HDFS等存储系统),但能极快地处理数据,在大数据领域已成为事实标准的计算框架。

在这里插入图片描述

🌺The End🌺点点关注,收藏不迷路🌺

赞(0)
未经允许不得转载:171主机测评 » Apache Spark全面解析:基于内存的分布式计算引擎
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址