Apache Spark全面解析:基于内存的分布式计算引擎
-
- 引言
- 一、Spark的核心定位
-
- 1.1 Spark的本质
- 1.2 你的理解验证
- 二、Spark与MapReduce的对比
-
- 2.1 核心差异
- 2.2 性能对比
- 三、Spark的核心组件
-
- 3.1 组件架构图
- 3.2 各组件功能
- 四、Spark的工作原理
-
- 4.1 计算流程
- 4.2 内存计算的优势
- 五、Spark的应用场景
-
- 5.1 场景分类
- 5.2 典型应用示例
- 六、Spark与Hadoop的关系
-
- 6.1 互补关系
- 6.2 职责分工
- 七、Spark的优势总结
-
- 7.1 核心优势
- 7.2 性能对比数据
- 八、总结
|
🌺The Begin🌺点点关注,收藏不迷路🌺 |
引言
Apache Spark是当今大数据领域最流行的基于内存的分布式计算引擎。它最初由加州大学伯克利分校的AMPLab开发,后来捐赠给Apache软件基金会。Spark的核心设计理念是将数据加载到内存中进行迭代计算,从而大幅提升大数据处理的实时性。
一、Spark的核心定位
1.1 Spark的本质
#mermaid-svg-v4l5WxyuHL1u1elm{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-v4l5WxyuHL1u1elm .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-v4l5WxyuHL1u1elm .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-v4l5WxyuHL1u1elm .error-icon{fill:#552222;}#mermaid-svg-v4l5WxyuHL1u1elm .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-v4l5WxyuHL1u1elm .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-v4l5WxyuHL1u1elm .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-v4l5WxyuHL1u1elm .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-v4l5WxyuHL1u1elm .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-v4l5WxyuHL1u1elm .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-v4l5WxyuHL1u1elm .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-v4l5WxyuHL1u1elm .marker{fill:#333333;stroke:#333333;}#mermaid-svg-v4l5WxyuHL1u1elm .marker.cross{stroke:#333333;}#mermaid-svg-v4l5WxyuHL1u1elm svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-v4l5WxyuHL1u1elm p{margin:0;}#mermaid-svg-v4l5WxyuHL1u1elm .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-v4l5WxyuHL1u1elm .cluster-label text{fill:#333;}#mermaid-svg-v4l5WxyuHL1u1elm .cluster-label span{color:#333;}#mermaid-svg-v4l5WxyuHL1u1elm .cluster-label span p{background-color:transparent;}#mermaid-svg-v4l5WxyuHL1u1elm .label text,#mermaid-svg-v4l5WxyuHL1u1elm span{fill:#333;color:#333;}#mermaid-svg-v4l5WxyuHL1u1elm .node rect,#mermaid-svg-v4l5WxyuHL1u1elm .node circle,#mermaid-svg-v4l5WxyuHL1u1elm .node ellipse,#mermaid-svg-v4l5WxyuHL1u1elm .node polygon,#mermaid-svg-v4l5WxyuHL1u1elm .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-v4l5WxyuHL1u1elm .rough-node .label text,#mermaid-svg-v4l5WxyuHL1u1elm .node .label text,#mermaid-svg-v4l5WxyuHL1u1elm .image-shape .label,#mermaid-svg-v4l5WxyuHL1u1elm .icon-shape .label{text-anchor:middle;}#mermaid-svg-v4l5WxyuHL1u1elm .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-v4l5WxyuHL1u1elm .rough-node .label,#mermaid-svg-v4l5WxyuHL1u1elm .node .label,#mermaid-svg-v4l5WxyuHL1u1elm .image-shape .label,#mermaid-svg-v4l5WxyuHL1u1elm .icon-shape .label{text-align:center;}#mermaid-svg-v4l5WxyuHL1u1elm .node.clickable{cursor:pointer;}#mermaid-svg-v4l5WxyuHL1u1elm .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-v4l5WxyuHL1u1elm .arrowheadPath{fill:#333333;}#mermaid-svg-v4l5WxyuHL1u1elm .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-v4l5WxyuHL1u1elm .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-v4l5WxyuHL1u1elm .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-v4l5WxyuHL1u1elm .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-v4l5WxyuHL1u1elm .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-v4l5WxyuHL1u1elm .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-v4l5WxyuHL1u1elm .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-v4l5WxyuHL1u1elm .cluster text{fill:#333;}#mermaid-svg-v4l5WxyuHL1u1elm .cluster span{color:#333;}#mermaid-svg-v4l5WxyuHL1u1elm div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-v4l5WxyuHL1u1elm .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-v4l5WxyuHL1u1elm rect.text{fill:none;stroke-width:0;}#mermaid-svg-v4l5WxyuHL1u1elm .icon-shape,#mermaid-svg-v4l5WxyuHL1u1elm .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-v4l5WxyuHL1u1elm .icon-shape p,#mermaid-svg-v4l5WxyuHL1u1elm .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-v4l5WxyuHL1u1elm .icon-shape rect,#mermaid-svg-v4l5WxyuHL1u1elm .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-v4l5WxyuHL1u1elm .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-v4l5WxyuHL1u1elm .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-v4l5WxyuHL1u1elm :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}
大数据生态系统
数据处理层
Spark基于内存计算
MapReduce基于磁盘计算
数据存储层HDFS/S3/HBase
数据处理层
数据分析层机器学习/SQL
1.2 你的理解验证
“基于内存计算的数据分析引擎,提高在大数据环境下数据处理的实时性,Spark仅涉及数据计算”
✅ 基本正确,但需要补充:
| 基于内存计算 | ✅ 准确 | Spark优先使用内存计算 |
| 数据分析引擎 | ✅ 准确 | 提供SQL、MLlib等分析库 |
| 提高实时性 | ✅ 准确 | 比MapReduce快10-100倍 |
| 仅涉及数据计算 | ⚠️ 部分准确 | Spark不存储数据,但可读/写各类存储 |
二、Spark与MapReduce的对比
2.1 核心差异
| 计算模式 | 基于内存 | 基于磁盘 |
| 中间结果 | 可缓存在内存 | 必须写入磁盘 |
| 迭代计算 | 高效(内存复用) | 低效(多次磁盘IO) |
| 延迟 | 低(秒级) | 高(分钟级) |
| API | 丰富(Java/Scala/Python/R) | 相对单一 |
| 实时性 | 支持流处理 | 仅批处理 |
2.2 性能对比
#mermaid-svg-QRcaqs5ihjtTYAh9{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-QRcaqs5ihjtTYAh9 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-QRcaqs5ihjtTYAh9 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-QRcaqs5ihjtTYAh9 .error-icon{fill:#552222;}#mermaid-svg-QRcaqs5ihjtTYAh9 .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-QRcaqs5ihjtTYAh9 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-QRcaqs5ihjtTYAh9 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-QRcaqs5ihjtTYAh9 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-QRcaqs5ihjtTYAh9 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-QRcaqs5ihjtTYAh9 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-QRcaqs5ihjtTYAh9 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-QRcaqs5ihjtTYAh9 .marker{fill:#333333;stroke:#333333;}#mermaid-svg-QRcaqs5ihjtTYAh9 .marker.cross{stroke:#333333;}#mermaid-svg-QRcaqs5ihjtTYAh9 svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-QRcaqs5ihjtTYAh9 p{margin:0;}#mermaid-svg-QRcaqs5ihjtTYAh9 .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-QRcaqs5ihjtTYAh9 .cluster-label text{fill:#333;}#mermaid-svg-QRcaqs5ihjtTYAh9 .cluster-label span{color:#333;}#mermaid-svg-QRcaqs5ihjtTYAh9 .cluster-label span p{background-color:transparent;}#mermaid-svg-QRcaqs5ihjtTYAh9 .label text,#mermaid-svg-QRcaqs5ihjtTYAh9 span{fill:#333;color:#333;}#mermaid-svg-QRcaqs5ihjtTYAh9 .node rect,#mermaid-svg-QRcaqs5ihjtTYAh9 .node circle,#mermaid-svg-QRcaqs5ihjtTYAh9 .node ellipse,#mermaid-svg-QRcaqs5ihjtTYAh9 .node polygon,#mermaid-svg-QRcaqs5ihjtTYAh9 .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-QRcaqs5ihjtTYAh9 .rough-node .label text,#mermaid-svg-QRcaqs5ihjtTYAh9 .node .label text,#mermaid-svg-QRcaqs5ihjtTYAh9 .image-shape .label,#mermaid-svg-QRcaqs5ihjtTYAh9 .icon-shape .label{text-anchor:middle;}#mermaid-svg-QRcaqs5ihjtTYAh9 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-QRcaqs5ihjtTYAh9 .rough-node .label,#mermaid-svg-QRcaqs5ihjtTYAh9 .node .label,#mermaid-svg-QRcaqs5ihjtTYAh9 .image-shape .label,#mermaid-svg-QRcaqs5ihjtTYAh9 .icon-shape .label{text-align:center;}#mermaid-svg-QRcaqs5ihjtTYAh9 .node.clickable{cursor:pointer;}#mermaid-svg-QRcaqs5ihjtTYAh9 .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-QRcaqs5ihjtTYAh9 .arrowheadPath{fill:#333333;}#mermaid-svg-QRcaqs5ihjtTYAh9 .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-QRcaqs5ihjtTYAh9 .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-QRcaqs5ihjtTYAh9 .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-QRcaqs5ihjtTYAh9 .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-QRcaqs5ihjtTYAh9 .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-QRcaqs5ihjtTYAh9 .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-QRcaqs5ihjtTYAh9 .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-QRcaqs5ihjtTYAh9 .cluster text{fill:#333;}#mermaid-svg-QRcaqs5ihjtTYAh9 .cluster span{color:#333;}#mermaid-svg-QRcaqs5ihjtTYAh9 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-QRcaqs5ihjtTYAh9 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-QRcaqs5ihjtTYAh9 rect.text{fill:none;stroke-width:0;}#mermaid-svg-QRcaqs5ihjtTYAh9 .icon-shape,#mermaid-svg-QRcaqs5ihjtTYAh9 .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-QRcaqs5ihjtTYAh9 .icon-shape p,#mermaid-svg-QRcaqs5ihjtTYAh9 .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-QRcaqs5ihjtTYAh9 .icon-shape rect,#mermaid-svg-QRcaqs5ihjtTYAh9 .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-QRcaqs5ihjtTYAh9 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-QRcaqs5ihjtTYAh9 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-QRcaqs5ihjtTYAh9 :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}
迭代算法对比
MapReduce每次迭代写磁盘
10分钟×10次
Spark内存复用
2分钟×10次
WordCount性能对比
MapReduce磁盘IO
110秒
Spark内存计算
23秒
三、Spark的核心组件
3.1 组件架构图
#mermaid-svg-MYWKVMZacW6vFYin{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-MYWKVMZacW6vFYin .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-MYWKVMZacW6vFYin .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-MYWKVMZacW6vFYin .error-icon{fill:#552222;}#mermaid-svg-MYWKVMZacW6vFYin .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-MYWKVMZacW6vFYin .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-MYWKVMZacW6vFYin .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-MYWKVMZacW6vFYin .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-MYWKVMZacW6vFYin .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-MYWKVMZacW6vFYin .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-MYWKVMZacW6vFYin .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-MYWKVMZacW6vFYin .marker{fill:#333333;stroke:#333333;}#mermaid-svg-MYWKVMZacW6vFYin .marker.cross{stroke:#333333;}#mermaid-svg-MYWKVMZacW6vFYin svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-MYWKVMZacW6vFYin p{margin:0;}#mermaid-svg-MYWKVMZacW6vFYin .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-MYWKVMZacW6vFYin .cluster-label text{fill:#333;}#mermaid-svg-MYWKVMZacW6vFYin .cluster-label span{color:#333;}#mermaid-svg-MYWKVMZacW6vFYin .cluster-label span p{background-color:transparent;}#mermaid-svg-MYWKVMZacW6vFYin .label text,#mermaid-svg-MYWKVMZacW6vFYin span{fill:#333;color:#333;}#mermaid-svg-MYWKVMZacW6vFYin .node rect,#mermaid-svg-MYWKVMZacW6vFYin .node circle,#mermaid-svg-MYWKVMZacW6vFYin .node ellipse,#mermaid-svg-MYWKVMZacW6vFYin .node polygon,#mermaid-svg-MYWKVMZacW6vFYin .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-MYWKVMZacW6vFYin .rough-node .label text,#mermaid-svg-MYWKVMZacW6vFYin .node .label text,#mermaid-svg-MYWKVMZacW6vFYin .image-shape .label,#mermaid-svg-MYWKVMZacW6vFYin .icon-shape .label{text-anchor:middle;}#mermaid-svg-MYWKVMZacW6vFYin .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-MYWKVMZacW6vFYin .rough-node .label,#mermaid-svg-MYWKVMZacW6vFYin .node .label,#mermaid-svg-MYWKVMZacW6vFYin .image-shape .label,#mermaid-svg-MYWKVMZacW6vFYin .icon-shape .label{text-align:center;}#mermaid-svg-MYWKVMZacW6vFYin .node.clickable{cursor:pointer;}#mermaid-svg-MYWKVMZacW6vFYin .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-MYWKVMZacW6vFYin .arrowheadPath{fill:#333333;}#mermaid-svg-MYWKVMZacW6vFYin .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-MYWKVMZacW6vFYin .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-MYWKVMZacW6vFYin .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-MYWKVMZacW6vFYin .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-MYWKVMZacW6vFYin .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-MYWKVMZacW6vFYin .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-MYWKVMZacW6vFYin .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-MYWKVMZacW6vFYin .cluster text{fill:#333;}#mermaid-svg-MYWKVMZacW6vFYin .cluster span{color:#333;}#mermaid-svg-MYWKVMZacW6vFYin div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-MYWKVMZacW6vFYin .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-MYWKVMZacW6vFYin rect.text{fill:none;stroke-width:0;}#mermaid-svg-MYWKVMZacW6vFYin .icon-shape,#mermaid-svg-MYWKVMZacW6vFYin .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-MYWKVMZacW6vFYin .icon-shape p,#mermaid-svg-MYWKVMZacW6vFYin .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-MYWKVMZacW6vFYin .icon-shape rect,#mermaid-svg-MYWKVMZacW6vFYin .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-MYWKVMZacW6vFYin .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-MYWKVMZacW6vFYin .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-MYWKVMZacW6vFYin :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}
Spark生态系统
Spark Core核心计算引擎
Spark SQL结构化数据
Spark Streaming实时流处理
MLlib机器学习
GraphX图计算
集群管理器Standalone/YARN/K8s/Mesos
数据源HDFS/S3/HBase/Cassandra
3.2 各组件功能
| Spark Core | 基础计算引擎,RDD API | 所有Spark应用的基础 |
| Spark SQL | 结构化数据处理 | 数据仓库、ETL |
| Spark Streaming | 实时流处理 | 实时监控、实时分析 |
| MLlib | 机器学习库 | 预测、分类、聚类 |
| GraphX | 图计算 | 社交网络分析、推荐系统 |
四、Spark的工作原理
4.1 计算流程
#mermaid-svg-dxka6RSQpitZkm6h{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-dxka6RSQpitZkm6h .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-dxka6RSQpitZkm6h .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-dxka6RSQpitZkm6h .error-icon{fill:#552222;}#mermaid-svg-dxka6RSQpitZkm6h .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-dxka6RSQpitZkm6h .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-dxka6RSQpitZkm6h .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-dxka6RSQpitZkm6h .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-dxka6RSQpitZkm6h .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-dxka6RSQpitZkm6h .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-dxka6RSQpitZkm6h .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-dxka6RSQpitZkm6h .marker{fill:#333333;stroke:#333333;}#mermaid-svg-dxka6RSQpitZkm6h .marker.cross{stroke:#333333;}#mermaid-svg-dxka6RSQpitZkm6h svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-dxka6RSQpitZkm6h p{margin:0;}#mermaid-svg-dxka6RSQpitZkm6h .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-dxka6RSQpitZkm6h .cluster-label text{fill:#333;}#mermaid-svg-dxka6RSQpitZkm6h .cluster-label span{color:#333;}#mermaid-svg-dxka6RSQpitZkm6h .cluster-label span p{background-color:transparent;}#mermaid-svg-dxka6RSQpitZkm6h .label text,#mermaid-svg-dxka6RSQpitZkm6h span{fill:#333;color:#333;}#mermaid-svg-dxka6RSQpitZkm6h .node rect,#mermaid-svg-dxka6RSQpitZkm6h .node circle,#mermaid-svg-dxka6RSQpitZkm6h .node ellipse,#mermaid-svg-dxka6RSQpitZkm6h .node polygon,#mermaid-svg-dxka6RSQpitZkm6h .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-dxka6RSQpitZkm6h .rough-node .label text,#mermaid-svg-dxka6RSQpitZkm6h .node .label text,#mermaid-svg-dxka6RSQpitZkm6h .image-shape .label,#mermaid-svg-dxka6RSQpitZkm6h .icon-shape .label{text-anchor:middle;}#mermaid-svg-dxka6RSQpitZkm6h .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-dxka6RSQpitZkm6h .rough-node .label,#mermaid-svg-dxka6RSQpitZkm6h .node .label,#mermaid-svg-dxka6RSQpitZkm6h .image-shape .label,#mermaid-svg-dxka6RSQpitZkm6h .icon-shape .label{text-align:center;}#mermaid-svg-dxka6RSQpitZkm6h .node.clickable{cursor:pointer;}#mermaid-svg-dxka6RSQpitZkm6h .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-dxka6RSQpitZkm6h .arrowheadPath{fill:#333333;}#mermaid-svg-dxka6RSQpitZkm6h .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-dxka6RSQpitZkm6h .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-dxka6RSQpitZkm6h .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-dxka6RSQpitZkm6h .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-dxka6RSQpitZkm6h .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-dxka6RSQpitZkm6h .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-dxka6RSQpitZkm6h .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-dxka6RSQpitZkm6h .cluster text{fill:#333;}#mermaid-svg-dxka6RSQpitZkm6h .cluster span{color:#333;}#mermaid-svg-dxka6RSQpitZkm6h div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-dxka6RSQpitZkm6h .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-dxka6RSQpitZkm6h rect.text{fill:none;stroke-width:0;}#mermaid-svg-dxka6RSQpitZkm6h .icon-shape,#mermaid-svg-dxka6RSQpitZkm6h .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-dxka6RSQpitZkm6h .icon-shape p,#mermaid-svg-dxka6RSQpitZkm6h .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-dxka6RSQpitZkm6h .icon-shape rect,#mermaid-svg-dxka6RSQpitZkm6h .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-dxka6RSQpitZkm6h .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-dxka6RSQpitZkm6h .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-dxka6RSQpitZkm6h :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}
输入数据HDFS/本地
SparkContext创建RDD
Transformation转换操作
Action行动操作
DAGScheduler划分Stage
TaskScheduler分配任务
Executor执行任务
结果输出
4.2 内存计算的优势
// MapReduce方式:每次操作都要写磁盘
// Job1: 读取HDFS -> 处理 -> 写回HDFS
// Job2: 读取HDFS -> 处理 -> 写回HDFS
// Spark方式:数据可以驻留内存
JavaRDD<String> lines = sc.textFile("hdfs://data.txt");
JavaRDD<String> words = lines.flatMap(...); // 内存中
JavaPairRDD<String, Integer> pairs = words.mapToPair(...); // 内存中
JavaPairRDD<String, Integer> counts = pairs.reduceByKey(...); // 内存中
counts.saveAsTextFile("hdfs://output"); // 最终写磁盘
五、Spark的应用场景
5.1 场景分类
| 批处理 | 日志分析、ETL | Spark Core, SQL | 分钟级 |
| 流处理 | 实时监控、风控 | Spark Streaming | 秒级 |
| 机器学习 | 推荐系统、用户画像 | MLlib | 小时级 |
| 交互查询 | BI报表、数据探索 | Spark SQL | 秒级 |
| 图计算 | 社交网络、路径分析 | GraphX | 分钟级 |
5.2 典型应用示例
// 1. 实时流处理(滴滴订单监控)
val stream = SparkStreamingContext.getOrCreate(checkpointDir)
val orders = KafkaUtils.createDirectStream(...)
orders.map(record => (record.city, 1))
.reduceByKeyAndWindow(_ + _, Minutes(5))
.foreachRDD { rdd =>
// 实时展示各城市订单量
rdd.saveToMySQL("realtime_stats")
}
// 2. 机器学习(用户画像)
val userData = spark.sql("SELECT * FROM users")
val trainingData = userData.select("age", "gender", "purchase_history")
val model = new LogisticRegression().fit(trainingData)
model.save("hdfs://models/user_portrait")
// 3. SQL交互查询
spark.sql("""
SELECT city, COUNT(*) as order_count, SUM(amount) as total_amount
FROM orders
WHERE order_date = '2024-01-01'
GROUP BY city
""").show()
六、Spark与Hadoop的关系
6.1 互补关系
#mermaid-svg-g36GNwUiXfQC0dO2{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-g36GNwUiXfQC0dO2 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-g36GNwUiXfQC0dO2 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-g36GNwUiXfQC0dO2 .error-icon{fill:#552222;}#mermaid-svg-g36GNwUiXfQC0dO2 .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-g36GNwUiXfQC0dO2 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-g36GNwUiXfQC0dO2 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-g36GNwUiXfQC0dO2 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-g36GNwUiXfQC0dO2 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-g36GNwUiXfQC0dO2 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-g36GNwUiXfQC0dO2 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-g36GNwUiXfQC0dO2 .marker{fill:#333333;stroke:#333333;}#mermaid-svg-g36GNwUiXfQC0dO2 .marker.cross{stroke:#333333;}#mermaid-svg-g36GNwUiXfQC0dO2 svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-g36GNwUiXfQC0dO2 p{margin:0;}#mermaid-svg-g36GNwUiXfQC0dO2 .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-g36GNwUiXfQC0dO2 .cluster-label text{fill:#333;}#mermaid-svg-g36GNwUiXfQC0dO2 .cluster-label span{color:#333;}#mermaid-svg-g36GNwUiXfQC0dO2 .cluster-label span p{background-color:transparent;}#mermaid-svg-g36GNwUiXfQC0dO2 .label text,#mermaid-svg-g36GNwUiXfQC0dO2 span{fill:#333;color:#333;}#mermaid-svg-g36GNwUiXfQC0dO2 .node rect,#mermaid-svg-g36GNwUiXfQC0dO2 .node circle,#mermaid-svg-g36GNwUiXfQC0dO2 .node ellipse,#mermaid-svg-g36GNwUiXfQC0dO2 .node polygon,#mermaid-svg-g36GNwUiXfQC0dO2 .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-g36GNwUiXfQC0dO2 .rough-node .label text,#mermaid-svg-g36GNwUiXfQC0dO2 .node .label text,#mermaid-svg-g36GNwUiXfQC0dO2 .image-shape .label,#mermaid-svg-g36GNwUiXfQC0dO2 .icon-shape .label{text-anchor:middle;}#mermaid-svg-g36GNwUiXfQC0dO2 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-g36GNwUiXfQC0dO2 .rough-node .label,#mermaid-svg-g36GNwUiXfQC0dO2 .node .label,#mermaid-svg-g36GNwUiXfQC0dO2 .image-shape .label,#mermaid-svg-g36GNwUiXfQC0dO2 .icon-shape .label{text-align:center;}#mermaid-svg-g36GNwUiXfQC0dO2 .node.clickable{cursor:pointer;}#mermaid-svg-g36GNwUiXfQC0dO2 .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-g36GNwUiXfQC0dO2 .arrowheadPath{fill:#333333;}#mermaid-svg-g36GNwUiXfQC0dO2 .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-g36GNwUiXfQC0dO2 .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-g36GNwUiXfQC0dO2 .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-g36GNwUiXfQC0dO2 .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-g36GNwUiXfQC0dO2 .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-g36GNwUiXfQC0dO2 .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-g36GNwUiXfQC0dO2 .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-g36GNwUiXfQC0dO2 .cluster text{fill:#333;}#mermaid-svg-g36GNwUiXfQC0dO2 .cluster span{color:#333;}#mermaid-svg-g36GNwUiXfQC0dO2 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-g36GNwUiXfQC0dO2 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-g36GNwUiXfQC0dO2 rect.text{fill:none;stroke-width:0;}#mermaid-svg-g36GNwUiXfQC0dO2 .icon-shape,#mermaid-svg-g36GNwUiXfQC0dO2 .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-g36GNwUiXfQC0dO2 .icon-shape p,#mermaid-svg-g36GNwUiXfQC0dO2 .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-g36GNwUiXfQC0dO2 .icon-shape rect,#mermaid-svg-g36GNwUiXfQC0dO2 .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-g36GNwUiXfQC0dO2 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-g36GNwUiXfQC0dO2 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-g36GNwUiXfQC0dO2 :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}
Spark
Hadoop生态系统
HDFS数据存储
YARN资源管理
Spark Core计算引擎
Spark SQL
Streaming
6.2 职责分工
| HDFS | Hadoop | 分布式存储 |
| YARN | Hadoop | 资源管理 |
| Spark | Spark | 数据计算 |
| HBase | Hadoop | NoSQL数据库 |
七、Spark的优势总结
7.1 核心优势
| 速度快 | 内存计算,减少磁盘IO | 快10-100倍 |
| 易用性 | 丰富的高级API | 代码量减少2-5倍 |
| 通用性 | 一站式解决方案 | 需要组合多个工具 |
| 兼容性 | 运行在任何Hadoop集群上 | 完全兼容 |
7.2 性能对比数据
# 100TB数据排序测试
MapReduce: 72分钟
Spark: 23分钟
提升: 3.1倍
# 迭代机器学习算法
MapReduce: 每次迭代写磁盘
Spark: 内存复用
提升: 10-100倍
八、总结
| 核心定义 | 基于内存的分布式计算引擎 |
| 设计理念 | 将数据加载到内存进行迭代计算 |
| 主要优势 | 速度快、易用、通用、兼容 |
| 适用范围 | 批处理、流处理、机器学习、SQL、图计算 |
| 与Hadoop关系 | 计算引擎 vs 存储系统,互补关系 |
| 你的理解 | ✅ 基本正确,补充了存储层概念 |
一句话总结:Spark是一个基于内存的通用分布式计算引擎,它不存储数据(依赖HDFS等存储系统),但能极快地处理数据,在大数据领域已成为事实标准的计算框架。

|
🌺The End🌺点点关注,收藏不迷路🌺 |


