Spark 源码 | Yarn Client 模式提交流程（五）

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun

前言

在第四篇文章 SparkContext 初始化与 TaskScheduler 创建流程（四） 中，我们分析了 SparkContext 初始化和 TaskScheduler 创建流程。本文详细介绍 Yarn Client 模式的提交流程。

版本

Spark 3.2.3

Yarn Client 模式概述

Yarn Client 模式下，Driver 运行在提交应用的客户端机器上，直接与 YARN ResourceManager 通信申请资源，Executor 运行在 YARN 的 NodeManager 节点上。

什么是 Driver？Driver 为什么运行在客户端？

在 Spark 中，Driver 并不对应某个单独的类或对象，而是一个运行时角色——用户主类的 main 方法在哪里执行，Driver 就在哪里