PyCharm链接虚拟机的spark

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

• 前言
• 第一步：打开虚拟机进入Ubuntu系统
• • 1.检查网络环境
  • 2.启动ssh
• 第二步：打开pycharm
• • 1.添加虚拟机中的python解释器
  • 2.添加spark的运行路径
• 第三步：测试

前言

这个教程是基于云计算与大数据课安装软件记录这篇博客的安装基础上进行的后续链接。目的是用pycharm链接虚拟机，在pycharm中用虚拟机里面的python解释器，编写spark相关代码。

`

第一步：打开虚拟机进入Ubuntu系统

1.检查网络环境

打开终端输入代码查看虚拟机网络状态

ip a

如果虚拟机网卡没激活，看不到ip地址就用下面两行代码

sudo ip link set ens33 up
sudo dhclient ens33

输入后再次查看网络 可以看到有ip地址192.168.64.128，这个等会链接pycharm的时候会用到

2.启动ssh

输入sudo systemctl start ssh启动ssh服务

第二步：打开pycharm

1.添加虚拟机中的python解释器

pycharm一定要用pro版本，这个版本才有ssh远程连接功能，右下角点击添加基础ssh的解释器 点击过后

主机：就填之前虚拟机查询到的地址，端口号默认，用户名是虚拟机里面的用户名 填写开机虚拟机的密码 等待，然后下一步 他会默认加载你的虚拟机中的python解释器，这里直接点创建

2.添加spark的运行路径

现在pycharm已经知道虚拟机中的python解释器在什么路径下了，但pycharm不清楚spark的路径在哪，所以我们需要在解释器设置中添加spark的路径 打开解释器设置： 点击全部显示 再点击显示解释器路径 需要添加两个路径，这个需要根据你的spark在虚拟机中的具体安装路径而定，到此你就成功用pycharm链接虚拟机并且可以远程写代码了。

第三步：测试

from pyspark.sql import SparkSession

if __name__ == '__main__':
# 创建SparkSession（local[*]表示使用所有CPU核心，本地模式运行）
spark = SparkSession.builder \\
.master("local[*]") \\
.appName("PyCharm-Spark-Demo") \\
.getOrCreate()

# 测试：创建DataFrame并打印
data = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]
df = spark.createDataFrame(data, ["name", "age"])
df.show()

# 停止SparkSession
spark.stop()

可以看到成功输出