欢迎光临
我们一直在努力

Spark 4.0 升级后 MemoryStream 找不到——包路径迁移到 streaming.runtime

从 Spark 3.5 升到 4.0 时,结构化流的单元测试会先崩在编译阶段:MemoryStream 这个类消失了。它不是被删除也不是被废弃,只是被搬到了另一个包里。

问题现象

编译报错:

error: cannot find symbol
import org.apache.spark.sql.execution.streaming.MemoryStream;

error: cannot find symbol
MemoryStream inputStream =

出错代码(Java 侧调用 Scala 类):

SQLContext spark = TestSparkUtils.getSparkSession().sqlContext

赞(0)
未经允许不得转载:171主机测评 » Spark 4.0 升级后 MemoryStream 找不到——包路径迁移到 streaming.runtime
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址