windows – 在运行spark-shell之前编辑spark-env.sh的正确方法是

我在我的本地 Windows机器上运行spark.我能够成功启动spark shell.

我想编辑驻留在conf /文件夹中的spark-env.sh文件.将值添加到spark-env.sh文件的正确方法是什么.

E.g如果我想为SPARK_EXECUTOR_MEMORY变量添加值怎么做？
我对可用的不同答案感到困惑
1. SPARK_EXECUTOR_MEMORY =“2G”
出口

解决方法

在Windows上,您需要在conf目录中有一个spark-env.cmd文件,而是使用以下语法：

set SPARK_EXECUTOR_MEMORY=2G

在Unix上,该文件将被称为spark-env.sh,您需要使用export预先发送每个属性(例如：export SPARK_EXECUTOR_MEMORY = 2G)

（编辑：PHP编程网 - 黄冈站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!