Skip to content

对spark-submit上传jar的疑问 #58

Description

@wloverine

在Spark部署模式与作业提交.md一文中提到的:

需要注意的是:在集群环境下,application-jar 必须能被集群中所有节点都能访问,可以是 HDFS 上的路径;也可以是本地文件系统路> 径,如果是本地文件系统路径,则要求集群中每一个机器节点上的相同路径都存在该 Jar 包。

如果application-jar指定的是本地文件系统路径,那么spark会不会自动分发jar到每一台机器上。我在跑spark任务的时候,都是把jar上传到一台机器上就可以跑了,所以看到这里不免疑问。

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions