java.io.FileNotFoundException

出现错误:

Exception in thread “main” java.io.FileNotFoundException:
file:/home/yunya/data/dbl_data/param/queries/query.txt (No such file or directory)

解决方案

首先是通过搜索得到的答案:
由spark的源码源码的注释可以知道,spark可以读取本地数据文件,但是需要在所有的节点都有这个数据文件(亲测,在有三个节点的集群中,只在master中有这个数据文件时执行textFile方法一直报找不到文件,
在另外两个work中复制这个文件之后,就可以读取文件了)
sc.textFile(“file:///root/wc/sparkInput”)
在idea中读取本地文件是由于本地环境中有hadoop的环境变量.在集群中如果需要加载本地的文件还不如传到hdfs上,然后从hdfs中读取数据.
(spark用的是1.6.1)

我发现这样读取文件还是会出现找不到的错误,于是用scp命令将相应的文件/文件夹传到slaves节点,解决了这个问题。