CombineFileInputFormat问题

遇到CombineFileInputFormat问题应该怎么办呢, 下面就是演示遇到CombineFileInputFormat问题怎么处理的东西! 大家仔细看!
 
在Eclipse调试第二题代码时遇到如下问题:

在Eclipse中开发运行总是遇到文件不存在的问题,如下图:
奇怪的是同样的程序打个jar包,放到集群环境执行没有问题,所以很费解,麻烦知道的同学解答一下,谢谢!

排错过程:
1.复制一份WordCount类代码到本地,通过同样的输入输出路径运行一次,不报错。
2.对比代码后,初步判断是由自定义的MyInputFormat造成的
3.WordCount使用的是默认FileInputFormat,对比getSplits方法发现,将path打印出来


4.根据错误提示跟踪代码,最终发现问题在CombineFileInputFormat重写的getSplits方法,区别就是前面少了些东西,因此在开发环境调试找不到文件

5.修改CombineFileInputFormat代码,问题解决

0 个评论

要回复文章请先登录注册