Eclipse

Eclipse

eclipse安装pydev

Robin_TY 回复了问题 2 人关注 1 个回复 1465 次浏览 2017-02-19 19:56 来自相关话题

xml中的表格为什么显示不了?

fish 回复了问题 2 人关注 1 个回复 2365 次浏览 2017-01-22 10:04 来自相关话题

eclipse的初级问题

wangxiaolei 回复了问题 1 人关注 1 个回复 1633 次浏览 2017-01-12 18:19 来自相关话题

myeclipse 2015安装了pydev却找不到

wangxiaolei 回复了问题 2 人关注 1 个回复 2526 次浏览 2016-12-06 10:22 来自相关话题

关于eclipse中父类的继承

zhudejun_1985 回复了问题 2 人关注 4 个回复 1557 次浏览 2016-11-04 13:08 来自相关话题

eclipse启动失败

fish 回复了问题 3 人关注 22 个回复 3025 次浏览 2016-09-08 16:47 来自相关话题

eclipse弹窗口

vitocorleone 回复了问题 2 人关注 4 个回复 1591 次浏览 2016-06-20 10:15 来自相关话题

4.2.1eclipse总是挂掉

wangxiaolei 回复了问题 2 人关注 3 个回复 1351 次浏览 2016-06-08 16:43 来自相关话题

4.2.1eclipse中import错误

wangxiaolei 回复了问题 2 人关注 2 个回复 1565 次浏览 2016-06-07 17:34 来自相关话题

启动eclipse报错

fish 回复了问题 3 人关注 3 个回复 1606 次浏览 2016-04-06 09:25 来自相关话题

图形界面下eclipse启动失败

yeerdni 回复了问题 3 人关注 8 个回复 1762 次浏览 2016-03-26 11:58 来自相关话题

Eclipse中不能输入中文

wangxiaolei 回复了问题 2 人关注 1 个回复 4151 次浏览 2016-03-19 20:34 来自相关话题

在eclipse下运行mapreduce程序,运行成功,但是控制台没有运行信息,只有下面这3条警告该怎么办?

fish 回复了问题 3 人关注 6 个回复 2539 次浏览 2016-03-14 16:45 来自相关话题

scala的eclipse异常退出

godot 回复了问题 4 人关注 2 个回复 3202 次浏览 2016-01-25 13:23 来自相关话题

如何显示已删除的项目到eclipse

wangxiaolei 回复了问题 3 人关注 2 个回复 2048 次浏览 2015-12-25 14:33 来自相关话题

eclipse需要导入哪个hdfs jar包

wangxiaolei 回复了问题 2 人关注 1 个回复 2436 次浏览 2015-12-22 15:36 来自相关话题

为什么jar包不可选呢?

wangxiaolei 回复了问题 2 人关注 1 个回复 1483 次浏览 2015-12-22 15:27 来自相关话题

eclipse-inst-linux32.tar.gz这个是从官网下载的解压后不知道咋用,求解,谢谢大家!

fish 回复了问题 2 人关注 3 个回复 5696 次浏览 2015-11-28 23:44 来自相关话题

条新动态, 点击查看
fish

fish 回答了问题 • 2015-10-21 12:16 • 10 个回复 不感兴趣

jdb调试不能命中断点

断点位置应该是com.chinahadoop.bigdata.WordCount$TokenizerMapper:33 你这行是在内部类中的啊,不是在WordCount这个类中。
断点位置应该是com.chinahadoop.bigdata.WordCount$TokenizerMapper:33 你这行是在内部类中的啊,不是在WordCount这个类中。

eclipse安装pydev

回复

Robin_TY 回复了问题 2 人关注 1 个回复 1465 次浏览 2017-02-19 19:56 来自相关话题

xml中的表格为什么显示不了?

回复

fish 回复了问题 2 人关注 1 个回复 2365 次浏览 2017-01-22 10:04 来自相关话题

eclipse的初级问题

回复

wangxiaolei 回复了问题 1 人关注 1 个回复 1633 次浏览 2017-01-12 18:19 来自相关话题

myeclipse 2015安装了pydev却找不到

回复

wangxiaolei 回复了问题 2 人关注 1 个回复 2526 次浏览 2016-12-06 10:22 来自相关话题

关于eclipse中父类的继承

回复

zhudejun_1985 回复了问题 2 人关注 4 个回复 1557 次浏览 2016-11-04 13:08 来自相关话题

eclipse启动失败

回复

fish 回复了问题 3 人关注 22 个回复 3025 次浏览 2016-09-08 16:47 来自相关话题

eclipse弹窗口

回复

vitocorleone 回复了问题 2 人关注 4 个回复 1591 次浏览 2016-06-20 10:15 来自相关话题

4.2.1eclipse总是挂掉

回复

wangxiaolei 回复了问题 2 人关注 3 个回复 1351 次浏览 2016-06-08 16:43 来自相关话题

4.2.1eclipse中import错误

回复

wangxiaolei 回复了问题 2 人关注 2 个回复 1565 次浏览 2016-06-07 17:34 来自相关话题

启动eclipse报错

回复

fish 回复了问题 3 人关注 3 个回复 1606 次浏览 2016-04-06 09:25 来自相关话题

图形界面下eclipse启动失败

回复

yeerdni 回复了问题 3 人关注 8 个回复 1762 次浏览 2016-03-26 11:58 来自相关话题

Eclipse中不能输入中文

回复

wangxiaolei 回复了问题 2 人关注 1 个回复 4151 次浏览 2016-03-19 20:34 来自相关话题

在eclipse下运行mapreduce程序,运行成功,但是控制台没有运行信息,只有下面这3条警告该怎么办?

回复

fish 回复了问题 3 人关注 6 个回复 2539 次浏览 2016-03-14 16:45 来自相关话题

scala的eclipse异常退出

回复

godot 回复了问题 4 人关注 2 个回复 3202 次浏览 2016-01-25 13:23 来自相关话题

如何显示已删除的项目到eclipse

回复

wangxiaolei 回复了问题 3 人关注 2 个回复 2048 次浏览 2015-12-25 14:33 来自相关话题

eclipse需要导入哪个hdfs jar包

回复

wangxiaolei 回复了问题 2 人关注 1 个回复 2436 次浏览 2015-12-22 15:36 来自相关话题

为什么jar包不可选呢?

回复

wangxiaolei 回复了问题 2 人关注 1 个回复 1483 次浏览 2015-12-22 15:27 来自相关话题

eclipse-inst-linux32.tar.gz这个是从官网下载的解压后不知道咋用,求解,谢谢大家!

回复

fish 回复了问题 2 人关注 3 个回复 5696 次浏览 2015-11-28 23:44 来自相关话题

win7下eclipse配置hadoop开发环境

唐半张 发表了文章 0 个评论 1963 次浏览 2015-10-09 10:28 来自相关话题

Windows下配置hadoop开发环境 1.开发环境操作系统: ...查看全部
Windows下配置hadoop开发环境
1.开发环境操作系统:windows7 64
开发工具:eclipse3.3 64
Hadoop版本:0.20.2
2.安装hadoop开发插件将hadoop安装包hadoopcontribeclipse-pluginhadoop-0.20.2-eclipse-plugin.jar拷贝到eclipse的插件目录plugins下。
需要注意的是插件版本(及后面开发导入的所有jar包)与运行的hadoop一致,否则可能会出现EOFException异常。(hadoop0.20.2版本只能与eclipse3.3及以下版本可以正常使用
重启eclipse,打开windows->open perspective->other->map/reduce 可以看到map/reduce开发视图。

参数说明如下:
        Location name:任意
        map/reduce master:与mapred-site.xml里面mapred.job.tracker设置一致。
DFS master:与core-site.xml里fs.default.name设置一致。
User name: 服务器上运行hadoop服务的用户名。

        然后是打开“Advanced parameters”设置面板,修改相应参数。上面的参数填写以后,也会反映到这里相应的参数:
主要关注下面几个参数:
fs.defualt.name:                与core-site.xml里fs.default.name设置一致。
mapred.job.tracker:        与mapred-site.xml里面mapred.job.tracker设置一致。
dfs.replication:                与hdfs-site.xml里面的dfs.replication一致。
hadoop.tmp.dir:                与core-site.xml里hadoop.tmp.dir设置一致。(可以不配置)
hadoop.job.ugi:                填写hadoop集群的用户与组名(即启动hadoop使用的用户及其所在用户组)。(必须配置)

点击Finish后可以看到HDFS结构

3.运行程序3.1新建MR项目新建项目选择Map/Reduce Project

MR项目需要配置Hadoop安装路径

选择hadoop解压路径

点击OK完成配置。
输入项目名称点击Finish完成项目创建。
hadoop解压包中hadoop-0.20.2srcexamplesorgapachehadoopexamples路径下的WordCount.java复制到项目中。

修改包路径

配置java运行参数
        Run-->Open Run Dialog

Arguments下增加程序的输入输出地址

上传输入文件
input文件夹中上传测试使用文件,内容如下:
The number of milliseconds before a task will be
terminated if it neither reads an input, writes an output, nor
updates its status string.
Run as-->Run On Hadoop
将得到以下类似输出

13/05/25 10:20:25 WARN conf.Configuration: DEPRECATED: hadoop-site.xml found in the classpath. Usage of hadoop-site.xml is deprecated. Instead use core-site.xml, mapred-site.xml and hdfs-site.xml to override properties of core-default.xml, mapred-default.xml and hdfs-default.xml respectively
13/05/25 10:20:26 INFO input.FileInputFormat: Total input paths to process : 1
13/05/25 10:20:27 INFO mapred.JobClient: Running job: job_201305250948_0006
13/05/25 10:20:28 INFO mapred.JobClient:  map 0% reduce 0%
13/05/25 10:20:44 INFO mapred.JobClient:  map 100% reduce 0%
13/05/25 10:20:56 INFO mapred.JobClient:  map 100% reduce 100%
13/05/25 10:20:58 INFO mapred.JobClient: Job complete: job_201305250948_0006
13/05/25 10:20:58 INFO mapred.JobClient: Counters: 17
13/05/25 10:20:58 INFO mapred.JobClient:   Job Counters 
13/05/25 10:20:58 INFO mapred.JobClient:     Launched reduce tasks=1
13/05/25 10:20:58 INFO mapred.JobClient:     Launched map tasks=1
13/05/25 10:20:58 INFO mapred.JobClient:     Data-local map tasks=1
13/05/25 10:20:58 INFO mapred.JobClient:   FileSystemCounters
13/05/25 10:20:58 INFO mapred.JobClient:     FILE_BYTES_READ=280
13/05/25 10:20:58 INFO mapred.JobClient:     HDFS_BYTES_READ=140
13/05/25 10:20:58 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=592
13/05/25 10:20:58 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=182
13/05/25 10:20:58 INFO mapred.JobClient:   Map-Reduce Framework
13/05/25 10:20:58 INFO mapred.JobClient:     Reduce input groups=23
13/05/25 10:20:58 INFO mapred.JobClient:     Combine output records=23
13/05/25 10:20:58 INFO mapred.JobClient:     Map input records=3
13/05/25 10:20:58 INFO mapred.JobClient:     Reduce shuffle bytes=280
13/05/25 10:20:58 INFO mapred.JobClient:     Reduce output records=23
13/05/25 10:20:58 INFO mapred.JobClient:     Spilled Records=46
13/05/25 10:20:58 INFO mapred.JobClient:     Map output bytes=235
13/05/25 10:20:58 INFO mapred.JobClient:     Combine input records=24
13/05/25 10:20:58 INFO mapred.JobClient:     Map output records=24

4问题4.1DFS local无法显示文件

解决方法:
解决方法是:

1.在“Advanced parameters”设置面板,设置hadoop.job.ugi参数,将hadoop用户加上去。

2.conf.set("hadoop.job.ugi", "hadoop,hadoop"); //设置hadoop server用户名和密码,可以参考这个博客:

" rel="nofollow" target="_blank">http://jimey.com/2009/03/26/windows-environment-eclipse-debugging-environment-hadoop-remote-ubuntu.html

我的做法是在服务器端配置,具体是在conf/mapred-site.xml中添加下面的配置:

   hadoop.job.ugi
   root,abc123456
   hadoop user access password


   mapred.system.dir
   /home/hadoop/hadoop-0.20.0/tmp/mapred/system
   

4.2 运行时报java.lang.IllegalArgumentException: XXX... not found.这是因为导入的hadoop lib中缺少相应类,暂时不明白这个类是做什么的,只需要删除
Advanced parameters下Io.comperssion.codecs 值中的对应类即可。

在Eclipse下开发并运行Hadoop Map/Reduce程序

唐半张 发表了文章 0 个评论 1813 次浏览 2015-09-29 10:53 来自相关话题

在Eclipse下开发并运行Hadoop  Map/Reduce程序 在eclipse3.7中配置hadoop1.0.1插件 ...查看全部
在Eclipse下开发并运行Hadoop  Map/Reduce程序
在eclipse3.7中配置hadoop1.0.1插件
1.安装插件
准备程序:
A.        eclipse-3.7 :下载:eclipse-java-indigo-SR2-linux-gtk.tar.gz并解压缩
B.hadoop-eclipse-plugin-1.0.1 (http://download.csdn.net/detail/xiaoping8411/4216102)
将hadoop-eclipse-plugin-1.0.1复制到eclipse/plugins目录下,重启eclipse。
2.打开MapReduce视图
Window -> Open Perspective -> Other 选择Map/Reduce,图标是个蓝色的象。 
3.添加一个MapReduce环境
在eclipse下端,控制台旁边会多一个Tab,叫“Map/Reduce Locations”,在下面空白的地方点右键,选择“New Hadoop location...”
在弹出的对话框中填写如下内容:
Location name(取个名字):如HadoopLocation
Map/Reduce Master(Job Tracker的IP和端口,根据mapred-site.xml中配置的mapred.job.tracker来填写) 
DFS Master(Name Node的IP和端口,根据core-site.xml中配置的fs.default.name来填写)
User name: 用户名(默认操作系统用户名,这个没什么用),比如root

4.使用eclipse对HDFS内容进行修改
经过上一步骤,左侧“Project Explorer”中应该会出现配置好的HDFS,点击右键,可以进行新建文件夹、删除文件夹、上传文件、下载文件、删除文件等操作。
注意:每一次操作完在eclipse中不能马上显示变化,必须得刷新一下。

5.创建MapReduce工程
A.配置Hadoop路径
Window -> Preferences 选择 “Hadoop Map/Reduce”,点击“Browse...”选择Hadoop文件夹的路径。

这个步骤与运行环境无关,只是在新建工程的时候能将hadoop根目录和lib目录下的所有jar包自动导入。
B.创建工程
File -> New -> Project 选择“Map/Reduce Project”,然后输入项目名称,创建项目。插件会自动把hadoop根目录和lib目录下的所有jar包导入。
C.创建Mapper或者Reducer
File -> New -> Mapper 创建Mapper,自动继承mapred包里面的MapReduceBase并实现Mapper接口。 
注意:这个插件自动继承的是mapred包里旧版的类和接口,新版的Mapper得自己写。
Reducer同理。
6.在eclipse中运行WordCount程序
A.导入WordCount
从网上下载hadoop自带的hadoop-examples-1.0.1.jar中获取WordCount程序的源代码,
创建一个项目把该代码放进去
B.配置运行参数
Run As -> Open Run Dialog... 选择WordCount程序,在Arguments中配置运行参数:/mapreduce/wordcount/input    /mapreduce/wordcount/output/
分别表示HDFS下的输入目录和输出目录,其中输入目录中有几个文本文件,输出目录必须不存在。必须在第3步建立的HadoopLocation下建立mapreduce/wordcount/input目录,并将file1.txt, file2.txt拷到该目录下。

C.运行
Run As -> Run on Hadoop 选择之前配置好的MapReduce运行环境,点击“Finish”运行。

控制台会输出相关的运行信息。

D.查看运行结果
在输出目录/mapreduce/wordcount/output/1中,可以看见WordCount程序的输出文件。除此之外,还可以看见一个logs文件夹,里面会有运行的日志。

Hadoop eclipse插件编译安装问题及解决方案

唐半张 发表了文章 0 个评论 1358 次浏览 2015-09-29 10:39 来自相关话题

在安装hadoop eclipse插件的时候,一般都是直接将HADOOP_HOME/lib中的 hadoop-eclipse-plugin-{version}.jar 复制到eclipse安装目录下的plugins目录中。但Hadoop-1.0.0生成的jar ...查看全部
在安装hadoop eclipse插件的时候,一般都是直接将HADOOP_HOME/lib中的 hadoop-eclipse-plugin-{version}.jar 复制到eclipse安装目录下的plugins目录中。但Hadoop-1.0.0生成的jar包不能直接使用,如果直接复制到eclipse的插件目录中,在连接DFS时会出现错误,提示信息为: "error: failure to login"。
这个问题产生的原因是直接编译生成的jar包中缺少一些依赖的jar文件,解决这个问题需要我们修改部分配置文件并重新使用ant编译eclipse-plugin。涉及到的代码及配置文件位于Hadoop安装目录的src/contrib/eclipse-plugin。具体步骤如下:1.修改${hadoop.root}/src/contrib目录的build-contrib.xml文件,添加eclipse路径和hadoop版本信息:
  
>
这一步也可以用在ant命令中添加参数来代替: ant -Declipse.home=/home/zlx/eclipse -Dversion=1.0.02.修改${hadoop.root}/src/contrib/eclipse-plugin目录下的build.xml文件,在id为classpath的path节点添加hadoop-core的jar依赖








2.找到name为jar的target,将相应的jar文件打包进插件的lib目录:












jarfile="${build.dir}/hadoop-${name}-${version}.jar"
manifest="${root}/META-INF/MANIFEST.MF">



>

3.修改MANIFEST.MF文件里面Bundle-ClassPath属性值
Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-configuration-1.6.jar,lib/commons-httpclient-3.0.1.jar,lib/commons-lang-2.4.jar,lib/jackson-core-asl-1.0.0.jar,lib/jackson-mapper-asl-1.0.0.ja
r

在命令行进入 ${hadoop.root}/src/contrib/eclipse-plugin目录,输入:  ant jar
最后在${hadoop.root}/build/contrib/eclipse-plugin目录生成打包好的插件,将hadoop-eclipse-plugin-1.0.0.jar文件复制到eclipse的plugins目录即可。