CDH

通过cloudera manager安装CDH,手动修改配置文件在哪里修改,怎么生效?

通过cloudera manager安装CDH,手动修改配置文件在哪里修改,怎么生效?例如我想修改hadoop-env.sh文件,在哪里修改,怎么使其生效呢?

wangwensheng - 大数据工程师@腾讯

赞同来自:

http://www.aboutyun.com/thread-11057-1-1.html 为啥要修改hadoop-env.sh,一般不是修改下*-site.xml配置文件吗? 修改完配置需要重启进程就生效了。

fish - Hadooper

赞同来自:

如果是cloudera manager安装,配置修改直接在页面中进行,/etc/hadoop下面的配置只对客户端应用生效,改了也没法影响各个服务。

fish - Hadooper

赞同来自:

eclipse中使用的配置文件是正确的么?从哪里拷贝得来的?能否保证其能连接到集群?

fish - Hadooper

赞同来自:

netstat看看master监听的是什么地址? 192.168.10.221:8002还是0.0.0.0:8002? 另外,为啥不是8020...

生命一如夏花 - 热爱编程!

赞同来自:

netstat没有看到master的8002端口,是因为没有启动成功?。。。因为需要调试的是hdfs服务的NameNodeRpcServer代码,在hadoop-env.sh中有一个设置是export HADOOP_NAMENODE_OPTS="$JMX_OPTS=10201 -Dcom.sun.management.jmxremote -Xmx100m $HADOOP_NAMENODE_OPTS $HADOOP_SERVERS_OPTS -Xloggc:$HADOOP_LOG_DIR/gc-hadoop-namenode.${CURR_DATE}.log -agentlib:jdwp=transport=dt_socket,address=8002,server=y,suspend=n",所以设置的是8002

fish - Hadooper

赞同来自:

哦,原来是要jdwp远端调试啊。 没启动成功肯定就没法attach上。

fish - Hadooper

赞同来自:

关键是NameNode到底起来了么?

fish - Hadooper

赞同来自:

ps ax看namenode进程启动命令里面没有-agentlib:jdwp=transport=dt_socket,address=8002,server=y,suspend=n这样的参数吧?

fish - Hadooper

赞同来自:

那就是配置没有生效。 用cloudera manager方式安装的集群,它的服务不是读取的/etc/hadoop/conf下面的配置文件,而是在每次服务启动的时候,由cm动态生成并放到一个临时目录下让service使用的。 /etc/hadoop/conf中的配置只是给客户端使用的,由每次通过cm的页面操作“同步客户端配置”生成出来。

fish - Hadooper

赞同来自:

在cloudera manager的页面里面翻翻,看什么地方可以加自定义参数的。这个我也不知道在哪里加,cm是个大黑盒,要自己搞的时候是有些麻烦。

要回复问题请先登录注册