CDH

通过cloudera manager安装CDH,手动修改配置文件在哪里修改,怎么生效?

通过cloudera manager安装CDH,手动修改配置文件在哪里修改,怎么生效?例如我想修改hadoop-env.sh文件,在哪里修改,怎么使其生效呢?

wangwensheng - 大数据工程师@腾讯

赞同来自:

http://www.aboutyun.com/thread-11057-1-1.html 为啥要修改hadoop-env.sh,一般不是修改下*-site.xml配置文件吗? 修改完配置需要重启进程就生效了。

fish - Hadooper

赞同来自:

如果是cloudera manager安装,配置修改直接在页面中进行,/etc/hadoop下面的配置只对客户端应用生效,改了也没法影响各个服务。

fish - Hadooper

赞同来自:

eclipse中使用的配置文件是正确的么?从哪里拷贝得来的?能否保证其能连接到集群?

fish - Hadooper

赞同来自:

netstat看看master监听的是什么地址? 192.168.10.221:8002还是0.0.0.0:8002? 另外,为啥不是8020...

生命一如夏花 - 热爱编程!

赞同来自:

netstat没有看到master的8002端口,是因为没有启动成功?。。。因为需要调试的是hdfs服务的NameNodeRpcServer代码,在hadoop-env.sh中有一个设置是export HADOOP_NAMENODE_OPTS="$JMX_OPTS=10201 -Dcom.sun.management.jmxremote -Xmx100m $HADOOP_NAMENODE_OPTS $HADOOP_SERVERS_OPTS -Xloggc:$HADOOP_LOG_DIR/gc-hadoop-namenode.${CURR_DATE}.log -agentlib:jdwp=transport=dt_socket,address=8002,server=y,suspend=n",所以设置的是8002

fish - Hadooper

赞同来自:

哦,原来是要jdwp远端调试啊。 没启动成功肯定就没法attach上。

fish - Hadooper

赞同来自:

关键是NameNode到底起来了么?

fish - Hadooper

赞同来自:

ps ax看namenode进程启动命令里面没有-agentlib:jdwp=transport=dt_socket,address=8002,server=y,suspend=n这样的参数吧?

fish - Hadooper

赞同来自:

那就是配置没有生效。 用cloudera manager方式安装的集群,它的服务不是读取的/etc/hadoop/conf下面的配置文件,而是在每次服务启动的时候,由cm动态生成并放到一个临时目录下让service使用的。 /etc/hadoop/conf中的配置只是给客户端使用的,由每次通过cm的页面操作“同步客户端配置”生成出来。

fish - Hadooper

赞同来自:

在cloudera manager的页面里面翻翻,看什么地方可以加自定义参数的。这个我也不知道在哪里加,cm是个大黑盒,要自己搞的时候是有些麻烦。

刘焕宇的工作QQ

赞同来自:

2. 配置 Hadoop配置文件 配置文件放置于/var/run/cloudera-scm-agent/process/目录下。如:/var/run/cloudera-scm-agent/process/193-hdfs-NAMENODE/core-site.xml。这些配置文件是通过Cloudera Manager启动相应服务(如HDFS)时生成的,内容从数据库中获得(即通过界面配置的参数)。 在CM界面上更改配置是不会立即反映到配置文件中,这些信息会存储于数据库中,等下次重启服务时才会生成配置文件。且每次启动时都会产生新的配置文件。 CM Server主要数据库为scm基中放置配置的数据表为configs。里面包含了服务的配置信息,每一次配置的更改会把当前页面的所有配置内容添加到数据库中,以此保存配置修改历史。 scm数据库被配置成只能从localhost访问,如果需要从外部连接此数据库,修改vim /var/lib/cloudera-scm-server-db/data/pg_hba.conf文件,之后重启数据库。运行数据库的用户为cloudera-scm。 查看配置内容 直接查询scm数据库的configs数据表的内容。 访问REST API: h提提屁://hostname:7180/api/v4/cm/deployment​,返回JSON格式部署配置信息。 配置生成方式 CM为每个服务进程生成独立的配置目录(文件)。所有配置统一在服务端查询数据库生成(因为scm数据库只能在localhost下访问)生成配置文件,再由agent通过网络下载包含配置文件的zip包到本地解压到指定的目录。 配置修改 CM对于需要修改的配置预先定义,对于没有预先定义的配置,则通过在高级配置项中使用xml配置片段的方式进行配置。而对于/etc/hadoop/下的配置文件是客户端的配置,可以在CM通过部署客户端生成客户端配置。 看一下这个帖子(百度搜索解析Cloudera Manager内部结构、功能包括配置文件、目录位置等我不能发站外链接)有讲,意思是web界面上的参数其实是保存在数据库中,然后动态生成配置文件,不好直接修改的

要回复问题请先登录注册