董西成的专栏文章:Hadoop YARN配置参数剖析(4)—Fair Scheduler相关参数

Hadoop Dong 发表了文章 • 0 个评论 • 424 次浏览 • 2015-09-08 19:31 • 来自相关话题

首先在yarn-site.xml中,将配置参数yarn.resourcemanager.scheduler.class设置为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairSch...
查看更多

董西成的专栏文章:Hadoop YARN配置参数剖析(3)—MapReduce相关参数

Hadoop Dong 发表了文章 • 0 个评论 • 560 次浏览 • 2015-09-08 19:28 • 来自相关话题

MapReduce相关配置参数分为两部分,分别是JobHistory Server和应用程序参数,Job History可运行在一个独立节点上,而应用程序参数则可存放在mapred-site.xml中作为默认参数,也可以在提交应用程序时单独指定,注意,如果用户...
查看更多

董西成的专栏文章:Hadoop YARN配置参数剖析(2)—权限与日志聚集相关参数

Yarn Dong 发表了文章 • 0 个评论 • 375 次浏览 • 2015-09-08 19:23 • 来自相关话题

注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,这些参数均需要在yarn-site.xml中配置。 1.    权限相关配置参数 这里的权限由三部分组成,分别是:(1)管理员和普通用户如何区分 (2)服务级别的权限,...
查看更多

董西成的专栏文章:Hadoop YARN配置参数剖析(1)—RM与NM相关参数

Hadoop Dong 发表了文章 • 0 个评论 • 459 次浏览 • 2015-09-08 19:20 • 来自相关话题

注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,这些参数均需要在yarn-site.xml中配置。 1.    ResourceManager相关配置参数 (1) yarn.resourcemanager.addre...
查看更多

董西城的专栏文章:浅谈Thrift内部实现原理

Dong 发表了文章 • 0 个评论 • 377 次浏览 • 2015-09-08 18:41 • 来自相关话题

   Thrift由两部分组成:编译器(在compiler目录下,采用C++编写)和服务器(在lib目录下),其中编译器的作用是将用户定义的thrift文件编译生成对应语言的代码,而服务器是事先已经实现好的、可供用户直接使用的RPC Server(当然,用户也...
查看更多

源码分析之灰太狼手札(六):HBase的客户端请求处理

源码分析 mopishv0 发表了文章 • 0 个评论 • 1698 次浏览 • 2015-09-08 15:28 • 来自相关话题

六 客户端请求处理 6.1 Region相关操作     代码起始位置:HRegionInterface.java 57、79、85、90、98、104、110、116、124、133、141、149行。     Region的相关操...
查看更多

源码分析之灰太狼手札(五):HBase RPC机制

源码分析 mopishv0 发表了文章 • 0 个评论 • 787 次浏览 • 2015-09-08 15:22 • 来自相关话题

五 HBase RPC机制     本章以region server为例讲解HBase的RPC机制。 5.1 初始化和启动 代码起始位置:HRegionServer.java 506行。     服务实例的创建简单粗暴,直接new出org.ap...
查看更多

源码分析之灰太狼手札(四):HDFS IO

HBase mopishv0 发表了文章 • 0 个评论 • 1029 次浏览 • 2015-09-08 15:20 • 来自相关话题

四 HDFS IO  4.1 L2缓存  4.1.1 构造 代码起始位置:Store 259行。     如3.1.3所述构造CacheConfigBuilder实例时创建L2BucketCacheFactory实例(目前没有多种实现的配置),然后...
查看更多

源码分析之灰太狼手札(二):HRegionServer线程run( )函数

源码分析 mopishv0 发表了文章 • 0 个评论 • 773 次浏览 • 2015-09-08 15:10 • 来自相关话题

二 HRegionServer线程run()函数 2.1 发送注册信息  代码起始位置:HRegionServer 705行。 run()函数首先进入第一阶段(自创名,由stopRequestedAtStageOne起名)。第一阶段是region...
查看更多

源码分析之灰太狼手札(一):HBase RegionServer

源码分析 mopishv0 发表了文章 • 0 个评论 • 868 次浏览 • 2015-09-08 15:06 • 来自相关话题

一 RegionServer启动和构造 1.1 启动      代码起始位置:HRegionServer 3730行。 启动RegionServer的主类是HRegionServer。 main函数中主要是设置config。doMain中将-D...
查看更多

PMML Support in Spark MLlib

机器学习 木舟 发表了文章 • 0 个评论 • 1702 次浏览 • 2015-09-07 17:22 • 来自相关话题

This is a guest blog from our friend Vincenzo Selvaggio who contributed this feature. He is a Senior Java Technical Architect an...
查看更多

邹冲 发表了文章 • %s 个评论 • %s 次浏览 • 1970-01-01 08:00 • 来自相关话题

恭喜熊磊同学成功拿到傲天科技(广东)的Offer,请给大家分享一下经验和建议吧

回复

面试经验 admin 发起了问题 • 1 人关注 • 0 个回复 • 1011 次浏览 • 2015-09-04 22:37 • 来自相关话题

HDFS+HA 部署 打算实现namenode 切换时,有邮件通知

回复

Hadoop 相约地平线 发起了问题 • 1 人关注 • 0 个回复 • 1408 次浏览 • 2015-08-31 11:56 • 来自相关话题

方法与函数的区别

回复

Scala 存在 发起了问题 • 1 人关注 • 0 个回复 • 1062 次浏览 • 2015-08-31 10:16 • 来自相关话题

scala中有没有类似于java中Collections.sort的方法,来给map等数据结构排序?

回复

Scala 存在 发起了问题 • 1 人关注 • 0 个回复 • 1440 次浏览 • 2015-08-31 10:07 • 来自相关话题

hive运行错误

回复

Hive VanquisherCsn 发起了问题 • 1 人关注 • 0 个回复 • 954 次浏览 • 2015-08-30 17:52 • 来自相关话题

运行第二课wordmean程序出错:java.lang.IllegalArgumentException 的解决方法

回复

Hadoop 封尘 发起了问题 • 1 人关注 • 0 个回复 • 1232 次浏览 • 2015-08-30 17:48 • 来自相关话题

hue impala中文问题

回复

Hive 封尘 发起了问题 • 1 人关注 • 0 个回复 • 5259 次浏览 • 2015-08-30 17:46 • 来自相关话题

如何用eclipse打包scala程序。会发现找不到main class

回复

Eclipse rookie 发起了问题 • 1 人关注 • 0 个回复 • 2194 次浏览 • 2015-08-28 16:26 • 来自相关话题