hadoop

hadoop

hive的启动问题。

hadoop fish 回复了问题 • 4 人关注 • 4 个回复 • 61 次浏览 • 2017-03-24 12:51 • 来自相关话题

hadoop security base line 都需要规划什么?

回复

hadoop gaofei 发起了问题 • 1 人关注 • 0 个回复 • 17 次浏览 • 2017-03-24 08:46 • 来自相关话题

mapred.reduce.tasks对key的影响

hadoop macg 回复了问题 • 3 人关注 • 3 个回复 • 28 次浏览 • 2017-03-23 18:13 • 来自相关话题

集群启动操作

hadoop wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 29 次浏览 • 2017-03-21 14:39 • 来自相关话题

hadoop job -list中的***mem的含义

回复

hadoop java01 发起了问题 • 1 人关注 • 0 个回复 • 24 次浏览 • 2017-03-21 14:13 • 来自相关话题

Hadoop yarn基于deadline的调度器如何获取用户输入的deadline

yarn Dong 回复了问题 • 3 人关注 • 2 个回复 • 25 次浏览 • 2017-03-21 07:54 • 来自相关话题

第十课《10大数据可视化与11综合案例回顾:分布式日志分析系统》

hadoop siyadong 回复了问题 • 10 人关注 • 12 个回复 • 223 次浏览 • 2017-03-16 10:37 • 来自相关话题

我想问一下,小象训练营四期值得报名吗,是网上最好的在线hadoop培训吗

hadoop Charlie_Peng 回复了问题 • 5 人关注 • 5 个回复 • 756 次浏览 • 2017-03-09 14:17 • 来自相关话题

fs.defaultFS属性

hadoop fish 回复了问题 • 3 人关注 • 4 个回复 • 57 次浏览 • 2017-03-07 19:50 • 来自相关话题

not start resourcemanager ?

hadoop wangxiaolei 回复了问题 • 2 人关注 • 3 个回复 • 55 次浏览 • 2017-03-03 12:07 • 来自相关话题

hadoop nn dn之间做互信的目的是什么,用什么用户做比较好

hadoop macg 回复了问题 • 3 人关注 • 2 个回复 • 56 次浏览 • 2017-03-03 11:32 • 来自相关话题

hadoop多机版部署切换namenode为active状态时报错

hadoop wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 54 次浏览 • 2017-03-02 11:41 • 来自相关话题

配置centos后总是ping不通主机,但是主机可以ping到虚拟机

linux macg 回复了问题 • 3 人关注 • 2 个回复 • 71 次浏览 • 2017-02-28 16:29 • 来自相关话题

错误: 找不到或无法加载主类 org.apache.hadoop.hdfs.server.namenode.NameNode

hadoop fish 回复了问题 • 3 人关注 • 2 个回复 • 105 次浏览 • 2017-02-16 10:10 • 来自相关话题

Hadoop搭建问题,8088 50070网页端打不开

hadoop zfanmy 回复了问题 • 2 人关注 • 4 个回复 • 80 次浏览 • 2017-02-08 18:05 • 来自相关话题

Storm、Sprak streaming与Flink

spark wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 75 次浏览 • 2017-02-04 18:21 • 来自相关话题

你好,老师,hdfs中有上pb级别的数据量,如何更好的做可视化呢?采用哪些技术更加合理呢?谢谢

hadoop yanlx0425 回复了问题 • 3 人关注 • 4 个回复 • 145 次浏览 • 2017-01-28 17:37 • 来自相关话题

HDFS文件显示大小与实际大小不符

hadoop wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 81 次浏览 • 2017-01-23 10:33 • 来自相关话题

name node heap size 不断增加,

hadoop wangxiaolei 回复了问题 • 3 人关注 • 2 个回复 • 124 次浏览 • 2017-01-19 19:30 • 来自相关话题

《Hadoop大数据技术体系:原理、内幕与项目实践》插班拼团(仅差最后一位)

回复

hadoop 三人行必有我师 发起了问题 • 1 人关注 • 0 个回复 • 87 次浏览 • 2017-01-18 17:28 • 来自相关话题

条新动态, 点击查看
那谁知道这个“垃圾清理”机制所需要的策略是什么?
可以自己根据策略通过hadoop fs -du,hadoop fs -ls,hadoop fs -rm的组合完成你的工具。
那谁知道这个“垃圾清理”机制所需要的策略是什么?
可以自己根据策略通过hadoop fs -du,hadoop fs -ls,hadoop fs -rm的组合完成你的工具。
跳转到的那张帖子,你仔细看看,就有相应的jdwp配置以及local模式跑任务的配置。
如下截图中加重的文字是关于local模式跑mapreduce的配置。
399
 
跳转到的那张帖子,你仔细看看,就有相应的jdwp配置以及local模式跑任务的配置。
如下截图中加重的文字是关于local模式跑mapreduce的配置。
399
 
哈哈,我怎么回答呢?喊个宇宙超级无敌第一牛逼的口号好像不太合适...
 
这里你看到的很多问题都是训练营学生和老师之间的的问答,挺容易判断好不好的吧?
你加1818166这个微信号,问问就知道了。
哈哈,我怎么回答呢?喊个宇宙超级无敌第一牛逼的口号好像不太合适...
 
这里你看到的很多问题都是训练营学生和老师之间的的问答,挺容易判断好不好的吧?
你加1818166这个微信号,问问就知道了。
dl0218

dl0218 回答了问题 • 2016-12-14 11:26 • 36 个回复 不感兴趣

第一课《Hadoop生态系统概述以及版本演化》

赞同来自:

问题列表:
 
1)Hive 的多表连接查询有性能问题吗?
2)Hive 2.0 有啥新的特性?
3)Presto 支持雪花或 星型 数据模型吗?Presto 支持多表连接吗? 性能如何?
4)Apache Hadoop 如何获取补丁?打补丁的过程?例如,一个... 显示全部 »
问题列表:
 
1)Hive 的多表连接查询有性能问题吗?
2)Hive 2.0 有啥新的特性?
3)Presto 支持雪花或 星型 数据模型吗?Presto 支持多表连接吗? 性能如何?
4)Apache Hadoop 如何获取补丁?打补丁的过程?例如,一个集群有多个节点。每一节点停机升级?如何确定该节点没有JOB运行。 
 
谢谢!!
 
Lian

hadoop机架感知脚本修改之后需要重启namenode么

hadoop link 回复了问题 • 1 人关注 • 4 个回复 • 947 次浏览 • 2015-11-23 09:54 • 来自相关话题

Hadoop与Spark计算模型的比较分析

回复

hadoop zp0824 发起了问题 • 1 人关注 • 0 个回复 • 775 次浏览 • 2015-09-20 10:37 • 来自相关话题

hive的启动问题。

回复

hadoop fish 回复了问题 • 4 人关注 • 4 个回复 • 61 次浏览 • 2017-03-24 12:51 • 来自相关话题

hadoop security base line 都需要规划什么?

回复

hadoop gaofei 发起了问题 • 1 人关注 • 0 个回复 • 17 次浏览 • 2017-03-24 08:46 • 来自相关话题

mapred.reduce.tasks对key的影响

回复

hadoop macg 回复了问题 • 3 人关注 • 3 个回复 • 28 次浏览 • 2017-03-23 18:13 • 来自相关话题

集群启动操作

回复

hadoop wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 29 次浏览 • 2017-03-21 14:39 • 来自相关话题

hadoop job -list中的***mem的含义

回复

hadoop java01 发起了问题 • 1 人关注 • 0 个回复 • 24 次浏览 • 2017-03-21 14:13 • 来自相关话题

Hadoop yarn基于deadline的调度器如何获取用户输入的deadline

回复

yarn Dong 回复了问题 • 3 人关注 • 2 个回复 • 25 次浏览 • 2017-03-21 07:54 • 来自相关话题

第十课《10大数据可视化与11综合案例回顾:分布式日志分析系统》

回复

hadoop siyadong 回复了问题 • 10 人关注 • 12 个回复 • 223 次浏览 • 2017-03-16 10:37 • 来自相关话题

我想问一下,小象训练营四期值得报名吗,是网上最好的在线hadoop培训吗

回复

hadoop Charlie_Peng 回复了问题 • 5 人关注 • 5 个回复 • 756 次浏览 • 2017-03-09 14:17 • 来自相关话题

fs.defaultFS属性

回复

hadoop fish 回复了问题 • 3 人关注 • 4 个回复 • 57 次浏览 • 2017-03-07 19:50 • 来自相关话题

not start resourcemanager ?

回复

hadoop wangxiaolei 回复了问题 • 2 人关注 • 3 个回复 • 55 次浏览 • 2017-03-03 12:07 • 来自相关话题

hadoop nn dn之间做互信的目的是什么,用什么用户做比较好

回复

hadoop macg 回复了问题 • 3 人关注 • 2 个回复 • 56 次浏览 • 2017-03-03 11:32 • 来自相关话题

hadoop多机版部署切换namenode为active状态时报错

回复

hadoop wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 54 次浏览 • 2017-03-02 11:41 • 来自相关话题

配置centos后总是ping不通主机,但是主机可以ping到虚拟机

回复

linux macg 回复了问题 • 3 人关注 • 2 个回复 • 71 次浏览 • 2017-02-28 16:29 • 来自相关话题

错误: 找不到或无法加载主类 org.apache.hadoop.hdfs.server.namenode.NameNode

回复

hadoop fish 回复了问题 • 3 人关注 • 2 个回复 • 105 次浏览 • 2017-02-16 10:10 • 来自相关话题

Hadoop搭建问题,8088 50070网页端打不开

回复

hadoop zfanmy 回复了问题 • 2 人关注 • 4 个回复 • 80 次浏览 • 2017-02-08 18:05 • 来自相关话题

Storm、Sprak streaming与Flink

回复

spark wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 75 次浏览 • 2017-02-04 18:21 • 来自相关话题

你好,老师,hdfs中有上pb级别的数据量,如何更好的做可视化呢?采用哪些技术更加合理呢?谢谢

回复

hadoop yanlx0425 回复了问题 • 3 人关注 • 4 个回复 • 145 次浏览 • 2017-01-28 17:37 • 来自相关话题

HDFS文件显示大小与实际大小不符

回复

hadoop wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 81 次浏览 • 2017-01-23 10:33 • 来自相关话题

name node heap size 不断增加,

回复

hadoop wangxiaolei 回复了问题 • 3 人关注 • 2 个回复 • 124 次浏览 • 2017-01-19 19:30 • 来自相关话题

《Hadoop大数据技术体系:原理、内幕与项目实践》插班拼团(仅差最后一位)

回复

hadoop 三人行必有我师 发起了问题 • 1 人关注 • 0 个回复 • 87 次浏览 • 2017-01-18 17:28 • 来自相关话题

Hadoop 2.0 部署单机HDFS+YARN——示例

jdk wangxiaolei 发表了文章 • 0 个评论 • 868 次浏览 • 2015-11-25 14:36 • 来自相关话题

准备Linux 虚拟机环境 1、用Oracle VM VirtualBox 虚拟Linux 系统 虚拟好的Linux 操作系统:ubuntu-14.04-desktop-i386 准备好:hadoop-2.2.0.tar.gz jdk-6u45-linux...
查看更多

hadoop 硬件配置 指南

hadoop 唐半张 发表了文章 • 0 个评论 • 679 次浏览 • 2015-10-10 10:14 • 来自相关话题

提高我们的客户开始使用Hadoop时的第一个问题是关于选择合适的硬件,为他们的Hadoop集群。这个帖子描述Hadoop的管理员考虑到各种因素。我们鼓励其他人也附和他们的经验生产Hadoop集群配置。虽然Hadoop是设计行业标准的硬件上运行,建议一个理想的...
查看更多

CombineFileInputFormat问题

hadoop 唐半张 发表了文章 • 0 个评论 • 500 次浏览 • 2015-10-10 09:54 • 来自相关话题

遇到 CombineFileInputFormat 问题应该怎么办呢, 下面就是演示遇到CombineFileInputFormat问题怎么处理的东西! 大家仔细看!   在Eclipse调试第二题代码时遇到如下问题: http://www.chin...
查看更多

Hadoop 实战

hadoop 唐半张 发表了文章 • 0 个评论 • 404 次浏览 • 2015-10-10 09:49 • 来自相关话题

Hadoop 的实战    Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样, MapRe...
查看更多

Spark与Hadoop计算模型的比较分析

hadoop 唐半张 发表了文章 • 0 个评论 • 454 次浏览 • 2015-10-10 09:36 • 来自相关话题

Spark与Hadoop计算模型的比较分析 Spark是一个通用的并行计算框架,由UCBerkeley的AMP实验室开发。那么Spark和Hadoop有什么不同呢? 1.Spark的中间数据放到 内存 中,对于迭代运算效率比较高。 Spark aims...
查看更多

Hadoop中CombineFileInputFormat详解

hadoop 唐半张 发表了文章 • 0 个评论 • 478 次浏览 • 2015-10-10 09:17 • 来自相关话题

Hadoop中CombineFileInputFormat详解 在MR实践中,会有很多小文件,单个文件产生一个mapper,资源比较浪费,后续没有reduce逻辑的话,会产生很多小文件,文件数量暴涨,对后续的hive job产生影响。 所以需要在mappe...
查看更多

Hadoop中的三种调度算法

hadoop 唐半张 发表了文章 • 0 个评论 • 529 次浏览 • 2015-10-10 09:11 • 来自相关话题

Hadoop中的三种调度算法   Hadoop 中的调度Hadoop 是一个通用系统,可以对一组分散的节点上的数据进行高性能处理。这样的定义也说明,Hadoop 是一个多任务系统,它可以同时为多个用户、多个作业处理多个数据集。   Hadoop 中的调...
查看更多

win7下eclipse配置hadoop开发环境

eclipse 唐半张 发表了文章 • 0 个评论 • 585 次浏览 • 2015-10-09 10:28 • 来自相关话题

Windows下配置hadoop开发环境 1.开发环境 操作系统: windows7 64 位 开发工具: eclipse3.3 64 位 Hadoop 版本: 0.20.2 2.安装hadoop开发插件 将hadoop安装包...
查看更多

Hadoop2.0 Namenode HA实现方案介绍及汇总

hadoop 唐半张 发表了文章 • 0 个评论 • 636 次浏览 • 2015-10-09 10:22 • 来自相关话题

Hadoop2.0 Namenode HA实现方案介绍及汇总 基于社区最新release的Hadoop2.2.0版本,调研了hadoop HA方面的内容。hadoop2.0主要的新特性( Hadoop2.0稳定版2.2.0新特性剖析 ): [list=1]...
查看更多

hadoop如何设置超时

hadoop 唐半张 发表了文章 • 0 个评论 • 670 次浏览 • 2015-10-09 09:39 • 来自相关话题

1、HDFS写入过程中有两个超时设置: dfs.socket.timeout和 dfs.datanode.socket.write.timeout; 有些地方以为只是需要修改后面 的dfs.datanode.socket.write.timeout项就...
查看更多

hadoop不适合场景

hadoop 唐半张 发表了文章 • 0 个评论 • 383 次浏览 • 2015-10-09 09:29 • 来自相关话题

1: 低延迟数据访问        Hadoop设计的目的是大吞吐量,所以并没有针对低延迟数据访问做一些优化,如果要求低延迟, 可以看看Hbase。 2: 大量的小文件        由于NameNode把文件的MetaData存储在内存中,所以...
查看更多

hadoop1.0 和hadoop2.0 任务处理架构比较

hadoop 唐半张 发表了文章 • 0 个评论 • 439 次浏览 • 2015-10-09 09:27 • 来自相关话题

刚刚看到一篇文章对 hadoop1 和 hadoop  2  做了一个解释 图片不错 拿来看看 http://www.chinahadoop.cn/files/user/2015/01-11/170339b4404c153111.png?4.7.7 Had...
查看更多

基于大数据分析系统Hadoop的13个开源工具

hadoop 唐半张 发表了文章 • 0 个评论 • 698 次浏览 • 2015-10-09 09:24 • 来自相关话题

Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构,最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。用户可以在不了解分布式底层细节的情况下,轻松地在Hadoop上开发和运行处理海量数据的应用程...
查看更多

解析Hadoop新一代MapReduce框架Yarn

hadoop 唐半张 发表了文章 • 0 个评论 • 534 次浏览 • 2015-10-08 10:43 • 来自相关话题

背景 Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改,...
查看更多

hadoop 三节点集群安装配置详细实例

hadoop 唐半张 发表了文章 • 0 个评论 • 459 次浏览 • 2015-10-08 10:43 • 来自相关话题

hadoop 三节点集群安装配置详细实例 topo节点: 192.168.10.46 Hadoop46 192.168.10.47 Hadoop47 192.168.10.48 Hadoop48 Hadoop的守护进程deamons:NameNode/...
查看更多

YARN应用场景、原理与基本架构

yarn 唐半张 发表了文章 • 0 个评论 • 559 次浏览 • 2015-10-08 10:39 • 来自相关话题

YARN应用场景、原理与基本架构 (1) YARN概念解释 ResourceManager: 整个集群的资源管理器,负责集群资源的统一管理与调度,包括处理客户端请求,启动和监控ApplicationMaster,监控NodeManager,进行资源的统一调...
查看更多

Hadoop YARN中内存和CPU两种资源的调度和隔离

yarn 唐半张 发表了文章 • 0 个评论 • 437 次浏览 • 2015-10-08 10:39 • 来自相关话题

Hadoop YARN中内存和CPU两种资源的调度和隔离 Hadoop  YARN同时支持内存和CPU两种资源的调度(默认只支持内存,如果想进一步调度CPU,需要自己进行一些配置),本文将介绍YARN是如何对这些资源进行调度和隔离的。 在YARN中,资源管...
查看更多

Spark与Hadoop计算模型的比较分析

spark 唐半张 发表了文章 • 0 个评论 • 410 次浏览 • 2015-10-08 10:37 • 来自相关话题

Spark与Hadoop计算模型的比较分析 Spark是一个通用的并行计算框架,由UCBerkeley的AMP实验室开发。 1.Spark的中间数据放到 内存 中,对于迭代运算效率比较高。 Spark更适合于迭代运算比较多的ML和DM运算。因为在Spa...
查看更多

Hadoop2.2.0中HDFS的高可用性实现原理

hadoop 唐半张 发表了文章 • 0 个评论 • 428 次浏览 • 2015-10-08 10:35 • 来自相关话题

在 Hadoop 2.0.0之前,NameNode(NN)在 HDFS 集群中存在单点故障(single point of failure),每一个集群中存在一个NameNode,如果NN所在的机器出现了故障,那么将导致整个集群无法利用,直到...
查看更多

Hadoop shell命令

hadoop 唐半张 发表了文章 • 0 个评论 • 560 次浏览 • 2015-10-08 10:23 • 来自相关话题

FS Shell  调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是 scheme://authority/path 。对HDFS文...
查看更多