hadoop

hadoop

HDFS文件显示大小与实际大小不符

回复

hadoop mayibo_123 发起了问题 • 1 人关注 • 0 个回复 • 6 次浏览 • 2017-01-22 18:14 • 来自相关话题

你好,老师,hdfs中有上pb级别的数据量,如何更好的做可视化呢?采用哪些技术更加合理呢?谢谢

hadoop yanlx0425 回复了问题 • 2 人关注 • 2 个回复 • 42 次浏览 • 2017-01-21 14:01 • 来自相关话题

name node heap size 不断增加,

hadoop wangxiaolei 回复了问题 • 3 人关注 • 2 个回复 • 28 次浏览 • 2017-01-19 19:30 • 来自相关话题

《Hadoop大数据技术体系:原理、内幕与项目实践》插班拼团(仅差最后一位)

回复

hadoop 三人行必有我师 发起了问题 • 1 人关注 • 0 个回复 • 30 次浏览 • 2017-01-18 17:28 • 来自相关话题

第十课《10大数据可视化与11综合案例回顾:分布式日志分析系统》

hadoop yolandaray 回复了问题 • 9 人关注 • 11 个回复 • 154 次浏览 • 2017-01-16 14:15 • 来自相关话题

HA的namenode,如何重启,不切换

hadoop 带刀锦衣卫 回复了问题 • 2 人关注 • 5 个回复 • 48 次浏览 • 2017-01-13 15:58 • 来自相关话题

第九课《9 数据处理引擎 Presto》

hadoop 徐凯 回复了问题 • 9 人关注 • 12 个回复 • 86 次浏览 • 2017-01-10 22:00 • 来自相关话题

hadoop namenode 在什么情况下会触发failover

hadoop fish 回复了问题 • 2 人关注 • 2 个回复 • 42 次浏览 • 2017-01-07 21:43 • 来自相关话题

yarn 基于标签调度的问题

yarn wangxiaolei 回复了问题 • 2 人关注 • 3 个回复 • 42 次浏览 • 2017-01-06 14:45 • 来自相关话题

基于标签的调度,如何配置一个yarn队列对应多个label ?谢谢!

hadoop joan2016 回复了问题 • 2 人关注 • 2 个回复 • 47 次浏览 • 2017-01-06 14:08 • 来自相关话题

手动配置HDFS HA,启动journalnode报错

hadoop 叮叮咚咚 回复了问题 • 2 人关注 • 3 个回复 • 58 次浏览 • 2017-01-05 17:47 • 来自相关话题

spark.textFile读取.tar.gz文件数据问题

回复

spark 亡命天涯 发起了问题 • 1 人关注 • 0 个回复 • 53 次浏览 • 2017-01-04 15:34 • 来自相关话题

如果已经搭建了一个四台服务器的hadoop HA+Federation,那么hive如何集成进去呢?

hadoop fish 回复了问题 • 2 人关注 • 1 个回复 • 31 次浏览 • 2017-01-04 10:19 • 来自相关话题

在新版Hadoop API如何处理?

hadoop wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 49 次浏览 • 2017-01-03 15:24 • 来自相关话题

colud only be replicated to 0 nodes instead of minReplication (=1)

hadoop 余财源 回复了问题 • 3 人关注 • 2 个回复 • 77 次浏览 • 2017-01-01 10:06 • 来自相关话题

第六课《6 分布式计算:批处理引擎 MapReduce(第二部分)》

hadoop jackqinzheng 回复了问题 • 9 人关注 • 15 个回复 • 119 次浏览 • 2016-12-29 22:13 • 来自相关话题

windows eclips 中执行WordCount 报错:(null) entry in command string

hadoop wangxiaolei 回复了问题 • 3 人关注 • 4 个回复 • 102 次浏览 • 2016-12-29 11:43 • 来自相关话题

第五课《5 分布式计算:批处理引擎 MapReduce(第一部分)》

hadoop mayibo_123 回复了问题 • 15 人关注 • 18 个回复 • 196 次浏览 • 2016-12-28 22:18 • 来自相关话题

关于给yarn分配cpu问题

hadoop fish 回复了问题 • 2 人关注 • 1 个回复 • 50 次浏览 • 2016-12-28 21:07 • 来自相关话题

hadoop2.2.0中配置的capacityscheduler的queue acl不起作用,请指点。谢谢

hadoop 歸、宿 回复了问题 • 3 人关注 • 1 个回复 • 526 次浏览 • 2016-12-28 00:39 • 来自相关话题

条新动态, 点击查看
那谁知道这个“垃圾清理”机制所需要的策略是什么?
可以自己根据策略通过hadoop fs -du,hadoop fs -ls,hadoop fs -rm的组合完成你的工具。
那谁知道这个“垃圾清理”机制所需要的策略是什么?
可以自己根据策略通过hadoop fs -du,hadoop fs -ls,hadoop fs -rm的组合完成你的工具。
跳转到的那张帖子,你仔细看看,就有相应的jdwp配置以及local模式跑任务的配置。
如下截图中加重的文字是关于local模式跑mapreduce的配置。
399
 
跳转到的那张帖子,你仔细看看,就有相应的jdwp配置以及local模式跑任务的配置。
如下截图中加重的文字是关于local模式跑mapreduce的配置。
399
 
哈哈,我怎么回答呢?喊个宇宙超级无敌第一牛逼的口号好像不太合适...
 
这里你看到的很多问题都是训练营学生和老师之间的的问答,挺容易判断好不好的吧?
你加1818166这个微信号,问问就知道了。
哈哈,我怎么回答呢?喊个宇宙超级无敌第一牛逼的口号好像不太合适...
 
这里你看到的很多问题都是训练营学生和老师之间的的问答,挺容易判断好不好的吧?
你加1818166这个微信号,问问就知道了。
dl0218

dl0218 回答了问题 • 2016-12-14 11:26 • 36 个回复 不感兴趣

第一课《Hadoop生态系统概述以及版本演化》

赞同来自:

问题列表:
 
1)Hive 的多表连接查询有性能问题吗?
2)Hive 2.0 有啥新的特性?
3)Presto 支持雪花或 星型 数据模型吗?Presto 支持多表连接吗? 性能如何?
4)Apache Hadoop 如何获取补丁?打补丁的过程?例如,一个... 显示全部 »
问题列表:
 
1)Hive 的多表连接查询有性能问题吗?
2)Hive 2.0 有啥新的特性?
3)Presto 支持雪花或 星型 数据模型吗?Presto 支持多表连接吗? 性能如何?
4)Apache Hadoop 如何获取补丁?打补丁的过程?例如,一个集群有多个节点。每一节点停机升级?如何确定该节点没有JOB运行。 
 
谢谢!!
 
Lian

hadoop机架感知脚本修改之后需要重启namenode么

hadoop link 回复了问题 • 1 人关注 • 4 个回复 • 862 次浏览 • 2015-11-23 09:54 • 来自相关话题

Hadoop与Spark计算模型的比较分析

回复

hadoop zp0824 发起了问题 • 1 人关注 • 0 个回复 • 691 次浏览 • 2015-09-20 10:37 • 来自相关话题

HDFS文件显示大小与实际大小不符

回复

hadoop mayibo_123 发起了问题 • 1 人关注 • 0 个回复 • 6 次浏览 • 2017-01-22 18:14 • 来自相关话题

你好,老师,hdfs中有上pb级别的数据量,如何更好的做可视化呢?采用哪些技术更加合理呢?谢谢

回复

hadoop yanlx0425 回复了问题 • 2 人关注 • 2 个回复 • 42 次浏览 • 2017-01-21 14:01 • 来自相关话题

name node heap size 不断增加,

回复

hadoop wangxiaolei 回复了问题 • 3 人关注 • 2 个回复 • 28 次浏览 • 2017-01-19 19:30 • 来自相关话题

《Hadoop大数据技术体系:原理、内幕与项目实践》插班拼团(仅差最后一位)

回复

hadoop 三人行必有我师 发起了问题 • 1 人关注 • 0 个回复 • 30 次浏览 • 2017-01-18 17:28 • 来自相关话题

第十课《10大数据可视化与11综合案例回顾:分布式日志分析系统》

回复

hadoop yolandaray 回复了问题 • 9 人关注 • 11 个回复 • 154 次浏览 • 2017-01-16 14:15 • 来自相关话题

HA的namenode,如何重启,不切换

回复

hadoop 带刀锦衣卫 回复了问题 • 2 人关注 • 5 个回复 • 48 次浏览 • 2017-01-13 15:58 • 来自相关话题

第九课《9 数据处理引擎 Presto》

回复

hadoop 徐凯 回复了问题 • 9 人关注 • 12 个回复 • 86 次浏览 • 2017-01-10 22:00 • 来自相关话题

hadoop namenode 在什么情况下会触发failover

回复

hadoop fish 回复了问题 • 2 人关注 • 2 个回复 • 42 次浏览 • 2017-01-07 21:43 • 来自相关话题

yarn 基于标签调度的问题

回复

yarn wangxiaolei 回复了问题 • 2 人关注 • 3 个回复 • 42 次浏览 • 2017-01-06 14:45 • 来自相关话题

基于标签的调度,如何配置一个yarn队列对应多个label ?谢谢!

回复

hadoop joan2016 回复了问题 • 2 人关注 • 2 个回复 • 47 次浏览 • 2017-01-06 14:08 • 来自相关话题

手动配置HDFS HA,启动journalnode报错

回复

hadoop 叮叮咚咚 回复了问题 • 2 人关注 • 3 个回复 • 58 次浏览 • 2017-01-05 17:47 • 来自相关话题

spark.textFile读取.tar.gz文件数据问题

回复

spark 亡命天涯 发起了问题 • 1 人关注 • 0 个回复 • 53 次浏览 • 2017-01-04 15:34 • 来自相关话题

如果已经搭建了一个四台服务器的hadoop HA+Federation,那么hive如何集成进去呢?

回复

hadoop fish 回复了问题 • 2 人关注 • 1 个回复 • 31 次浏览 • 2017-01-04 10:19 • 来自相关话题

在新版Hadoop API如何处理?

回复

hadoop wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 49 次浏览 • 2017-01-03 15:24 • 来自相关话题

colud only be replicated to 0 nodes instead of minReplication (=1)

回复

hadoop 余财源 回复了问题 • 3 人关注 • 2 个回复 • 77 次浏览 • 2017-01-01 10:06 • 来自相关话题

第六课《6 分布式计算:批处理引擎 MapReduce(第二部分)》

回复

hadoop jackqinzheng 回复了问题 • 9 人关注 • 15 个回复 • 119 次浏览 • 2016-12-29 22:13 • 来自相关话题

windows eclips 中执行WordCount 报错:(null) entry in command string

回复

hadoop wangxiaolei 回复了问题 • 3 人关注 • 4 个回复 • 102 次浏览 • 2016-12-29 11:43 • 来自相关话题

第五课《5 分布式计算:批处理引擎 MapReduce(第一部分)》

回复

hadoop mayibo_123 回复了问题 • 15 人关注 • 18 个回复 • 196 次浏览 • 2016-12-28 22:18 • 来自相关话题

关于给yarn分配cpu问题

回复

hadoop fish 回复了问题 • 2 人关注 • 1 个回复 • 50 次浏览 • 2016-12-28 21:07 • 来自相关话题

hadoop2.2.0中配置的capacityscheduler的queue acl不起作用,请指点。谢谢

回复

hadoop 歸、宿 回复了问题 • 3 人关注 • 1 个回复 • 526 次浏览 • 2016-12-28 00:39 • 来自相关话题

Hadoop 2.0 部署单机HDFS+YARN——示例

jdk wangxiaolei 发表了文章 • 0 个评论 • 766 次浏览 • 2015-11-25 14:36 • 来自相关话题

准备Linux 虚拟机环境 1、用Oracle VM VirtualBox 虚拟Linux 系统 虚拟好的Linux 操作系统:ubuntu-14.04-desktop-i386 准备好:hadoop-2.2.0.tar.gz jdk-6u45-linux...
查看更多

hadoop 硬件配置 指南

hadoop 唐半张 发表了文章 • 0 个评论 • 595 次浏览 • 2015-10-10 10:14 • 来自相关话题

提高我们的客户开始使用Hadoop时的第一个问题是关于选择合适的硬件,为他们的Hadoop集群。这个帖子描述Hadoop的管理员考虑到各种因素。我们鼓励其他人也附和他们的经验生产Hadoop集群配置。虽然Hadoop是设计行业标准的硬件上运行,建议一个理想的...
查看更多

CombineFileInputFormat问题

hadoop 唐半张 发表了文章 • 0 个评论 • 440 次浏览 • 2015-10-10 09:54 • 来自相关话题

遇到 CombineFileInputFormat 问题应该怎么办呢, 下面就是演示遇到CombineFileInputFormat问题怎么处理的东西! 大家仔细看!   在Eclipse调试第二题代码时遇到如下问题: http://www.chin...
查看更多

Hadoop 实战

hadoop 唐半张 发表了文章 • 0 个评论 • 358 次浏览 • 2015-10-10 09:49 • 来自相关话题

Hadoop 的实战    Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样, MapRe...
查看更多

Spark与Hadoop计算模型的比较分析

hadoop 唐半张 发表了文章 • 0 个评论 • 408 次浏览 • 2015-10-10 09:36 • 来自相关话题

Spark与Hadoop计算模型的比较分析 Spark是一个通用的并行计算框架,由UCBerkeley的AMP实验室开发。那么Spark和Hadoop有什么不同呢? 1.Spark的中间数据放到 内存 中,对于迭代运算效率比较高。 Spark aims...
查看更多

Hadoop中CombineFileInputFormat详解

hadoop 唐半张 发表了文章 • 0 个评论 • 443 次浏览 • 2015-10-10 09:17 • 来自相关话题

Hadoop中CombineFileInputFormat详解 在MR实践中,会有很多小文件,单个文件产生一个mapper,资源比较浪费,后续没有reduce逻辑的话,会产生很多小文件,文件数量暴涨,对后续的hive job产生影响。 所以需要在mappe...
查看更多

Hadoop中的三种调度算法

hadoop 唐半张 发表了文章 • 0 个评论 • 460 次浏览 • 2015-10-10 09:11 • 来自相关话题

Hadoop中的三种调度算法   Hadoop 中的调度Hadoop 是一个通用系统,可以对一组分散的节点上的数据进行高性能处理。这样的定义也说明,Hadoop 是一个多任务系统,它可以同时为多个用户、多个作业处理多个数据集。   Hadoop 中的调...
查看更多

win7下eclipse配置hadoop开发环境

eclipse 唐半张 发表了文章 • 0 个评论 • 550 次浏览 • 2015-10-09 10:28 • 来自相关话题

Windows下配置hadoop开发环境 1.开发环境 操作系统: windows7 64 位 开发工具: eclipse3.3 64 位 Hadoop 版本: 0.20.2 2.安装hadoop开发插件 将hadoop安装包...
查看更多

Hadoop2.0 Namenode HA实现方案介绍及汇总

hadoop 唐半张 发表了文章 • 0 个评论 • 552 次浏览 • 2015-10-09 10:22 • 来自相关话题

Hadoop2.0 Namenode HA实现方案介绍及汇总 基于社区最新release的Hadoop2.2.0版本,调研了hadoop HA方面的内容。hadoop2.0主要的新特性( Hadoop2.0稳定版2.2.0新特性剖析 ): [list=1]...
查看更多

hadoop如何设置超时

hadoop 唐半张 发表了文章 • 0 个评论 • 616 次浏览 • 2015-10-09 09:39 • 来自相关话题

1、HDFS写入过程中有两个超时设置: dfs.socket.timeout和 dfs.datanode.socket.write.timeout; 有些地方以为只是需要修改后面 的dfs.datanode.socket.write.timeout项就...
查看更多

hadoop不适合场景

hadoop 唐半张 发表了文章 • 0 个评论 • 353 次浏览 • 2015-10-09 09:29 • 来自相关话题

1: 低延迟数据访问        Hadoop设计的目的是大吞吐量,所以并没有针对低延迟数据访问做一些优化,如果要求低延迟, 可以看看Hbase。 2: 大量的小文件        由于NameNode把文件的MetaData存储在内存中,所以...
查看更多

hadoop1.0 和hadoop2.0 任务处理架构比较

hadoop 唐半张 发表了文章 • 0 个评论 • 391 次浏览 • 2015-10-09 09:27 • 来自相关话题

刚刚看到一篇文章对 hadoop1 和 hadoop  2  做了一个解释 图片不错 拿来看看 http://www.chinahadoop.cn/files/user/2015/01-11/170339b4404c153111.png?4.7.7 Had...
查看更多

基于大数据分析系统Hadoop的13个开源工具

hadoop 唐半张 发表了文章 • 0 个评论 • 621 次浏览 • 2015-10-09 09:24 • 来自相关话题

Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构,最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。用户可以在不了解分布式底层细节的情况下,轻松地在Hadoop上开发和运行处理海量数据的应用程...
查看更多

解析Hadoop新一代MapReduce框架Yarn

hadoop 唐半张 发表了文章 • 0 个评论 • 482 次浏览 • 2015-10-08 10:43 • 来自相关话题

背景 Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改,...
查看更多

hadoop 三节点集群安装配置详细实例

hadoop 唐半张 发表了文章 • 0 个评论 • 406 次浏览 • 2015-10-08 10:43 • 来自相关话题

hadoop 三节点集群安装配置详细实例 topo节点: 192.168.10.46 Hadoop46 192.168.10.47 Hadoop47 192.168.10.48 Hadoop48 Hadoop的守护进程deamons:NameNode/...
查看更多

YARN应用场景、原理与基本架构

yarn 唐半张 发表了文章 • 0 个评论 • 501 次浏览 • 2015-10-08 10:39 • 来自相关话题

YARN应用场景、原理与基本架构 (1) YARN概念解释 ResourceManager: 整个集群的资源管理器,负责集群资源的统一管理与调度,包括处理客户端请求,启动和监控ApplicationMaster,监控NodeManager,进行资源的统一调...
查看更多

Hadoop YARN中内存和CPU两种资源的调度和隔离

yarn 唐半张 发表了文章 • 0 个评论 • 398 次浏览 • 2015-10-08 10:39 • 来自相关话题

Hadoop YARN中内存和CPU两种资源的调度和隔离 Hadoop  YARN同时支持内存和CPU两种资源的调度(默认只支持内存,如果想进一步调度CPU,需要自己进行一些配置),本文将介绍YARN是如何对这些资源进行调度和隔离的。 在YARN中,资源管...
查看更多

Spark与Hadoop计算模型的比较分析

spark 唐半张 发表了文章 • 0 个评论 • 369 次浏览 • 2015-10-08 10:37 • 来自相关话题

Spark与Hadoop计算模型的比较分析 Spark是一个通用的并行计算框架,由UCBerkeley的AMP实验室开发。 1.Spark的中间数据放到 内存 中,对于迭代运算效率比较高。 Spark更适合于迭代运算比较多的ML和DM运算。因为在Spa...
查看更多

Hadoop2.2.0中HDFS的高可用性实现原理

hadoop 唐半张 发表了文章 • 0 个评论 • 385 次浏览 • 2015-10-08 10:35 • 来自相关话题

在 Hadoop 2.0.0之前,NameNode(NN)在 HDFS 集群中存在单点故障(single point of failure),每一个集群中存在一个NameNode,如果NN所在的机器出现了故障,那么将导致整个集群无法利用,直到...
查看更多

Hadoop shell命令

hadoop 唐半张 发表了文章 • 0 个评论 • 484 次浏览 • 2015-10-08 10:23 • 来自相关话题

FS Shell  调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是 scheme://authority/path 。对HDFS文...
查看更多