hadoop

hadoop

一个datanode硬盘占用量总是过高,这怎么造成的

回复

hadoop macg 发起了问题 • 1 人关注 • 0 个回复 • 22 次浏览 • 2017-12-15 10:32 • 来自相关话题

apache hadoop hdfs-fuse挂载问题

hadoop 沐浅浅 回复了问题 • 4 人关注 • 9 个回复 • 516 次浏览 • 2017-12-14 10:04 • 来自相关话题

hadoop跑wordcount时报错

hadoop ^O^☞D❤J 回复了问题 • 4 人关注 • 4 个回复 • 642 次浏览 • 2017-12-02 15:46 • 来自相关话题

对于hdsf中由于坏盘导致的missing block问题,请问大家怎么处理来修复数据的?直接删除的话会不会造成数据丢失?

hadoop macg 回复了问题 • 3 人关注 • 3 个回复 • 129 次浏览 • 2017-11-27 12:02 • 来自相关话题

hadoop再次提交运行提示running job卡死

hadoop fish 回复了问题 • 3 人关注 • 2 个回复 • 99 次浏览 • 2017-10-26 10:29 • 来自相关话题

正在部署多机hdfs ha+yarn,启动namenode时遇到以下错误

hadoop xinchai 回复了问题 • 3 人关注 • 2 个回复 • 2815 次浏览 • 2017-10-14 16:38 • 来自相关话题

浏览器输入 host:8088 报错 java.lang.NoSuchMethodError

hadoop wangxiaolei 回复了问题 • 3 人关注 • 1 个回复 • 237 次浏览 • 2017-10-09 12:33 • 来自相关话题

课时7部署多机-HDFS HA+YARN,启动journalonode后,jps不显示进程是为什么

hadoop wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 96 次浏览 • 2017-10-09 12:07 • 来自相关话题

windows eclips 中执行WordCount 报错:(null) entry in command string

hadoop zhangdotcn 回复了问题 • 4 人关注 • 5 个回复 • 1638 次浏览 • 2017-10-08 09:33 • 来自相关话题

hadoop 多机部署时调教application是出现错误

hadoop wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 74 次浏览 • 2017-09-27 15:58 • 来自相关话题

hadoop集群配置ssh的问题

hadoop macg 回复了问题 • 4 人关注 • 3 个回复 • 186 次浏览 • 2017-08-22 15:50 • 来自相关话题

hadoop fuse-hdfs挂载

hadoop 脸脸 回复了问题 • 2 人关注 • 9 个回复 • 356 次浏览 • 2017-08-18 11:26 • 来自相关话题

Hadoop 编译Hadoop-HDFS

hadoop fish 回复了问题 • 2 人关注 • 1 个回复 • 140 次浏览 • 2017-08-15 18:17 • 来自相关话题

mapreduce执行程序HDFS路径找不到

hadoop fish 回复了问题 • 2 人关注 • 7 个回复 • 341 次浏览 • 2017-08-05 23:32 • 来自相关话题

hadoop安装kerberos认证后,如何使认证过的机器取消认证?

hadoop fish 回复了问题 • 2 人关注 • 3 个回复 • 125 次浏览 • 2017-08-05 20:05 • 来自相关话题

Flume+hive+mapreduce

hadoop macg 回复了问题 • 4 人关注 • 3 个回复 • 151 次浏览 • 2017-07-27 18:52 • 来自相关话题

java执行shell脚本问题

hadoop macg 回复了问题 • 3 人关注 • 2 个回复 • 135 次浏览 • 2017-07-27 18:45 • 来自相关话题

hadoop streaming 运行 python nltk 提取文件关键词 非常慢

hadoop 开心就好_kxjh 回复了问题 • 3 人关注 • 3 个回复 • 207 次浏览 • 2017-07-18 18:01 • 来自相关话题

用spark 存数据到hbase spark-submit 时候 找不到 hbase相关类

hadoop wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 178 次浏览 • 2017-07-12 17:48 • 来自相关话题

条新动态, 点击查看
那谁知道这个“垃圾清理”机制所需要的策略是什么?
可以自己根据策略通过hadoop fs -du,hadoop fs -ls,hadoop fs -rm的组合完成你的工具。
那谁知道这个“垃圾清理”机制所需要的策略是什么?
可以自己根据策略通过hadoop fs -du,hadoop fs -ls,hadoop fs -rm的组合完成你的工具。
跳转到的那张帖子,你仔细看看,就有相应的jdwp配置以及local模式跑任务的配置。
如下截图中加重的文字是关于local模式跑mapreduce的配置。
399
 
跳转到的那张帖子,你仔细看看,就有相应的jdwp配置以及local模式跑任务的配置。
如下截图中加重的文字是关于local模式跑mapreduce的配置。
399
 
哈哈,我怎么回答呢?喊个宇宙超级无敌第一牛逼的口号好像不太合适...
 
这里你看到的很多问题都是训练营学生和老师之间的的问答,挺容易判断好不好的吧?
你加1818166这个微信号,问问就知道了。
哈哈,我怎么回答呢?喊个宇宙超级无敌第一牛逼的口号好像不太合适...
 
这里你看到的很多问题都是训练营学生和老师之间的的问答,挺容易判断好不好的吧?
你加1818166这个微信号,问问就知道了。
dl0218

dl0218 回答了问题 • 2016-12-14 11:26 • 36 个回复 不感兴趣

第一课《Hadoop生态系统概述以及版本演化》

赞同来自:

问题列表:
 
1)Hive 的多表连接查询有性能问题吗?
2)Hive 2.0 有啥新的特性?
3)Presto 支持雪花或 星型 数据模型吗?Presto 支持多表连接吗? 性能如何?
4)Apache Hadoop 如何获取补丁?打补丁的过程?例如,一个... 显示全部 »
问题列表:
 
1)Hive 的多表连接查询有性能问题吗?
2)Hive 2.0 有啥新的特性?
3)Presto 支持雪花或 星型 数据模型吗?Presto 支持多表连接吗? 性能如何?
4)Apache Hadoop 如何获取补丁?打补丁的过程?例如,一个集群有多个节点。每一节点停机升级?如何确定该节点没有JOB运行。 
 
谢谢!!
 
Lian

hadoop机架感知脚本修改之后需要重启namenode么

hadoop link 回复了问题 • 1 人关注 • 4 个回复 • 1507 次浏览 • 2015-11-23 09:54 • 来自相关话题

Hadoop与Spark计算模型的比较分析

回复

hadoop zp0824 发起了问题 • 1 人关注 • 0 个回复 • 1359 次浏览 • 2015-09-20 10:37 • 来自相关话题

一个datanode硬盘占用量总是过高,这怎么造成的

回复

hadoop macg 发起了问题 • 1 人关注 • 0 个回复 • 22 次浏览 • 2017-12-15 10:32 • 来自相关话题

apache hadoop hdfs-fuse挂载问题

回复

hadoop 沐浅浅 回复了问题 • 4 人关注 • 9 个回复 • 516 次浏览 • 2017-12-14 10:04 • 来自相关话题

hadoop跑wordcount时报错

回复

hadoop ^O^☞D❤J 回复了问题 • 4 人关注 • 4 个回复 • 642 次浏览 • 2017-12-02 15:46 • 来自相关话题

对于hdsf中由于坏盘导致的missing block问题,请问大家怎么处理来修复数据的?直接删除的话会不会造成数据丢失?

回复

hadoop macg 回复了问题 • 3 人关注 • 3 个回复 • 129 次浏览 • 2017-11-27 12:02 • 来自相关话题

hadoop再次提交运行提示running job卡死

回复

hadoop fish 回复了问题 • 3 人关注 • 2 个回复 • 99 次浏览 • 2017-10-26 10:29 • 来自相关话题

正在部署多机hdfs ha+yarn,启动namenode时遇到以下错误

回复

hadoop xinchai 回复了问题 • 3 人关注 • 2 个回复 • 2815 次浏览 • 2017-10-14 16:38 • 来自相关话题

浏览器输入 host:8088 报错 java.lang.NoSuchMethodError

回复

hadoop wangxiaolei 回复了问题 • 3 人关注 • 1 个回复 • 237 次浏览 • 2017-10-09 12:33 • 来自相关话题

课时7部署多机-HDFS HA+YARN,启动journalonode后,jps不显示进程是为什么

回复

hadoop wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 96 次浏览 • 2017-10-09 12:07 • 来自相关话题

windows eclips 中执行WordCount 报错:(null) entry in command string

回复

hadoop zhangdotcn 回复了问题 • 4 人关注 • 5 个回复 • 1638 次浏览 • 2017-10-08 09:33 • 来自相关话题

hadoop 多机部署时调教application是出现错误

回复

hadoop wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 74 次浏览 • 2017-09-27 15:58 • 来自相关话题

hadoop集群配置ssh的问题

回复

hadoop macg 回复了问题 • 4 人关注 • 3 个回复 • 186 次浏览 • 2017-08-22 15:50 • 来自相关话题

hadoop fuse-hdfs挂载

回复

hadoop 脸脸 回复了问题 • 2 人关注 • 9 个回复 • 356 次浏览 • 2017-08-18 11:26 • 来自相关话题

Hadoop 编译Hadoop-HDFS

回复

hadoop fish 回复了问题 • 2 人关注 • 1 个回复 • 140 次浏览 • 2017-08-15 18:17 • 来自相关话题

mapreduce执行程序HDFS路径找不到

回复

hadoop fish 回复了问题 • 2 人关注 • 7 个回复 • 341 次浏览 • 2017-08-05 23:32 • 来自相关话题

hadoop安装kerberos认证后,如何使认证过的机器取消认证?

回复

hadoop fish 回复了问题 • 2 人关注 • 3 个回复 • 125 次浏览 • 2017-08-05 20:05 • 来自相关话题

Flume+hive+mapreduce

回复

hadoop macg 回复了问题 • 4 人关注 • 3 个回复 • 151 次浏览 • 2017-07-27 18:52 • 来自相关话题

java执行shell脚本问题

回复

hadoop macg 回复了问题 • 3 人关注 • 2 个回复 • 135 次浏览 • 2017-07-27 18:45 • 来自相关话题

hadoop streaming 运行 python nltk 提取文件关键词 非常慢

回复

hadoop 开心就好_kxjh 回复了问题 • 3 人关注 • 3 个回复 • 207 次浏览 • 2017-07-18 18:01 • 来自相关话题

用spark 存数据到hbase spark-submit 时候 找不到 hbase相关类

回复

hadoop wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 178 次浏览 • 2017-07-12 17:48 • 来自相关话题

Hadoop 2.0 部署单机HDFS+YARN——示例

jdk wangxiaolei 发表了文章 • 0 个评论 • 1536 次浏览 • 2015-11-25 14:36 • 来自相关话题

准备Linux 虚拟机环境 1、用Oracle VM VirtualBox 虚拟Linux 系统 虚拟好的Linux 操作系统:ubuntu-14.04-desktop-i386 准备好:hadoop-2.2.0.tar.gz jdk-6u45-linux...
查看更多

hadoop 硬件配置 指南

hadoop 唐半张 发表了文章 • 0 个评论 • 1232 次浏览 • 2015-10-10 10:14 • 来自相关话题

提高我们的客户开始使用Hadoop时的第一个问题是关于选择合适的硬件,为他们的Hadoop集群。这个帖子描述Hadoop的管理员考虑到各种因素。我们鼓励其他人也附和他们的经验生产Hadoop集群配置。虽然Hadoop是设计行业标准的硬件上运行,建议一个理想的...
查看更多

CombineFileInputFormat问题

hadoop 唐半张 发表了文章 • 0 个评论 • 981 次浏览 • 2015-10-10 09:54 • 来自相关话题

遇到 CombineFileInputFormat 问题应该怎么办呢, 下面就是演示遇到CombineFileInputFormat问题怎么处理的东西! 大家仔细看!   在Eclipse调试第二题代码时遇到如下问题: http://www.chin...
查看更多

Hadoop 实战

hadoop 唐半张 发表了文章 • 0 个评论 • 668 次浏览 • 2015-10-10 09:49 • 来自相关话题

Hadoop 的实战    Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样, MapRe...
查看更多

Spark与Hadoop计算模型的比较分析

hadoop 唐半张 发表了文章 • 0 个评论 • 722 次浏览 • 2015-10-10 09:36 • 来自相关话题

Spark与Hadoop计算模型的比较分析 Spark是一个通用的并行计算框架,由UCBerkeley的AMP实验室开发。那么Spark和Hadoop有什么不同呢? 1.Spark的中间数据放到 内存 中,对于迭代运算效率比较高。 Spark aims...
查看更多

Hadoop中CombineFileInputFormat详解

hadoop 唐半张 发表了文章 • 0 个评论 • 802 次浏览 • 2015-10-10 09:17 • 来自相关话题

Hadoop中CombineFileInputFormat详解 在MR实践中,会有很多小文件,单个文件产生一个mapper,资源比较浪费,后续没有reduce逻辑的话,会产生很多小文件,文件数量暴涨,对后续的hive job产生影响。 所以需要在mappe...
查看更多

Hadoop中的三种调度算法

hadoop 唐半张 发表了文章 • 0 个评论 • 836 次浏览 • 2015-10-10 09:11 • 来自相关话题

Hadoop中的三种调度算法   Hadoop 中的调度Hadoop 是一个通用系统,可以对一组分散的节点上的数据进行高性能处理。这样的定义也说明,Hadoop 是一个多任务系统,它可以同时为多个用户、多个作业处理多个数据集。   Hadoop 中的调...
查看更多

win7下eclipse配置hadoop开发环境

eclipse 唐半张 发表了文章 • 0 个评论 • 886 次浏览 • 2015-10-09 10:28 • 来自相关话题

Windows下配置hadoop开发环境 1.开发环境 操作系统: windows7 64 位 开发工具: eclipse3.3 64 位 Hadoop 版本: 0.20.2 2.安装hadoop开发插件 将hadoop安装包...
查看更多

Hadoop2.0 Namenode HA实现方案介绍及汇总

hadoop 唐半张 发表了文章 • 0 个评论 • 1048 次浏览 • 2015-10-09 10:22 • 来自相关话题

Hadoop2.0 Namenode HA实现方案介绍及汇总 基于社区最新release的Hadoop2.2.0版本,调研了hadoop HA方面的内容。hadoop2.0主要的新特性( Hadoop2.0稳定版2.2.0新特性剖析 ): [list=1]...
查看更多

hadoop如何设置超时

hadoop 唐半张 发表了文章 • 0 个评论 • 1033 次浏览 • 2015-10-09 09:39 • 来自相关话题

1、HDFS写入过程中有两个超时设置: dfs.socket.timeout和 dfs.datanode.socket.write.timeout; 有些地方以为只是需要修改后面 的dfs.datanode.socket.write.timeout项就...
查看更多

hadoop不适合场景

hadoop 唐半张 发表了文章 • 0 个评论 • 565 次浏览 • 2015-10-09 09:29 • 来自相关话题

1: 低延迟数据访问        Hadoop设计的目的是大吞吐量,所以并没有针对低延迟数据访问做一些优化,如果要求低延迟, 可以看看Hbase。 2: 大量的小文件        由于NameNode把文件的MetaData存储在内存中,所以...
查看更多

hadoop1.0 和hadoop2.0 任务处理架构比较

hadoop 唐半张 发表了文章 • 0 个评论 • 728 次浏览 • 2015-10-09 09:27 • 来自相关话题

刚刚看到一篇文章对 hadoop1 和 hadoop  2  做了一个解释 图片不错 拿来看看 http://www.chinahadoop.cn/files/user/2015/01-11/170339b4404c153111.png?4.7.7 Had...
查看更多

基于大数据分析系统Hadoop的13个开源工具

hadoop 唐半张 发表了文章 • 0 个评论 • 1103 次浏览 • 2015-10-09 09:24 • 来自相关话题

Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构,最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。用户可以在不了解分布式底层细节的情况下,轻松地在Hadoop上开发和运行处理海量数据的应用程...
查看更多

解析Hadoop新一代MapReduce框架Yarn

hadoop 唐半张 发表了文章 • 0 个评论 • 837 次浏览 • 2015-10-08 10:43 • 来自相关话题

背景 Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改,...
查看更多

hadoop 三节点集群安装配置详细实例

hadoop 唐半张 发表了文章 • 0 个评论 • 860 次浏览 • 2015-10-08 10:43 • 来自相关话题

hadoop 三节点集群安装配置详细实例 topo节点: 192.168.10.46 Hadoop46 192.168.10.47 Hadoop47 192.168.10.48 Hadoop48 Hadoop的守护进程deamons:NameNode/...
查看更多

YARN应用场景、原理与基本架构

yarn 唐半张 发表了文章 • 0 个评论 • 955 次浏览 • 2015-10-08 10:39 • 来自相关话题

YARN应用场景、原理与基本架构 (1) YARN概念解释 ResourceManager: 整个集群的资源管理器,负责集群资源的统一管理与调度,包括处理客户端请求,启动和监控ApplicationMaster,监控NodeManager,进行资源的统一调...
查看更多

Hadoop YARN中内存和CPU两种资源的调度和隔离

yarn 唐半张 发表了文章 • 0 个评论 • 707 次浏览 • 2015-10-08 10:39 • 来自相关话题

Hadoop YARN中内存和CPU两种资源的调度和隔离 Hadoop  YARN同时支持内存和CPU两种资源的调度(默认只支持内存,如果想进一步调度CPU,需要自己进行一些配置),本文将介绍YARN是如何对这些资源进行调度和隔离的。 在YARN中,资源管...
查看更多

Spark与Hadoop计算模型的比较分析

spark 唐半张 发表了文章 • 0 个评论 • 762 次浏览 • 2015-10-08 10:37 • 来自相关话题

Spark与Hadoop计算模型的比较分析 Spark是一个通用的并行计算框架,由UCBerkeley的AMP实验室开发。 1.Spark的中间数据放到 内存 中,对于迭代运算效率比较高。 Spark更适合于迭代运算比较多的ML和DM运算。因为在Spa...
查看更多

Hadoop2.2.0中HDFS的高可用性实现原理

hadoop 唐半张 发表了文章 • 0 个评论 • 692 次浏览 • 2015-10-08 10:35 • 来自相关话题

在 Hadoop 2.0.0之前,NameNode(NN)在 HDFS 集群中存在单点故障(single point of failure),每一个集群中存在一个NameNode,如果NN所在的机器出现了故障,那么将导致整个集群无法利用,直到...
查看更多

Hadoop shell命令

hadoop 唐半张 发表了文章 • 0 个评论 • 970 次浏览 • 2015-10-08 10:23 • 来自相关话题

FS Shell  调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是 scheme://authority/path 。对HDFS文...
查看更多