Hadoop

Hadoop

CDH能在非ROOT用户下离线安么?

回复

Hadoop macg 发起了问题 • 1 人关注 • 0 个回复 • 14 次浏览 • 2018-09-20 11:06 • 来自相关话题

请教一个参数 serialization.format

回复

Hive 那小子真帅 发起了问题 • 1 人关注 • 0 个回复 • 57 次浏览 • 2018-09-11 15:59 • 来自相关话题

Flume采集文件到HDFS,如果文件名相同,怎么覆盖?

Hadoop fish 回复了问题 • 2 人关注 • 1 个回复 • 126 次浏览 • 2018-08-27 14:10 • 来自相关话题

hadoop ha跑自带的Wordcount出现内存过大是什么原因呢~

Hadoop 坏脾气先森 回复了问题 • 2 人关注 • 2 个回复 • 148 次浏览 • 2018-08-15 16:54 • 来自相关话题

MapReduce

Hadoop macg 回复了问题 • 3 人关注 • 2 个回复 • 138 次浏览 • 2018-09-08 22:44 • 来自相关话题

求助,flume不能从kafka中读取数据并且写入hdfs中

回复

Hadoop peter_mu 发起了问题 • 1 人关注 • 0 个回复 • 204 次浏览 • 2018-07-25 10:20 • 来自相关话题

Hbase 启动时 HRegionserver 进程启动失败

HBase KKKK6dn 回复了问题 • 2 人关注 • 1 个回复 • 531 次浏览 • 2018-09-04 16:38 • 来自相关话题

hive udf编写问题

Hadoop macg 回复了问题 • 3 人关注 • 2 个回复 • 178 次浏览 • 2018-09-08 22:48 • 来自相关话题

搭建Hadoop单击版时,hadoop core-site.xml文件中hadoop.tmp.dir无法生效

Hadoop fish 回复了问题 • 2 人关注 • 1 个回复 • 157 次浏览 • 2018-05-30 12:38 • 来自相关话题

cdh 中用哪个jps看不到namenode、datanode

Hadoop fish 回复了问题 • 2 人关注 • 1 个回复 • 184 次浏览 • 2018-05-31 13:25 • 来自相关话题

hadoop2.9运行自带wordcount时出错?

Java 坏脾气先森 回复了问题 • 3 人关注 • 2 个回复 • 312 次浏览 • 2018-08-22 10:59 • 来自相关话题

启动datanode的问题,跪求解答

Hadoop fish 回复了问题 • 2 人关注 • 2 个回复 • 211 次浏览 • 2018-05-31 13:35 • 来自相关话题

启动journalnode时,出错了,没用看到journalnode进程

Hadoop 啊桂 回复了问题 • 3 人关注 • 3 个回复 • 760 次浏览 • 2018-05-08 16:58 • 来自相关话题

各位大神 请问这是什么问题 跪求

回复

Hadoop hechong084156 发起了问题 • 2 人关注 • 0 个回复 • 247 次浏览 • 2018-04-20 23:31 • 来自相关话题

老师好,我的Nodemanage刚一起起来就挂了

Hadoop ttray 回复了问题 • 3 人关注 • 3 个回复 • 191 次浏览 • 2018-04-09 15:41 • 来自相关话题

Hadoop 2.9 Yarn 中,RM 分配给AM的资源信息在哪里?

Hadoop fish 回复了问题 • 3 人关注 • 1 个回复 • 137 次浏览 • 2018-03-27 19:21 • 来自相关话题

hadoop集群启动问题

Hadoop fish 回复了问题 • 3 人关注 • 3 个回复 • 212 次浏览 • 2018-03-30 15:55 • 来自相关话题

hdfs共5个节点 配置了多个dfs.data.dir(/opt/appdata1-/opt/appdata10) 但发现每个节点都是只写第一个目录,请问可能原因及处理方法

Hadoop fish 回复了问题 • 2 人关注 • 1 个回复 • 140 次浏览 • 2018-03-27 19:40 • 来自相关话题

请教大家一个问题,我的Hadoop服务能启动,但是运行程序却报错0 datanode,可能会是什么原因呢

回复

Hadoop 银河系管理员 发起了问题 • 1 人关注 • 0 个回复 • 106 次浏览 • 2018-03-13 11:01 • 来自相关话题

flume能直接以parquet格式的数据输出到hdfs吗?还是需要用hive的sink?

Hadoop 张妍 回复了问题 • 2 人关注 • 1 个回复 • 249 次浏览 • 2018-03-13 11:02 • 来自相关话题

条新动态, 点击查看
那谁知道这个“垃圾清理”机制所需要的策略是什么?
可以自己根据策略通过hadoop fs -du,hadoop fs -ls,hadoop fs -rm的组合完成你的工具。
那谁知道这个“垃圾清理”机制所需要的策略是什么?
可以自己根据策略通过hadoop fs -du,hadoop fs -ls,hadoop fs -rm的组合完成你的工具。
跳转到的那张帖子,你仔细看看,就有相应的jdwp配置以及local模式跑任务的配置。
如下截图中加重的文字是关于local模式跑mapreduce的配置。
399
 
跳转到的那张帖子,你仔细看看,就有相应的jdwp配置以及local模式跑任务的配置。
如下截图中加重的文字是关于local模式跑mapreduce的配置。
399
 
哈哈,我怎么回答呢?喊个宇宙超级无敌第一牛逼的口号好像不太合适...
 
这里你看到的很多问题都是训练营学生和老师之间的的问答,挺容易判断好不好的吧?
你加1818166这个微信号,问问就知道了。
哈哈,我怎么回答呢?喊个宇宙超级无敌第一牛逼的口号好像不太合适...
 
这里你看到的很多问题都是训练营学生和老师之间的的问答,挺容易判断好不好的吧?
你加1818166这个微信号,问问就知道了。
dl0218

dl0218 回答了问题 • 2016-12-14 11:26 • 36 个回复 不感兴趣

第一课《Hadoop生态系统概述以及版本演化》

赞同来自:

问题列表:
 
1)Hive 的多表连接查询有性能问题吗?
2)Hive 2.0 有啥新的特性?
3)Presto 支持雪花或 星型 数据模型吗?Presto 支持多表连接吗? 性能如何?
4)Apache Hadoop 如何获取补丁?打补丁的过程?例如,一个... 显示全部 »
问题列表:
 
1)Hive 的多表连接查询有性能问题吗?
2)Hive 2.0 有啥新的特性?
3)Presto 支持雪花或 星型 数据模型吗?Presto 支持多表连接吗? 性能如何?
4)Apache Hadoop 如何获取补丁?打补丁的过程?例如,一个集群有多个节点。每一节点停机升级?如何确定该节点没有JOB运行。 
 
谢谢!!
 
Lian

hadoop机架感知脚本修改之后需要重启namenode么

Hadoop link 回复了问题 • 1 人关注 • 4 个回复 • 2091 次浏览 • 2015-11-23 09:54 • 来自相关话题

Hadoop与Spark计算模型的比较分析

回复

Hadoop zp0824 发起了问题 • 1 人关注 • 0 个回复 • 1803 次浏览 • 2015-09-20 10:37 • 来自相关话题

CDH能在非ROOT用户下离线安么?

回复

Hadoop macg 发起了问题 • 1 人关注 • 0 个回复 • 14 次浏览 • 2018-09-20 11:06 • 来自相关话题

运行wordcount时,报Container exited with a non-zero exit code 1

回复

Hadoop 西门吹水之城 回复了问题 • 5 人关注 • 11 个回复 • 13240 次浏览 • 2018-09-17 16:14 • 来自相关话题

请教一个参数 serialization.format

回复

Hive 那小子真帅 发起了问题 • 1 人关注 • 0 个回复 • 57 次浏览 • 2018-09-11 15:59 • 来自相关话题

hive udf编写问题

回复

Hadoop macg 回复了问题 • 3 人关注 • 2 个回复 • 178 次浏览 • 2018-09-08 22:48 • 来自相关话题

MapReduce

回复

Hadoop macg 回复了问题 • 3 人关注 • 2 个回复 • 138 次浏览 • 2018-09-08 22:44 • 来自相关话题

Hbase 启动时 HRegionserver 进程启动失败

回复

HBase KKKK6dn 回复了问题 • 2 人关注 • 1 个回复 • 531 次浏览 • 2018-09-04 16:38 • 来自相关话题

Flume采集文件到HDFS,如果文件名相同,怎么覆盖?

回复

Hadoop fish 回复了问题 • 2 人关注 • 1 个回复 • 126 次浏览 • 2018-08-27 14:10 • 来自相关话题

hadoop2.9运行自带wordcount时出错?

回复

Java 坏脾气先森 回复了问题 • 3 人关注 • 2 个回复 • 312 次浏览 • 2018-08-22 10:59 • 来自相关话题

hadoop ha跑自带的Wordcount出现内存过大是什么原因呢~

回复

Hadoop 坏脾气先森 回复了问题 • 2 人关注 • 2 个回复 • 148 次浏览 • 2018-08-15 16:54 • 来自相关话题

求助,flume不能从kafka中读取数据并且写入hdfs中

回复

Hadoop peter_mu 发起了问题 • 1 人关注 • 0 个回复 • 204 次浏览 • 2018-07-25 10:20 • 来自相关话题

启动datanode的问题,跪求解答

回复

Hadoop fish 回复了问题 • 2 人关注 • 2 个回复 • 211 次浏览 • 2018-05-31 13:35 • 来自相关话题

cdh 中用哪个jps看不到namenode、datanode

回复

Hadoop fish 回复了问题 • 2 人关注 • 1 个回复 • 184 次浏览 • 2018-05-31 13:25 • 来自相关话题

搭建Hadoop单击版时,hadoop core-site.xml文件中hadoop.tmp.dir无法生效

回复

Hadoop fish 回复了问题 • 2 人关注 • 1 个回复 • 157 次浏览 • 2018-05-30 12:38 • 来自相关话题

启动journalnode时,出错了,没用看到journalnode进程

回复

Hadoop 啊桂 回复了问题 • 3 人关注 • 3 个回复 • 760 次浏览 • 2018-05-08 16:58 • 来自相关话题

ClouderManager和Ambari功能是一样的吗

回复

Hadoop macg 回复了问题 • 2 人关注 • 1 个回复 • 118 次浏览 • 2018-05-03 18:41 • 来自相关话题

请问一下以下这个问题怎么解决:

回复

Hadoop macg 回复了问题 • 3 人关注 • 2 个回复 • 124 次浏览 • 2018-05-03 18:38 • 来自相关话题

各位大神 请问这是什么问题 跪求

回复

Hadoop hechong084156 发起了问题 • 2 人关注 • 0 个回复 • 247 次浏览 • 2018-04-20 23:31 • 来自相关话题

老师好,我的Nodemanage刚一起起来就挂了

回复

Hadoop ttray 回复了问题 • 3 人关注 • 3 个回复 • 191 次浏览 • 2018-04-09 15:41 • 来自相关话题

hadoop集群启动问题

回复

Hadoop fish 回复了问题 • 3 人关注 • 3 个回复 • 212 次浏览 • 2018-03-30 15:55 • 来自相关话题

Hadoop 2.0 部署单机HDFS+YARN——示例

HDFS wangxiaolei 发表了文章 • 0 个评论 • 1967 次浏览 • 2015-11-25 14:36 • 来自相关话题

准备Linux 虚拟机环境 1、用Oracle VM VirtualBox 虚拟Linux 系统 虚拟好的Linux 操作系统:ubuntu-14.04-desktop-i386 准备好:hadoop-2.2.0.tar.gz jdk-6u45-linux...
查看更多

hadoop 硬件配置 指南

Hadoop 唐半张 发表了文章 • 0 个评论 • 1620 次浏览 • 2015-10-10 10:14 • 来自相关话题

提高我们的客户开始使用Hadoop时的第一个问题是关于选择合适的硬件,为他们的Hadoop集群。这个帖子描述Hadoop的管理员考虑到各种因素。我们鼓励其他人也附和他们的经验生产Hadoop集群配置。虽然Hadoop是设计行业标准的硬件上运行,建议一个理想的...
查看更多

CombineFileInputFormat问题

Hadoop 唐半张 发表了文章 • 0 个评论 • 1189 次浏览 • 2015-10-10 09:54 • 来自相关话题

遇到 CombineFileInputFormat 问题应该怎么办呢, 下面就是演示遇到CombineFileInputFormat问题怎么处理的东西! 大家仔细看!   在Eclipse调试第二题代码时遇到如下问题: http://www.chin...
查看更多

Hadoop 实战

Hadoop 唐半张 发表了文章 • 0 个评论 • 856 次浏览 • 2015-10-10 09:49 • 来自相关话题

Hadoop 的实战    Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样, MapRe...
查看更多

Spark与Hadoop计算模型的比较分析

Hadoop 唐半张 发表了文章 • 0 个评论 • 934 次浏览 • 2015-10-10 09:36 • 来自相关话题

Spark与Hadoop计算模型的比较分析 Spark是一个通用的并行计算框架,由UCBerkeley的AMP实验室开发。那么Spark和Hadoop有什么不同呢? 1.Spark的中间数据放到 内存 中,对于迭代运算效率比较高。 Spark aims...
查看更多

Hadoop中CombineFileInputFormat详解

Hadoop 唐半张 发表了文章 • 0 个评论 • 1130 次浏览 • 2015-10-10 09:17 • 来自相关话题

Hadoop中CombineFileInputFormat详解 在MR实践中,会有很多小文件,单个文件产生一个mapper,资源比较浪费,后续没有reduce逻辑的话,会产生很多小文件,文件数量暴涨,对后续的hive job产生影响。 所以需要在mappe...
查看更多

Hadoop中的三种调度算法

Hadoop 唐半张 发表了文章 • 0 个评论 • 1133 次浏览 • 2015-10-10 09:11 • 来自相关话题

Hadoop中的三种调度算法   Hadoop 中的调度Hadoop 是一个通用系统,可以对一组分散的节点上的数据进行高性能处理。这样的定义也说明,Hadoop 是一个多任务系统,它可以同时为多个用户、多个作业处理多个数据集。   Hadoop 中的调...
查看更多

win7下eclipse配置hadoop开发环境

Eclipse 唐半张 发表了文章 • 0 个评论 • 1115 次浏览 • 2015-10-09 10:28 • 来自相关话题

Windows下配置hadoop开发环境 1.开发环境 操作系统: windows7 64 位 开发工具: eclipse3.3 64 位 Hadoop 版本: 0.20.2 2.安装hadoop开发插件 将hadoop安装包...
查看更多

Hadoop2.0 Namenode HA实现方案介绍及汇总

Hadoop 唐半张 发表了文章 • 0 个评论 • 1418 次浏览 • 2015-10-09 10:22 • 来自相关话题

Hadoop2.0 Namenode HA实现方案介绍及汇总 基于社区最新release的Hadoop2.2.0版本,调研了hadoop HA方面的内容。hadoop2.0主要的新特性( Hadoop2.0稳定版2.2.0新特性剖析 ): [list=1]...
查看更多

hadoop如何设置超时

Hadoop 唐半张 发表了文章 • 0 个评论 • 1332 次浏览 • 2015-10-09 09:39 • 来自相关话题

1、HDFS写入过程中有两个超时设置: dfs.socket.timeout和 dfs.datanode.socket.write.timeout; 有些地方以为只是需要修改后面 的dfs.datanode.socket.write.timeout项就...
查看更多

hadoop不适合场景

Hadoop 唐半张 发表了文章 • 0 个评论 • 766 次浏览 • 2015-10-09 09:29 • 来自相关话题

1: 低延迟数据访问        Hadoop设计的目的是大吞吐量,所以并没有针对低延迟数据访问做一些优化,如果要求低延迟, 可以看看Hbase。 2: 大量的小文件        由于NameNode把文件的MetaData存储在内存中,所以...
查看更多

hadoop1.0 和hadoop2.0 任务处理架构比较

Hadoop 唐半张 发表了文章 • 0 个评论 • 943 次浏览 • 2015-10-09 09:27 • 来自相关话题

刚刚看到一篇文章对 hadoop1 和 hadoop  2  做了一个解释 图片不错 拿来看看 http://www.chinahadoop.cn/files/user/2015/01-11/170339b4404c153111.png?4.7.7 Had...
查看更多

基于大数据分析系统Hadoop的13个开源工具

Hadoop 唐半张 发表了文章 • 0 个评论 • 1414 次浏览 • 2015-10-09 09:24 • 来自相关话题

Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构,最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。用户可以在不了解分布式底层细节的情况下,轻松地在Hadoop上开发和运行处理海量数据的应用程...
查看更多

解析Hadoop新一代MapReduce框架Yarn

Hadoop 唐半张 发表了文章 • 0 个评论 • 1081 次浏览 • 2015-10-08 10:43 • 来自相关话题

背景 Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改,...
查看更多

hadoop 三节点集群安装配置详细实例

Hadoop 唐半张 发表了文章 • 0 个评论 • 1165 次浏览 • 2015-10-08 10:43 • 来自相关话题

hadoop 三节点集群安装配置详细实例 topo节点: 192.168.10.46 Hadoop46 192.168.10.47 Hadoop47 192.168.10.48 Hadoop48 Hadoop的守护进程deamons:NameNode/...
查看更多

YARN应用场景、原理与基本架构

Yarn 唐半张 发表了文章 • 0 个评论 • 1252 次浏览 • 2015-10-08 10:39 • 来自相关话题

YARN应用场景、原理与基本架构 (1) YARN概念解释 ResourceManager: 整个集群的资源管理器,负责集群资源的统一管理与调度,包括处理客户端请求,启动和监控ApplicationMaster,监控NodeManager,进行资源的统一调...
查看更多

Hadoop YARN中内存和CPU两种资源的调度和隔离

Yarn 唐半张 发表了文章 • 0 个评论 • 930 次浏览 • 2015-10-08 10:39 • 来自相关话题

Hadoop YARN中内存和CPU两种资源的调度和隔离 Hadoop  YARN同时支持内存和CPU两种资源的调度(默认只支持内存,如果想进一步调度CPU,需要自己进行一些配置),本文将介绍YARN是如何对这些资源进行调度和隔离的。 在YARN中,资源管...
查看更多

Spark与Hadoop计算模型的比较分析

Spark 唐半张 发表了文章 • 0 个评论 • 982 次浏览 • 2015-10-08 10:37 • 来自相关话题

Spark与Hadoop计算模型的比较分析 Spark是一个通用的并行计算框架,由UCBerkeley的AMP实验室开发。 1.Spark的中间数据放到 内存 中,对于迭代运算效率比较高。 Spark更适合于迭代运算比较多的ML和DM运算。因为在Spa...
查看更多

Hadoop2.2.0中HDFS的高可用性实现原理

Hadoop 唐半张 发表了文章 • 0 个评论 • 939 次浏览 • 2015-10-08 10:35 • 来自相关话题

在 Hadoop 2.0.0之前,NameNode(NN)在 HDFS 集群中存在单点故障(single point of failure),每一个集群中存在一个NameNode,如果NN所在的机器出现了故障,那么将导致整个集群无法利用,直到...
查看更多

Hadoop shell命令

Hadoop 唐半张 发表了文章 • 0 个评论 • 1167 次浏览 • 2015-10-08 10:23 • 来自相关话题

FS Shell  调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是 scheme://authority/path 。对HDFS文...
查看更多