hadoop

hadoop

普通用户怎么搭建hadoop环境(没有权限修改sysconfig/network和hosts中的内容

hadoop macg 回复了问题 • 4 人关注 • 3 个回复 • 41 次浏览 • 2017-06-21 10:35 • 来自相关话题

关于Es对于动态映射字段进行分别求和排序的问题

hadoop fish 回复了问题 • 2 人关注 • 1 个回复 • 32 次浏览 • 2017-06-15 10:35 • 来自相关话题

Hadoop HA 手动队列

hadoop wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 25 次浏览 • 2017-06-14 10:47 • 来自相关话题

hadoop ha nodemanager 启动不起来

hadoop wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 34 次浏览 • 2017-06-14 10:33 • 来自相关话题

hadoop ha datanode启动失败

hadoop wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 27 次浏览 • 2017-06-14 10:32 • 来自相关话题

Hadoop集群HA+yarn启动datanode失败

hadoop 那片风雪 回复了问题 • 3 人关注 • 2 个回复 • 186 次浏览 • 2017-06-10 11:00 • 来自相关话题

Hadoop MapReduce 性能优化

hadoop 李志博 回复了问题 • 3 人关注 • 3 个回复 • 708 次浏览 • 2017-06-09 16:56 • 来自相关话题

NodeManager无法连接到ResourceManager

yarn fish 回复了问题 • 2 人关注 • 1 个回复 • 46 次浏览 • 2017-06-09 11:13 • 来自相关话题

300多个分区的数据repartition到几十个分区后再saveAsTxtFile为什么会报GC Overhead的错误?

hadoop Dong 回复了问题 • 2 人关注 • 1 个回复 • 54 次浏览 • 2017-05-31 12:47 • 来自相关话题

hive avro格式的表可以添加字段吗?

hadoop fish 回复了问题 • 2 人关注 • 1 个回复 • 64 次浏览 • 2017-05-27 16:35 • 来自相关话题

dfs.journalnode.edits.dir 和 dfs.namenode.edits.dir这两个参数的区别

hadoop fish 回复了问题 • 2 人关注 • 1 个回复 • 56 次浏览 • 2017-05-27 15:32 • 来自相关话题

我也出现这问题 但是master可以 client不行怎么解决

hadoop fish 回复了问题 • 3 人关注 • 3 个回复 • 75 次浏览 • 2017-05-22 10:59 • 来自相关话题

这个怎么解决

hadoop fish 回复了问题 • 2 人关注 • 1 个回复 • 52 次浏览 • 2017-05-22 10:55 • 来自相关话题

求一个数据量很大的文件,行与行中某一个字段(列)的交集数

hive 开心就好_kxjh 回复了问题 • 2 人关注 • 2 个回复 • 94 次浏览 • 2017-05-17 14:29 • 来自相关话题

HADOOP HA集群Standby NameNode 启动失败

hadoop data_hunter 回复了问题 • 3 人关注 • 3 个回复 • 97 次浏览 • 2017-05-12 21:52 • 来自相关话题

MapReduce中,自定义数据类型,可以继承吗?我测试了下,报错说:类型不匹配

hadoop fish 回复了问题 • 3 人关注 • 4 个回复 • 90 次浏览 • 2017-05-07 13:30 • 来自相关话题

HadoopHA+Federation 已经搭建成功 但是node0 nod1 显示live node 为4 node2 为 1 node3 为 3 ,那么如何让node3 node4 同步一致呢?

hadoop fish 回复了问题 • 3 人关注 • 2 个回复 • 69 次浏览 • 2017-05-07 12:27 • 来自相关话题

本地运行Spark,创建HiveContext的时候报UnsatisfiedLinkError

hadoop wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 91 次浏览 • 2017-05-04 12:23 • 来自相关话题

条新动态, 点击查看
那谁知道这个“垃圾清理”机制所需要的策略是什么?
可以自己根据策略通过hadoop fs -du,hadoop fs -ls,hadoop fs -rm的组合完成你的工具。
那谁知道这个“垃圾清理”机制所需要的策略是什么?
可以自己根据策略通过hadoop fs -du,hadoop fs -ls,hadoop fs -rm的组合完成你的工具。
跳转到的那张帖子,你仔细看看,就有相应的jdwp配置以及local模式跑任务的配置。
如下截图中加重的文字是关于local模式跑mapreduce的配置。
399
 
跳转到的那张帖子,你仔细看看,就有相应的jdwp配置以及local模式跑任务的配置。
如下截图中加重的文字是关于local模式跑mapreduce的配置。
399
 
哈哈,我怎么回答呢?喊个宇宙超级无敌第一牛逼的口号好像不太合适...
 
这里你看到的很多问题都是训练营学生和老师之间的的问答,挺容易判断好不好的吧?
你加1818166这个微信号,问问就知道了。
哈哈,我怎么回答呢?喊个宇宙超级无敌第一牛逼的口号好像不太合适...
 
这里你看到的很多问题都是训练营学生和老师之间的的问答,挺容易判断好不好的吧?
你加1818166这个微信号,问问就知道了。
dl0218

dl0218 回答了问题 • 2016-12-14 11:26 • 36 个回复 不感兴趣

第一课《Hadoop生态系统概述以及版本演化》

赞同来自:

问题列表:
 
1)Hive 的多表连接查询有性能问题吗?
2)Hive 2.0 有啥新的特性?
3)Presto 支持雪花或 星型 数据模型吗?Presto 支持多表连接吗? 性能如何?
4)Apache Hadoop 如何获取补丁?打补丁的过程?例如,一个... 显示全部 »
问题列表:
 
1)Hive 的多表连接查询有性能问题吗?
2)Hive 2.0 有啥新的特性?
3)Presto 支持雪花或 星型 数据模型吗?Presto 支持多表连接吗? 性能如何?
4)Apache Hadoop 如何获取补丁?打补丁的过程?例如,一个集群有多个节点。每一节点停机升级?如何确定该节点没有JOB运行。 
 
谢谢!!
 
Lian

hadoop机架感知脚本修改之后需要重启namenode么

hadoop link 回复了问题 • 1 人关注 • 4 个回复 • 1150 次浏览 • 2015-11-23 09:54 • 来自相关话题

Hadoop与Spark计算模型的比较分析

回复

hadoop zp0824 发起了问题 • 1 人关注 • 0 个回复 • 936 次浏览 • 2015-09-20 10:37 • 来自相关话题

普通用户怎么搭建hadoop环境(没有权限修改sysconfig/network和hosts中的内容

回复

hadoop macg 回复了问题 • 4 人关注 • 3 个回复 • 41 次浏览 • 2017-06-21 10:35 • 来自相关话题

关于Es对于动态映射字段进行分别求和排序的问题

回复

hadoop fish 回复了问题 • 2 人关注 • 1 个回复 • 32 次浏览 • 2017-06-15 10:35 • 来自相关话题

Hadoop HA 手动队列

回复

hadoop wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 25 次浏览 • 2017-06-14 10:47 • 来自相关话题

hadoop ha nodemanager 启动不起来

回复

hadoop wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 34 次浏览 • 2017-06-14 10:33 • 来自相关话题

hadoop ha datanode启动失败

回复

hadoop wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 27 次浏览 • 2017-06-14 10:32 • 来自相关话题

Hadoop集群HA+yarn启动datanode失败

回复

hadoop 那片风雪 回复了问题 • 3 人关注 • 2 个回复 • 186 次浏览 • 2017-06-10 11:00 • 来自相关话题

Hadoop MapReduce 性能优化

回复

hadoop 李志博 回复了问题 • 3 人关注 • 3 个回复 • 708 次浏览 • 2017-06-09 16:56 • 来自相关话题

NodeManager无法连接到ResourceManager

回复

yarn fish 回复了问题 • 2 人关注 • 1 个回复 • 46 次浏览 • 2017-06-09 11:13 • 来自相关话题

300多个分区的数据repartition到几十个分区后再saveAsTxtFile为什么会报GC Overhead的错误?

回复

hadoop Dong 回复了问题 • 2 人关注 • 1 个回复 • 54 次浏览 • 2017-05-31 12:47 • 来自相关话题

hive avro格式的表可以添加字段吗?

回复

hadoop fish 回复了问题 • 2 人关注 • 1 个回复 • 64 次浏览 • 2017-05-27 16:35 • 来自相关话题

dfs.journalnode.edits.dir 和 dfs.namenode.edits.dir这两个参数的区别

回复

hadoop fish 回复了问题 • 2 人关注 • 1 个回复 • 56 次浏览 • 2017-05-27 15:32 • 来自相关话题

我也出现这问题 但是master可以 client不行怎么解决

回复

hadoop fish 回复了问题 • 3 人关注 • 3 个回复 • 75 次浏览 • 2017-05-22 10:59 • 来自相关话题

这个怎么解决

回复

hadoop fish 回复了问题 • 2 人关注 • 1 个回复 • 52 次浏览 • 2017-05-22 10:55 • 来自相关话题

求一个数据量很大的文件,行与行中某一个字段(列)的交集数

回复

hive 开心就好_kxjh 回复了问题 • 2 人关注 • 2 个回复 • 94 次浏览 • 2017-05-17 14:29 • 来自相关话题

HADOOP HA集群Standby NameNode 启动失败

回复

hadoop data_hunter 回复了问题 • 3 人关注 • 3 个回复 • 97 次浏览 • 2017-05-12 21:52 • 来自相关话题

MapReduce中,自定义数据类型,可以继承吗?我测试了下,报错说:类型不匹配

回复

hadoop fish 回复了问题 • 3 人关注 • 4 个回复 • 90 次浏览 • 2017-05-07 13:30 • 来自相关话题

HadoopHA+Federation 已经搭建成功 但是node0 nod1 显示live node 为4 node2 为 1 node3 为 3 ,那么如何让node3 node4 同步一致呢?

回复

hadoop fish 回复了问题 • 3 人关注 • 2 个回复 • 69 次浏览 • 2017-05-07 12:27 • 来自相关话题

本地运行Spark,创建HiveContext的时候报UnsatisfiedLinkError

回复

hadoop wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 91 次浏览 • 2017-05-04 12:23 • 来自相关话题

Hadoop 2.0 部署单机HDFS+YARN——示例

jdk wangxiaolei 发表了文章 • 0 个评论 • 1150 次浏览 • 2015-11-25 14:36 • 来自相关话题

准备Linux 虚拟机环境 1、用Oracle VM VirtualBox 虚拟Linux 系统 虚拟好的Linux 操作系统:ubuntu-14.04-desktop-i386 准备好:hadoop-2.2.0.tar.gz jdk-6u45-linux...
查看更多

hadoop 硬件配置 指南

hadoop 唐半张 发表了文章 • 0 个评论 • 883 次浏览 • 2015-10-10 10:14 • 来自相关话题

提高我们的客户开始使用Hadoop时的第一个问题是关于选择合适的硬件,为他们的Hadoop集群。这个帖子描述Hadoop的管理员考虑到各种因素。我们鼓励其他人也附和他们的经验生产Hadoop集群配置。虽然Hadoop是设计行业标准的硬件上运行,建议一个理想的...
查看更多

CombineFileInputFormat问题

hadoop 唐半张 发表了文章 • 0 个评论 • 662 次浏览 • 2015-10-10 09:54 • 来自相关话题

遇到 CombineFileInputFormat 问题应该怎么办呢, 下面就是演示遇到CombineFileInputFormat问题怎么处理的东西! 大家仔细看!   在Eclipse调试第二题代码时遇到如下问题: http://www.chin...
查看更多

Hadoop 实战

hadoop 唐半张 发表了文章 • 0 个评论 • 511 次浏览 • 2015-10-10 09:49 • 来自相关话题

Hadoop 的实战    Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样, MapRe...
查看更多

Spark与Hadoop计算模型的比较分析

hadoop 唐半张 发表了文章 • 0 个评论 • 556 次浏览 • 2015-10-10 09:36 • 来自相关话题

Spark与Hadoop计算模型的比较分析 Spark是一个通用的并行计算框架,由UCBerkeley的AMP实验室开发。那么Spark和Hadoop有什么不同呢? 1.Spark的中间数据放到 内存 中,对于迭代运算效率比较高。 Spark aims...
查看更多

Hadoop中CombineFileInputFormat详解

hadoop 唐半张 发表了文章 • 0 个评论 • 601 次浏览 • 2015-10-10 09:17 • 来自相关话题

Hadoop中CombineFileInputFormat详解 在MR实践中,会有很多小文件,单个文件产生一个mapper,资源比较浪费,后续没有reduce逻辑的话,会产生很多小文件,文件数量暴涨,对后续的hive job产生影响。 所以需要在mappe...
查看更多

Hadoop中的三种调度算法

hadoop 唐半张 发表了文章 • 0 个评论 • 641 次浏览 • 2015-10-10 09:11 • 来自相关话题

Hadoop中的三种调度算法   Hadoop 中的调度Hadoop 是一个通用系统,可以对一组分散的节点上的数据进行高性能处理。这样的定义也说明,Hadoop 是一个多任务系统,它可以同时为多个用户、多个作业处理多个数据集。   Hadoop 中的调...
查看更多

win7下eclipse配置hadoop开发环境

eclipse 唐半张 发表了文章 • 0 个评论 • 710 次浏览 • 2015-10-09 10:28 • 来自相关话题

Windows下配置hadoop开发环境 1.开发环境 操作系统: windows7 64 位 开发工具: eclipse3.3 64 位 Hadoop 版本: 0.20.2 2.安装hadoop开发插件 将hadoop安装包...
查看更多

Hadoop2.0 Namenode HA实现方案介绍及汇总

hadoop 唐半张 发表了文章 • 0 个评论 • 783 次浏览 • 2015-10-09 10:22 • 来自相关话题

Hadoop2.0 Namenode HA实现方案介绍及汇总 基于社区最新release的Hadoop2.2.0版本,调研了hadoop HA方面的内容。hadoop2.0主要的新特性( Hadoop2.0稳定版2.2.0新特性剖析 ): [list=1]...
查看更多

hadoop如何设置超时

hadoop 唐半张 发表了文章 • 0 个评论 • 835 次浏览 • 2015-10-09 09:39 • 来自相关话题

1、HDFS写入过程中有两个超时设置: dfs.socket.timeout和 dfs.datanode.socket.write.timeout; 有些地方以为只是需要修改后面 的dfs.datanode.socket.write.timeout项就...
查看更多

hadoop不适合场景

hadoop 唐半张 发表了文章 • 0 个评论 • 451 次浏览 • 2015-10-09 09:29 • 来自相关话题

1: 低延迟数据访问        Hadoop设计的目的是大吞吐量,所以并没有针对低延迟数据访问做一些优化,如果要求低延迟, 可以看看Hbase。 2: 大量的小文件        由于NameNode把文件的MetaData存储在内存中,所以...
查看更多

hadoop1.0 和hadoop2.0 任务处理架构比较

hadoop 唐半张 发表了文章 • 0 个评论 • 528 次浏览 • 2015-10-09 09:27 • 来自相关话题

刚刚看到一篇文章对 hadoop1 和 hadoop  2  做了一个解释 图片不错 拿来看看 http://www.chinahadoop.cn/files/user/2015/01-11/170339b4404c153111.png?4.7.7 Had...
查看更多

基于大数据分析系统Hadoop的13个开源工具

hadoop 唐半张 发表了文章 • 0 个评论 • 871 次浏览 • 2015-10-09 09:24 • 来自相关话题

Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构,最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。用户可以在不了解分布式底层细节的情况下,轻松地在Hadoop上开发和运行处理海量数据的应用程...
查看更多

解析Hadoop新一代MapReduce框架Yarn

hadoop 唐半张 发表了文章 • 0 个评论 • 640 次浏览 • 2015-10-08 10:43 • 来自相关话题

背景 Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改,...
查看更多

hadoop 三节点集群安装配置详细实例

hadoop 唐半张 发表了文章 • 0 个评论 • 598 次浏览 • 2015-10-08 10:43 • 来自相关话题

hadoop 三节点集群安装配置详细实例 topo节点: 192.168.10.46 Hadoop46 192.168.10.47 Hadoop47 192.168.10.48 Hadoop48 Hadoop的守护进程deamons:NameNode/...
查看更多

YARN应用场景、原理与基本架构

yarn 唐半张 发表了文章 • 0 个评论 • 697 次浏览 • 2015-10-08 10:39 • 来自相关话题

YARN应用场景、原理与基本架构 (1) YARN概念解释 ResourceManager: 整个集群的资源管理器,负责集群资源的统一管理与调度,包括处理客户端请求,启动和监控ApplicationMaster,监控NodeManager,进行资源的统一调...
查看更多

Hadoop YARN中内存和CPU两种资源的调度和隔离

yarn 唐半张 发表了文章 • 0 个评论 • 518 次浏览 • 2015-10-08 10:39 • 来自相关话题

Hadoop YARN中内存和CPU两种资源的调度和隔离 Hadoop  YARN同时支持内存和CPU两种资源的调度(默认只支持内存,如果想进一步调度CPU,需要自己进行一些配置),本文将介绍YARN是如何对这些资源进行调度和隔离的。 在YARN中,资源管...
查看更多

Spark与Hadoop计算模型的比较分析

spark 唐半张 发表了文章 • 0 个评论 • 535 次浏览 • 2015-10-08 10:37 • 来自相关话题

Spark与Hadoop计算模型的比较分析 Spark是一个通用的并行计算框架,由UCBerkeley的AMP实验室开发。 1.Spark的中间数据放到 内存 中,对于迭代运算效率比较高。 Spark更适合于迭代运算比较多的ML和DM运算。因为在Spa...
查看更多

Hadoop2.2.0中HDFS的高可用性实现原理

hadoop 唐半张 发表了文章 • 0 个评论 • 528 次浏览 • 2015-10-08 10:35 • 来自相关话题

在 Hadoop 2.0.0之前,NameNode(NN)在 HDFS 集群中存在单点故障(single point of failure),每一个集群中存在一个NameNode,如果NN所在的机器出现了故障,那么将导致整个集群无法利用,直到...
查看更多

Hadoop shell命令

hadoop 唐半张 发表了文章 • 0 个评论 • 706 次浏览 • 2015-10-08 10:23 • 来自相关话题

FS Shell  调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是 scheme://authority/path 。对HDFS文...
查看更多