MapReduce

MapReduce

关于mapreducer 对象传输

Hadoop fish 回复了问题 • 2 人关注 • 3 个回复 • 130 次浏览 • 2018-02-11 19:51 • 来自相关话题

Mapreduce作业报错Stack trace: ExitCodeException exitCode=255:

MapReduce fish 回复了问题 • 2 人关注 • 1 个回复 • 607 次浏览 • 2018-01-22 16:36 • 来自相关话题

每台机器的hosts和hostname配置完整,hadoop正常启动,mapreduce工作时还是提示unknownhost,将官网提示的解决方法尝试后仍然未解决。

MapReduce macg 回复了问题 • 5 人关注 • 5 个回复 • 218 次浏览 • 2018-01-22 15:17 • 来自相关话题

hadoop运行mapreduce任务失败

MapReduce fish 回复了问题 • 2 人关注 • 1 个回复 • 444 次浏览 • 2017-05-02 18:19 • 来自相关话题

如何区分一条SQL用几个MR?

MapReduce Dong 回复了问题 • 2 人关注 • 1 个回复 • 389 次浏览 • 2017-04-19 19:37 • 来自相关话题

mapreduce出现Too Many fetch failures.Failing the attempt错误之后,任务回滚了,造成这个错误的原因主要有哪些?

MapReduce fish 回复了问题 • 2 人关注 • 2 个回复 • 1239 次浏览 • 2017-03-20 18:09 • 来自相关话题

mapreduce输出文件大小

MapReduce fish 回复了问题 • 2 人关注 • 3 个回复 • 517 次浏览 • 2017-03-17 17:06 • 来自相关话题

mapreduce执行进度,从80%退回到0又开始执行,为什么??

MapReduce fish 回复了问题 • 2 人关注 • 2 个回复 • 548 次浏览 • 2017-03-17 10:20 • 来自相关话题

在reducer阶段怎么获得这次批处理处理的总的数据量?

MapReduce wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 408 次浏览 • 2017-03-09 11:37 • 来自相关话题

mapreduce 设置的reduce个数过多job.setNumReduceTasks(numReduceTasks);会出现空文件,为什么?

MapReduce fish 回复了问题 • 4 人关注 • 3 个回复 • 535 次浏览 • 2017-03-02 18:47 • 来自相关话题

提交MR作业时,报:WordCount$TokenizerMapper not found

回复

MapReduce Mathings 回复了问题 • 1 人关注 • 1 个回复 • 591 次浏览 • 2017-01-24 19:11 • 来自相关话题

关于mapreduce程序的jar包调用

MapReduce wangxiaolei 回复了问题 • 2 人关注 • 8 个回复 • 638 次浏览 • 2016-08-25 22:43 • 来自相关话题

Hadoop 运行MapReduce 自带的例子wordcount报错

Hadoop IT_Angel 回复了问题 • 3 人关注 • 14 个回复 • 1419 次浏览 • 2016-08-25 20:01 • 来自相关话题

hadoop运行MapReduce WordCount$TokenizerMapper classNotFound

MapReduce wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 1415 次浏览 • 2016-08-18 20:59 • 来自相关话题

io.sort.mb*io.sort.record.percent

MapReduce fish 回复了问题 • 3 人关注 • 4 个回复 • 656 次浏览 • 2016-08-12 17:25 • 来自相关话题

作解5 context.write(result,key);

MapReduce wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 904 次浏览 • 2016-06-23 14:44 • 来自相关话题

作解5 Mapper cannot be resolved to a type

MapReduce vitocorleone 回复了问题 • 2 人关注 • 17 个回复 • 1926 次浏览 • 2016-06-22 16:11 • 来自相关话题

map reduce卡住

Hadoop felix0221 回复了问题 • 3 人关注 • 55 个回复 • 1776 次浏览 • 2016-06-23 21:46 • 来自相关话题

用GenericWritable适配解决reduce接受多个类型的value值问题时,多个mapper类的运行出错;

Hadoop fish 回复了问题 • 2 人关注 • 6 个回复 • 640 次浏览 • 2016-06-15 23:44 • 来自相关话题

MapReduce出现挂在Job: Running job的现象,Hive,Sqoop因此受影响(MR已经能运行)

Hadoop fish 回复了问题 • 4 人关注 • 5 个回复 • 1859 次浏览 • 2016-06-17 23:51 • 来自相关话题

关于mapreducer 对象传输

回复

Hadoop fish 回复了问题 • 2 人关注 • 3 个回复 • 130 次浏览 • 2018-02-11 19:51 • 来自相关话题

Mapreduce作业报错Stack trace: ExitCodeException exitCode=255:

回复

MapReduce fish 回复了问题 • 2 人关注 • 1 个回复 • 607 次浏览 • 2018-01-22 16:36 • 来自相关话题

hadoop 运行mapreduce,发现任务状态一直是Accepted

回复

Hadoop 小熊BN 回复了问题 • 4 人关注 • 12 个回复 • 2888 次浏览 • 2018-01-13 10:29 • 来自相关话题

hadoop运行mapreduce任务失败

回复

MapReduce fish 回复了问题 • 2 人关注 • 1 个回复 • 444 次浏览 • 2017-05-02 18:19 • 来自相关话题

如何区分一条SQL用几个MR?

回复

MapReduce Dong 回复了问题 • 2 人关注 • 1 个回复 • 389 次浏览 • 2017-04-19 19:37 • 来自相关话题

mapreduce出现Too Many fetch failures.Failing the attempt错误之后,任务回滚了,造成这个错误的原因主要有哪些?

回复

MapReduce fish 回复了问题 • 2 人关注 • 2 个回复 • 1239 次浏览 • 2017-03-20 18:09 • 来自相关话题

mapreduce输出文件大小

回复

MapReduce fish 回复了问题 • 2 人关注 • 3 个回复 • 517 次浏览 • 2017-03-17 17:06 • 来自相关话题

mapreduce执行进度,从80%退回到0又开始执行,为什么??

回复

MapReduce fish 回复了问题 • 2 人关注 • 2 个回复 • 548 次浏览 • 2017-03-17 10:20 • 来自相关话题

在reducer阶段怎么获得这次批处理处理的总的数据量?

回复

MapReduce wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 408 次浏览 • 2017-03-09 11:37 • 来自相关话题

mapreduce 设置的reduce个数过多job.setNumReduceTasks(numReduceTasks);会出现空文件,为什么?

回复

MapReduce fish 回复了问题 • 4 人关注 • 3 个回复 • 535 次浏览 • 2017-03-02 18:47 • 来自相关话题

提交MR作业时,报:WordCount$TokenizerMapper not found

回复

MapReduce Mathings 回复了问题 • 1 人关注 • 1 个回复 • 591 次浏览 • 2017-01-24 19:11 • 来自相关话题

关于mapreduce程序的jar包调用

回复

MapReduce wangxiaolei 回复了问题 • 2 人关注 • 8 个回复 • 638 次浏览 • 2016-08-25 22:43 • 来自相关话题

Hadoop 运行MapReduce 自带的例子wordcount报错

回复

Hadoop IT_Angel 回复了问题 • 3 人关注 • 14 个回复 • 1419 次浏览 • 2016-08-25 20:01 • 来自相关话题

hadoop运行MapReduce WordCount$TokenizerMapper classNotFound

回复

MapReduce wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 1415 次浏览 • 2016-08-18 20:59 • 来自相关话题

io.sort.mb*io.sort.record.percent

回复

MapReduce fish 回复了问题 • 3 人关注 • 4 个回复 • 656 次浏览 • 2016-08-12 17:25 • 来自相关话题

map reduce卡住

回复

Hadoop felix0221 回复了问题 • 3 人关注 • 55 个回复 • 1776 次浏览 • 2016-06-23 21:46 • 来自相关话题

作解5 context.write(result,key);

回复

MapReduce wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 904 次浏览 • 2016-06-23 14:44 • 来自相关话题

作解5 Mapper cannot be resolved to a type

回复

MapReduce vitocorleone 回复了问题 • 2 人关注 • 17 个回复 • 1926 次浏览 • 2016-06-22 16:11 • 来自相关话题

MapReduce出现挂在Job: Running job的现象,Hive,Sqoop因此受影响(MR已经能运行)

回复

Hadoop fish 回复了问题 • 4 人关注 • 5 个回复 • 1859 次浏览 • 2016-06-17 23:51 • 来自相关话题

MapReduce作业中Map\Reduce Tasks 数目的指定

MapReduce 唐半张 发表了文章 • 0 个评论 • 1055 次浏览 • 2015-10-09 09:33 • 来自相关话题

MapReduce作业中Map\Reduce Tasks 数目的指定 1 、MapReduce作业中Map Task 数目的指定 :1 )  MapReduce从HDFS中读取Input文件,通过Inputformat对文件进行Split分割,得到Spli...
查看更多

Yarn(MR2)上的应用汇总

Yarn 唐半张 发表了文章 • 0 个评论 • 898 次浏览 • 2015-10-08 10:40 • 来自相关话题

Yarn做为hadoop下一代集群资源管理和调度平台, 其上能支持多种计算框架, 本文就简要介绍一下这些计算框架. 1.       MapReduce 首先是大家熟悉的mapreduce, 在MR2之前, hadoop包括HDFS和mapredu...
查看更多

MapReduce\Tez\Storm\Spark四个框架的异同

MapReduce 唐半张 发表了文章 • 0 个评论 • 1097 次浏览 • 2015-10-08 10:38 • 来自相关话题

1) MapReduce:是一种离线计算框架,将一个算法抽象成Map和Reduce两个阶段进行 处理,非常适合数据密集型计算。 2) Spark:MapReduce计算框架不适合迭代计算和交互式计算,MapReduce是一种磁盘 计算框架,而Spark则...
查看更多

MapReduce – 用户编程接口

MapReduce 唐半张 发表了文章 • 0 个评论 • 829 次浏览 • 2015-09-30 10:08 • 来自相关话题

MapReduce – 用户编程接口 下面将着重谈下MapReduce框架中用户经常使用的一些接口或类的详细内容。了解这些会极大帮助你实现、配置和优化MR任务。当然javadoc中对每个class或接口都进行了更全面的陈述,这里只是一个指引教程。 ...
查看更多

combiner函数作用和用法

Hadoop 唐半张 发表了文章 • 0 个评论 • 839 次浏览 • 2015-09-30 10:05 • 来自相关话题

很多时候MapReduce程序受限于集群上可用的带宽,所以它会尽力最小化需要在map和reduce任务之间传输的中间数据。Hadoop允许用户声明一个combiner function来处理map的输出,同时把自己对map的处理结果作为reduce的输入。因...
查看更多

Shell写Wordcount程序

MapReduce 唐半张 发表了文章 • 0 个评论 • 922 次浏览 • 2015-09-30 10:02 • 来自相关话题

Mapper: #! /bin/sh while read LINE;do    for word in $LINE    do         echo "$word 1"    done done ...
查看更多

MapReduce,组合式,迭代式,链式

MapReduce 唐半张 发表了文章 • 0 个评论 • 706 次浏览 • 2015-09-30 09:58 • 来自相关话题

1.迭代式mapreduce     一些复杂的任务难以用一次mapreduce处理完成,需要多次mapreduce才能完成任务,例如Pagrank,Kmeans算法都需要多次的迭代,关于mapreduce迭代在mahout中运用较多。有兴趣的可以参考一下...
查看更多

Window开发MapReduce环境

MapReduce 唐半张 发表了文章 • 0 个评论 • 716 次浏览 • 2015-09-30 09:45 • 来自相关话题

同样适用于linux 1.首先创建Java项目   2.简单起见,导入所有jar包 在项目上 右键->属性   选择jar包位置如下图:   3.创建配置文件夹   4.将core-site.xml,hdfs-site.xml,mapred...
查看更多

mapreduce 多种输入

MapReduce 唐半张 发表了文章 • 0 个评论 • 681 次浏览 • 2015-09-29 11:18 • 来自相关话题

1.多路径输入 1)FileInputFormat.addInputPath 多次调用加载不同路径 FileInputFormat.addInputPath(job, new Path("hdfs://master:9000/cs/path1&quo...
查看更多

在Eclipse下开发并运行Hadoop Map/Reduce程序

Eclipse 唐半张 发表了文章 • 0 个评论 • 936 次浏览 • 2015-09-29 10:53 • 来自相关话题

在Eclipse下开发并运行Hadoop  Map/Reduce程序 在eclipse3.7中配置hadoop1.0.1插件 1.安装插件 准备程序: A.        eclipse-3.7 :下载:eclipse-java-indigo...
查看更多

新旧 Hadoop MapReduce 框架比对(配置)

Hadoop 唐半张 发表了文章 • 0 个评论 • 895 次浏览 • 2015-09-29 10:26 • 来自相关话题

[size=0.76em]让我们来对新旧 MapReduce 框架做详细的分析和对比,可以看到有以下几点显著变化: [size=0.76em]首先客户端不变,其调用 API 及接口大部分保持兼容,这也是为了对开发使用者透明化,使其不必对原有代码做大的改变 ( ...
查看更多

MapReduce——WordCount问题总结

MapReduce 唐半张 发表了文章 • 0 个评论 • 1107 次浏览 • 2015-09-25 11:02 • 来自相关话题

我是单节点模拟并发模式 下面把整了一下午WordCount的问题总结一下,我是自己实现了一个。 将源码打成jar包 问题1: 命令:xxx@xxx-ubuntu:~/Hadoop/hadoop-0.20.2$ bin/hadoop ja...
查看更多

分布式计算框架有哪些

MapReduce 唐半张 发表了文章 • 0 个评论 • 883 次浏览 • 2015-09-25 10:59 • 来自相关话题

在SIP项目设计的过程中,对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计,在我从前写的文章《Tiger Concurrent Practice --日志分析并行分解设计与实现》中有所提到。但是由于统计的内容暂时还是十分简单,所以就采用M...
查看更多

hadoop2.5 mapreduce编程实例

Hadoop 唐半张 发表了文章 • 1 个评论 • 896 次浏览 • 2015-09-25 10:48 • 来自相关话题

2.5 hadoop2.5 mapreduce编程实例 由于本书以“作业生命周期”为线索对Hadoop MapReduce架构设计和实现原理进行解析,因而在深入剖析各个MapReduce实现细节之前整体了解一个作业的生命周期显得非常重要。为此,本节主要讲解...
查看更多

MapReduce中的二次排序

MapReduce 夕阳丶一抹红颜 发表了文章 • 1 个评论 • 1023 次浏览 • 2015-09-22 11:44 • 来自相关话题

在 MapReduce 操作时,我们知道传递的<key,value>会按照key的大小进行排序,最后输出的结果是按照key排过序的。有的时候我们在key排序的基础上,对value也进行排序。这种需求就是二次排序。 (1)Mapper任务会接...
查看更多

Hadoop MapReduce

Hadoop 夕阳丶一抹红颜 发表了文章 • 0 个评论 • 745 次浏览 • 2015-09-22 11:31 • 来自相关话题

Hadoop MapReduce  从一大堆数中找出最大的数,类似SQL的SELECT MAX(NUMBER) FROM TABLE .这里写了个简单的MapReduce,实现了该功能.我这里会生成测试数据,同时在生成的时候会计算出最大值.待MapReduc...
查看更多

hadoop mapreduce 参数

Hadoop 夕阳丶一抹红颜 发表了文章 • 0 个评论 • 631 次浏览 • 2015-09-22 09:42 • 来自相关话题

下面介绍 hadoop mapreduce 参数 主要的六个类,只有了解了这六个类的作用,才能在编写程序中知道哪个类是要自己实现,哪些类可以调用默认的类,才能真正的做到游刃有余。 1. InputFormat类。该类的作用是将输入的文件和数据分割成许多小的sp...
查看更多

hadoop mapreduce 参数

Hadoop 夕阳丶一抹红颜 发表了文章 • 0 个评论 • 653 次浏览 • 2015-09-22 09:35 • 来自相关话题

下面介绍MapReduce的主要的六个类,只有了解了这六个类的作用,才能在编写程序中知道哪个类是要自己实现,哪些类可以调用默认的类,才能真正的做到游刃有余,那么关于 hadoop mapreduce 参数 就在下文了。 1. InputFormat类。该类...
查看更多

map-reduce 优化

MapReduce cenyuhai 发表了文章 • 0 个评论 • 770 次浏览 • 2015-09-11 14:40 • 来自相关话题

map 阶段优化 参数:io.sort.mb(default 100) 当map task开始运算,并产生中间数据时,其产生的中间结果并非直接就简单的写入磁盘。 而是会利用到了内存buffer来进行已经产生的部分结果的缓存, 并在内存buffer中进行一...
查看更多

Hbase 学习(八) 使用MapReduce

HBase cenyuhai 发表了文章 • 0 个评论 • 730 次浏览 • 2015-09-11 14:34 • 来自相关话题

在hbase的demo里面有个IndexBuilder的例子,它就是使用了MapReduce来操作hbase的,例子也比较简单,但是只包括了Mapper。 另外网上还有另外一个例子,也是说明这个的,这个例子更为全面一点,包括了Mapper和Reducer。 ...
查看更多