HDFS

HDFS

hadoop2.9运行自带wordcount时出错?

Java 坏脾气先森 回复了问题 • 3 人关注 • 2 个回复 • 354 次浏览 • 2018-08-22 10:59 • 来自相关话题

请问可以修改 hdfs文件的副本数,实现副本的增加减少吗?

Hadoop 银河系管理员 回复了问题 • 2 人关注 • 1 个回复 • 208 次浏览 • 2018-02-09 10:41 • 来自相关话题

kafka接收很多消息,怎么写到hdfs里比较好呢 ?

回复

Kafka 封尘 发起了问题 • 1 人关注 • 0 个回复 • 237 次浏览 • 2018-02-09 10:37 • 来自相关话题

在客户端将附件上传至hdfs,会记录客户端本机用户名,其他机器的客户端访问不到本机上传的材料,这个该如何解决?

HDFS 兔撕鸡大爷 回复了问题 • 2 人关注 • 1 个回复 • 179 次浏览 • 2018-02-08 15:36 • 来自相关话题

请问spark输出到hdfs怎样改成mapreduce的输出格式?

回复

HDFS JVMer 发起了问题 • 1 人关注 • 0 个回复 • 190 次浏览 • 2018-02-08 16:33 • 来自相关话题

java读取HDFS上的文件报错

HDFS jane3von 回复了问题 • 2 人关注 • 2 个回复 • 342 次浏览 • 2018-01-05 15:52 • 来自相关话题

hadoop fuse-hdfs挂载

Hadoop 脸脸 回复了问题 • 2 人关注 • 9 个回复 • 960 次浏览 • 2017-08-18 11:26 • 来自相关话题

mapreduce执行程序HDFS路径找不到

Hadoop fish 回复了问题 • 2 人关注 • 7 个回复 • 1014 次浏览 • 2017-08-05 23:32 • 来自相关话题

文件占用空间异常

HDFS fish 回复了问题 • 2 人关注 • 1 个回复 • 300 次浏览 • 2017-06-27 18:23 • 来自相关话题

hadoop执行wordcount报错

HDFS fish 回复了问题 • 3 人关注 • 2 个回复 • 401 次浏览 • 2017-05-07 13:26 • 来自相关话题

namenode 元数据损坏

HDFS mopishv0 回复了问题 • 2 人关注 • 2 个回复 • 1015 次浏览 • 2017-03-31 13:10 • 来自相关话题

HDFS HA+YARN 执行命令 bin/hdfs haadmin -transitionToActive nn1 时出错

Hadoop wangxiaolei 回复了问题 • 3 人关注 • 8 个回复 • 1836 次浏览 • 2016-12-19 15:07 • 来自相关话题

Mac上如何配置hdfs home

HDFS fish 回复了问题 • 3 人关注 • 1 个回复 • 461 次浏览 • 2016-12-15 23:18 • 来自相关话题

部署多机HDFS HA+YRAN时,格式化出错,namenode无法启动

HDFS a674967156 回复了问题 • 4 人关注 • 6 个回复 • 831 次浏览 • 2016-11-09 14:04 • 来自相关话题

hdp 集成kerberos,测试向hdfs 写入

HDFS fish 回复了问题 • 2 人关注 • 3 个回复 • 1476 次浏览 • 2016-10-17 15:22 • 来自相关话题

大作业KafkaToHDFS

HDFS zealveryme 回复了问题 • 3 人关注 • 3 个回复 • 612 次浏览 • 2016-09-21 10:56 • 来自相关话题

bin/hdfs namenode -format报错

HDFS wangxiaolei 回复了问题 • 2 人关注 • 5 个回复 • 742 次浏览 • 2016-08-29 22:35 • 来自相关话题

启动n1主节点的时候报错

Hadoop wangxiaolei 回复了问题 • 3 人关注 • 14 个回复 • 1038 次浏览 • 2016-08-29 17:10 • 来自相关话题

条新动态, 点击查看
两种方式:
1.  java -cp target/kafka_hdfs-0.0.1-SNAPSHOT-jar-with-dependencies.jar:/etc/hadoop/conf cn.chinahadoop.kafka.hadoop_consume... 显示全部 »
两种方式:
1.  java -cp target/kafka_hdfs-0.0.1-SNAPSHOT-jar-with-dependencies.jar:/etc/hadoop/conf cn.chinahadoop.kafka.hadoop_consumer.TestHadoopConsumer
2. java -cp target/kafka_hdfs-0.0.1-SNAPSHOT.jar:`/mnt/xkhadoop/hadoop-2.6.0-cdh5.4.0/bin/hadoop classpath` cn.chinahadoop.kafka.hadoop_consumer.TestHadoopConsumer
 
 
那谁知道这个“垃圾清理”机制所需要的策略是什么?
可以自己根据策略通过hadoop fs -du,hadoop fs -ls,hadoop fs -rm的组合完成你的工具。
那谁知道这个“垃圾清理”机制所需要的策略是什么?
可以自己根据策略通过hadoop fs -du,hadoop fs -ls,hadoop fs -rm的组合完成你的工具。

hadoop机架感知脚本修改之后需要重启namenode么

Hadoop link 回复了问题 • 1 人关注 • 4 个回复 • 2162 次浏览 • 2015-11-23 09:54 • 来自相关话题

hadoop2.9运行自带wordcount时出错?

回复

Java 坏脾气先森 回复了问题 • 3 人关注 • 2 个回复 • 354 次浏览 • 2018-08-22 10:59 • 来自相关话题

sqoop从mysql导入hdfs的时候,报错ERROR manager.SqlManager

回复

Sqoop Bangle 回复了问题 • 2 人关注 • 1 个回复 • 2277 次浏览 • 2018-06-03 13:14 • 来自相关话题

请问可以修改 hdfs文件的副本数,实现副本的增加减少吗?

回复

Hadoop 银河系管理员 回复了问题 • 2 人关注 • 1 个回复 • 208 次浏览 • 2018-02-09 10:41 • 来自相关话题

kafka接收很多消息,怎么写到hdfs里比较好呢 ?

回复

Kafka 封尘 发起了问题 • 1 人关注 • 0 个回复 • 237 次浏览 • 2018-02-09 10:37 • 来自相关话题

请问spark输出到hdfs怎样改成mapreduce的输出格式?

回复

HDFS JVMer 发起了问题 • 1 人关注 • 0 个回复 • 190 次浏览 • 2018-02-08 16:33 • 来自相关话题

java读取HDFS上的文件报错

回复

HDFS jane3von 回复了问题 • 2 人关注 • 2 个回复 • 342 次浏览 • 2018-01-05 15:52 • 来自相关话题

Apache的Hadoop中HDFS方式挂载--fuse

回复

Hadoop Sam_Hadoop 回复了问题 • 3 人关注 • 2 个回复 • 1259 次浏览 • 2017-12-28 15:34 • 来自相关话题

正在部署多机hdfs ha+yarn,启动namenode时遇到以下错误

回复

Hadoop xinchai 回复了问题 • 3 人关注 • 2 个回复 • 4491 次浏览 • 2017-10-14 16:38 • 来自相关话题

hadoop fuse-hdfs挂载

回复

Hadoop 脸脸 回复了问题 • 2 人关注 • 9 个回复 • 960 次浏览 • 2017-08-18 11:26 • 来自相关话题

mapreduce执行程序HDFS路径找不到

回复

Hadoop fish 回复了问题 • 2 人关注 • 7 个回复 • 1014 次浏览 • 2017-08-05 23:32 • 来自相关话题

文件占用空间异常

回复

HDFS fish 回复了问题 • 2 人关注 • 1 个回复 • 300 次浏览 • 2017-06-27 18:23 • 来自相关话题

Hadoop MapReduce 性能优化

回复

Hadoop 李志博 回复了问题 • 3 人关注 • 3 个回复 • 1525 次浏览 • 2017-06-09 16:56 • 来自相关话题

hadoop执行wordcount报错

回复

HDFS fish 回复了问题 • 3 人关注 • 2 个回复 • 401 次浏览 • 2017-05-07 13:26 • 来自相关话题

浏览器输入master:50070,HDFS界面打不开,本地已经配置了hosts

回复

Hadoop alexpan 回复了问题 • 4 人关注 • 4 个回复 • 2100 次浏览 • 2017-04-20 10:53 • 来自相关话题

namenode 元数据损坏

回复

HDFS mopishv0 回复了问题 • 2 人关注 • 2 个回复 • 1015 次浏览 • 2017-03-31 13:10 • 来自相关话题

colud only be replicated to 0 nodes instead of minReplication (=1)

回复

Hadoop 余财源 回复了问题 • 3 人关注 • 2 个回复 • 486 次浏览 • 2017-01-01 10:06 • 来自相关话题

Cloudera生成的用户hdfs的默认密码是什么?

回复

HDFS XFun 回复了问题 • 5 人关注 • 3 个回复 • 7863 次浏览 • 2016-12-24 14:01 • 来自相关话题

Hadoop 2.0 部署单机HDFS+YARN——示例

HDFS wangxiaolei 发表了文章 • 0 个评论 • 2009 次浏览 • 2015-11-25 14:36 • 来自相关话题

准备Linux 虚拟机环境 1、用Oracle VM VirtualBox 虚拟Linux 系统 虚拟好的Linux 操作系统:ubuntu-14.04-desktop-i386 准备好:hadoop-2.2.0.tar.gz jdk-6u45-linux...
查看更多

Hadoop2.2.0中HDFS的高可用性实现原理

Hadoop 唐半张 发表了文章 • 0 个评论 • 956 次浏览 • 2015-10-08 10:35 • 来自相关话题

在 Hadoop 2.0.0之前,NameNode(NN)在 HDFS 集群中存在单点故障(single point of failure),每一个集群中存在一个NameNode,如果NN所在的机器出现了故障,那么将导致整个集群无法利用,直到...
查看更多

HDFS的JavaAPI操作

HDFS 唐半张 发表了文章 • 0 个评论 • 874 次浏览 • 2015-10-08 10:21 • 来自相关话题

[code]package hdfs; import static org.junit.Assert.fail; import java.util.Arrays; import org.apache.hadoop.conf.Configuration; ...
查看更多

利用SQOOP将数据从数据库导入到HDFS

Sqoop 唐半张 发表了文章 • 0 个评论 • 903 次浏览 • 2015-10-08 10:04 • 来自相关话题

基本使用 [size=0.9em]如下面这个shell脚本: [size=0.9em]#Oracle的连接字符串,其中包含了Oracle的地址,SID,和端口号 CONNECTURL=jdbcracle:thin20.135.60.21:1521WRAC2...
查看更多

Flume进阶-将日志文件写入HDFS

Flume 唐半张 发表了文章 • 0 个评论 • 1541 次浏览 • 2015-10-06 10:15 • 来自相关话题

配置将指定目录下的日志文件写入HDFS 步骤 1:通过hadoop创建目录/flume/log 2:复制hadoop-core-1.1.1.jar到flume/lib 3:配置一个hdfs.conf如下 agent1.sources = spooldirSou...
查看更多

Sqoop从Oracle导入到HDFS

Sqoop 唐半张 发表了文章 • 0 个评论 • 1650 次浏览 • 2015-09-30 10:57 • 来自相关话题

#Oracle的连接字符串,其中包含了Oracle的地址,SID,和端口号 CONNECTURL=jdbc http://bbs.chinahadoop.cn/static/image/smiley/default/shocked.gif racle...
查看更多

Flume-ng HDFS sink原理解析

Flume 唐半张 发表了文章 • 0 个评论 • 1347 次浏览 • 2015-09-30 10:18 • 来自相关话题

HDFS sink主要处理过程在process方法: //循环batchSize次或者Channel为空 for  (txnEventCount = 0; txnEventCount < batchSize; txnEventCount++) { //...
查看更多

用sqoop进行mysql和hdfs系统间的数据互导

Sqoop 唐半张 发表了文章 • 0 个评论 • 1210 次浏览 • 2015-09-30 09:39 • 来自相关话题

下载: http://www.apache.org/dyn/closer.cgi/sqoop/ [zhouhh@Hadoop48 ~]$ wget http://labs.renren.com/apache-mirror/sqoop/1.4.1-incubat...
查看更多

HDFS体系结构简介及优缺点

HDFS 唐半张 发表了文章 • 0 个评论 • 891 次浏览 • 2015-09-29 10:49 • 来自相关话题

1      HDFS体系结构简介及优缺点 1.1 体系结构简介           HDFS是一个主/从(Mater/Slave)体系结构,从最终用户的角度来看,它就像传统的文件系统一样,可以通过目录路径对文件执行CRUD(Create、Read、...
查看更多

关于HDFS副本放置策略

HDFS 唐半张 发表了文章 • 0 个评论 • 923 次浏览 • 2015-09-29 10:42 • 来自相关话题

          副本的存放是HDFS 可靠性和性能的关键 .  优化的副本存放策略是 HDFS 区分于其他大部分分布式文件系统的重要特性 .  这种特性需要做大量的调优 ,  并需要经验的积累 . HDFS 采用一种称为机架感知 ...
查看更多

HDFS操作可视化的问题

Hadoop 唐半张 发表了文章 • 0 个评论 • 1074 次浏览 • 2015-09-28 10:40 • 来自相关话题

在安装好Hadoop集群之后,为验证HDFS文件相关操作功能,本人对目前常用的三种方法进行了验证,给出自己的实验环境,一些感受和想法。(1)搭建的实验环境: Hadoop 版本:Apache 0.20.2。 Eclipse版本:3.5.2。 Ja...
查看更多

HDFS的运行原理

HDFS 唐半张 发表了文章 • 0 个评论 • 853 次浏览 • 2015-09-28 10:25 • 来自相关话题

简介 HDFS (Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统( 中文 , 英文 )。 HDF...
查看更多

hadoop 创建hdfs文件夹

Hadoop 唐半张 发表了文章 • 0 个评论 • 1464 次浏览 • 2015-09-25 11:02 • 来自相关话题

sudo addgroup Hadoop#添加一个hadoop组 sudo usermod -a -G hadoop larry#将当前用户加入到hadoop组 sudo gedit etc/sudoers#将hadoop组加入到sudoer 在...
查看更多

分布式计算框架有哪些

MapReduce 唐半张 发表了文章 • 0 个评论 • 937 次浏览 • 2015-09-25 10:59 • 来自相关话题

在SIP项目设计的过程中,对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计,在我从前写的文章《Tiger Concurrent Practice --日志分析并行分解设计与实现》中有所提到。但是由于统计的内容暂时还是十分简单,所以就采用M...
查看更多

hdfs创建文件

HDFS 夕阳丶一抹红颜 发表了文章 • 0 个评论 • 857 次浏览 • 2015-09-22 11:45 • 来自相关话题

public void create(String src, FsPermission masked, String clientName,                      boolean overwrite, short replicatio...
查看更多

hadoop hdfs配置dfs.replication

Hadoop 夕阳丶一抹红颜 发表了文章 • 0 个评论 • 1216 次浏览 • 2015-09-22 11:42 • 来自相关话题

dfs.data.dir指的是datanode上数据存放的目录,配置多个可能是因为一个目录下面挂的硬盘不够用,所以多加了几个目录 repication是配置hdfs中数据存放的份数,也就是备份数,防止数据丢失的
查看更多

hdfs平衡分布

HDFS cenyuhai 发表了文章 • 0 个评论 • 861 次浏览 • 2015-09-11 14:40 • 来自相关话题

这篇文章是从网上看到的,觉得很好就收藏了,但是最终不知道出处了。 Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候,将引发很多问题,比如MR程序无法很好地利用本地计算的优势,...
查看更多

nfs挂载hdfs,实现云存储

HDFS cenyuhai 发表了文章 • 0 个评论 • 827 次浏览 • 2015-09-11 14:39 • 来自相关话题

本来不知道nfs是啥,因为群里的Harry童鞋有个问题,如何把本地目录挂载到hdfs上,搞什么云存储,说那么巧就是那么巧,HDP支持nfs,然后我就照着文档的说明去做,最后弄出来了。   1.修改机器上的hdfs-default.xml    vi /shar...
查看更多

源码分析之灰太狼手札(四):HDFS IO

HBase mopishv0 发表了文章 • 0 个评论 • 1028 次浏览 • 2015-09-08 15:20 • 来自相关话题

四 HDFS IO  4.1 L2缓存  4.1.1 构造 代码起始位置:Store 259行。     如3.1.3所述构造CacheConfigBuilder实例时创建L2BucketCacheFactory实例(目前没有多种实现的配置),然后...
查看更多