Flume

Flume

Flume启动控制台不会输出运行日志

Flume fish 回复了问题 • 2 人关注 • 1 个回复 • 98 次浏览 • 2018-07-03 10:09 • 来自相关话题

flume出现java.lang.ClassNotFoundException: org.apache.flume.sink.kafka.KafkaSink

回复

Flume anchao 发起了问题 • 1 人关注 • 0 个回复 • 199 次浏览 • 2018-06-02 00:07 • 来自相关话题

flume+kafka整合时,flume启动报错

Kafka fish 回复了问题 • 2 人关注 • 1 个回复 • 100 次浏览 • 2018-03-30 10:51 • 来自相关话题

flume配置sources的ignorePattern问题

Flume fish 回复了问题 • 3 人关注 • 2 个回复 • 263 次浏览 • 2017-11-28 17:07 • 来自相关话题

flume使用file channel报错

Flume fish 回复了问题 • 3 人关注 • 2 个回复 • 337 次浏览 • 2017-11-28 19:24 • 来自相关话题

开启Flume-ng报错

回复

Flume jane3von 回复了问题 • 1 人关注 • 1 个回复 • 440 次浏览 • 2017-08-23 15:11 • 来自相关话题

Flume 使用Hive Sink 运行后 接收数据错误

Flume nh0823 回复了问题 • 4 人关注 • 6 个回复 • 1470 次浏览 • 2017-11-03 18:08 • 来自相关话题

Flume 如何一天的数据追加在一个XXX.txt文件中

Flume fish 回复了问题 • 2 人关注 • 4 个回复 • 350 次浏览 • 2017-07-24 12:22 • 来自相关话题

flume syslongudp 丢数据,如何提升flume效率?增加channel和sink数量?

Flume Dong 回复了问题 • 2 人关注 • 1 个回复 • 967 次浏览 • 2017-05-18 13:09 • 来自相关话题

flume日志数据写入kafka中,启动flume报错

Flume fish 回复了问题 • 3 人关注 • 2 个回复 • 805 次浏览 • 2017-03-20 18:03 • 来自相关话题

flume启动报错,Unable to start SinkRunne

Kafka wangxiaolei 回复了问题 • 2 人关注 • 2 个回复 • 915 次浏览 • 2017-02-17 10:07 • 来自相关话题

flume tailSource 读取像log4j 日志时出现最后一段数据丢失

Flume wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 533 次浏览 • 2017-02-14 12:02 • 来自相关话题

flume接收syslog丢数问题

Flume wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 651 次浏览 • 2017-02-14 12:47 • 来自相关话题

flume kafkaSource 的问题

Kafka 九天 回复了问题 • 4 人关注 • 4 个回复 • 1732 次浏览 • 2018-03-01 14:22 • 来自相关话题

flume 远程访问集群hdfs

Flume wangxiaolei 回复了问题 • 1 人关注 • 1 个回复 • 718 次浏览 • 2017-01-10 10:19 • 来自相关话题

flume 实时采集数据疑惑 taildir?

Flume jhg22 回复了问题 • 3 人关注 • 2 个回复 • 2485 次浏览 • 2016-12-19 20:32 • 来自相关话题

flume经典问题(工作中总结的很常见、很棘手的问题)

Flume dajianzhang 回复了问题 • 2 人关注 • 2 个回复 • 726 次浏览 • 2016-12-15 16:28 • 来自相关话题

flume-ng 写文件到kafka,然后dump出文件的问题

Flume IT_Angel 回复了问题 • 2 人关注 • 3 个回复 • 963 次浏览 • 2016-12-16 12:19 • 来自相关话题

flume与spark相结合做离线、实时分析的疑惑?

Flume jhg22 回复了问题 • 4 人关注 • 2 个回复 • 805 次浏览 • 2016-12-15 09:46 • 来自相关话题

条新动态, 点击查看
wangxiaolei

wangxiaolei 回答了问题 • 2015-10-23 17:47 • 1 个回复 不感兴趣

flume 跑example.conf报错(已经解决)

赞同来自:

ERROR提示你的地址被使用了。JDWP是远程调试用的,不能被初始化。
1、可以把远程调试的关了试试。
2、使用命令查查调试端口与其它应用的调试端口是否冲突,
例如查当前是否有8004端口占用:netstat -na|grep 8004 或者是你配置的端口号。
ERROR提示你的地址被使用了。JDWP是远程调试用的,不能被初始化。
1、可以把远程调试的关了试试。
2、使用命令查查调试端口与其它应用的调试端口是否冲突,
例如查当前是否有8004端口占用:netstat -na|grep 8004 或者是你配置的端口号。

Flume启动控制台不会输出运行日志

回复

Flume fish 回复了问题 • 2 人关注 • 1 个回复 • 98 次浏览 • 2018-07-03 10:09 • 来自相关话题

flume出现java.lang.ClassNotFoundException: org.apache.flume.sink.kafka.KafkaSink

回复

Flume anchao 发起了问题 • 1 人关注 • 0 个回复 • 199 次浏览 • 2018-06-02 00:07 • 来自相关话题

flume向kafkaSink发送消息,kafkaSink接收不到

回复

Flume 依风逗春 回复了问题 • 4 人关注 • 3 个回复 • 3644 次浏览 • 2018-04-02 15:50 • 来自相关话题

flume+kafka整合时,flume启动报错

回复

Kafka fish 回复了问题 • 2 人关注 • 1 个回复 • 100 次浏览 • 2018-03-30 10:51 • 来自相关话题

flume收集syslog(udp source)时,丢失数据严重

回复

Flume men3cheng 回复了问题 • 4 人关注 • 3 个回复 • 1922 次浏览 • 2018-03-12 17:37 • 来自相关话题

flume kafkaSource 的问题

回复

Kafka 九天 回复了问题 • 4 人关注 • 4 个回复 • 1732 次浏览 • 2018-03-01 14:22 • 来自相关话题

flume使用file channel报错

回复

Flume fish 回复了问题 • 3 人关注 • 2 个回复 • 337 次浏览 • 2017-11-28 19:24 • 来自相关话题

flume配置sources的ignorePattern问题

回复

Flume fish 回复了问题 • 3 人关注 • 2 个回复 • 263 次浏览 • 2017-11-28 17:07 • 来自相关话题

Flume 使用Hive Sink 运行后 接收数据错误

回复

Flume nh0823 回复了问题 • 4 人关注 • 6 个回复 • 1470 次浏览 • 2017-11-03 18:08 • 来自相关话题

开启Flume-ng报错

回复

Flume jane3von 回复了问题 • 1 人关注 • 1 个回复 • 440 次浏览 • 2017-08-23 15:11 • 来自相关话题

Flume 如何一天的数据追加在一个XXX.txt文件中

回复

Flume fish 回复了问题 • 2 人关注 • 4 个回复 • 350 次浏览 • 2017-07-24 12:22 • 来自相关话题

flume syslongudp 丢数据,如何提升flume效率?增加channel和sink数量?

回复

Flume Dong 回复了问题 • 2 人关注 • 1 个回复 • 967 次浏览 • 2017-05-18 13:09 • 来自相关话题

flume日志数据写入kafka中,启动flume报错

回复

Flume fish 回复了问题 • 3 人关注 • 2 个回复 • 805 次浏览 • 2017-03-20 18:03 • 来自相关话题

flume启动报错,Unable to start SinkRunne

回复

Kafka wangxiaolei 回复了问题 • 2 人关注 • 2 个回复 • 915 次浏览 • 2017-02-17 10:07 • 来自相关话题

flume接收syslog丢数问题

回复

Flume wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 651 次浏览 • 2017-02-14 12:47 • 来自相关话题

flume tailSource 读取像log4j 日志时出现最后一段数据丢失

回复

Flume wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 533 次浏览 • 2017-02-14 12:02 • 来自相关话题

flume 远程访问集群hdfs

回复

Flume wangxiaolei 回复了问题 • 1 人关注 • 1 个回复 • 718 次浏览 • 2017-01-10 10:19 • 来自相关话题

flume 实时采集数据疑惑 taildir?

回复

Flume jhg22 回复了问题 • 3 人关注 • 2 个回复 • 2485 次浏览 • 2016-12-19 20:32 • 来自相关话题

flume-ng 写文件到kafka,然后dump出文件的问题

回复

Flume IT_Angel 回复了问题 • 2 人关注 • 3 个回复 • 963 次浏览 • 2016-12-16 12:19 • 来自相关话题

Flume NG source和sink实现

Flume 唐半张 发表了文章 • 0 个评论 • 1158 次浏览 • 2015-10-06 11:07 • 来自相关话题

Source实现: Avro source,监听avro端口并从外部avro客户端流接受events; Thrift source,监听thrift端口并从外部thrift客户端流接收events; Exec source,在启动时运行一个Unix命令,在标准...
查看更多

Flume og agent source和sink数据源格式

Flume 唐半张 发表了文章 • 0 个评论 • 1043 次浏览 • 2015-10-06 10:23 • 来自相关话题

Flume自带了很多直接可用的数据源( source ),如: ·                text(“filename”):将文件filename作为数据源,按行发送 ·                tail(“filename”):探测filena...
查看更多

Flume进阶-将日志文件写入HDFS

Flume 唐半张 发表了文章 • 0 个评论 • 1464 次浏览 • 2015-10-06 10:15 • 来自相关话题

配置将指定目录下的日志文件写入HDFS 步骤 1:通过hadoop创建目录/flume/log 2:复制hadoop-core-1.1.1.jar到flume/lib 3:配置一个hdfs.conf如下 agent1.sources = spooldirSou...
查看更多

Apache Flume - HDFSSink

Flume 唐半张 发表了文章 • 0 个评论 • 754 次浏览 • 2015-10-06 10:14 • 来自相关话题

        HDFSSink用来将数据写入Hadoop分布式文件系统(HDFS)中。支持创建text和sequence文件。支持这2种文件类型的压缩。支持文件周期性滚动(就是关闭当前文件在建立一个新的),滚动可以基于时间、数据大小、事件数量。也支持通过e...
查看更多

flume+kafka+storm+mysql 数据流

Flume 唐半张 发表了文章 • 0 个评论 • 2238 次浏览 • 2015-10-06 10:04 • 来自相关话题

天终于将 flume + kafka + storm + mysql 这条数据流走通了,虽然只是一个简单的测试例子,但是依据这条数据流可以做的事情很多。 先简单看一下这几个工具的架构吧,架构图会更好说明: flume的架构图: http://img...
查看更多

flume 几个比较有用的source、sink和decorator

Flume 唐半张 发表了文章 • 0 个评论 • 1181 次浏览 • 2015-09-30 11:11 • 来自相关话题

Source catalog: 1.Console  控制台输出,可以带输出内容格式的参数 比如console(“raw”), console(“json”) [b]2.text("filename" ) 一次读取文件内容,每一个换...
查看更多

flume ng配置拓扑图

Flume 唐半张 发表了文章 • 0 个评论 • 1416 次浏览 • 2015-09-30 11:06 • 来自相关话题

生产环境flume ng配置拓扑图。超级详细 http://www.chinahadoop.cn/files/user/2015/01-23/093357593397965782.jpg?4.7.11

Flume(ng) 自定义sink实现和属性注入

Flume 唐半张 发表了文章 • 0 个评论 • 1105 次浏览 • 2015-09-30 11:03 • 来自相关话题

远端日志收集的整体思路是远端自定义实现log4j的appender把消息发送到flume端,flume端自定义实现一个sink来按照我们的规则保存日志。 自定义Sink代码: public class LocalFileLogSink extend...
查看更多

Flume NG flume-hdfs-sink 源代码分析

Flume 唐半张 发表了文章 • 0 个评论 • 844 次浏览 • 2015-09-30 10:59 • 来自相关话题

SINK的分享 C1: HDFSEventSink 0. HDFSEventSink.configure() also needs to implement a Configurable interface for processing its ow...
查看更多

Flume OG 常用source sink cllector

Flume 唐半张 发表了文章 • 0 个评论 • 727 次浏览 • 2015-09-30 10:20 • 来自相关话题

Flume OG  source text(“filename”):将文件filename作为数据源,按行发送 tail(“filename”):探测filename新产生的数据,按行发送出去 fsyslogTcp(5140):监听TCP的5...
查看更多

Flume-ng HDFS sink原理解析

Flume 唐半张 发表了文章 • 0 个评论 • 1280 次浏览 • 2015-09-30 10:18 • 来自相关话题

HDFS sink主要处理过程在process方法: //循环batchSize次或者Channel为空 for  (txnEventCount = 0; txnEventCount < batchSize; txnEventCount++) { //...
查看更多

Flume配合hadoop的使用

Flume 唐半张 发表了文章 • 0 个评论 • 670 次浏览 • 2015-09-29 10:48 • 来自相关话题

下载最新版0.9.4  https://github.com/downloads/clo ... on-0.9.4-bin.tar.gz 1、设置环境变量:FLUME_CONF_DIR  解压后conf路径(JAVA路径等) 2、启动master:...
查看更多

Flume分布式环境部署

Flume 唐半张 发表了文章 • 0 个评论 • 1070 次浏览 • 2015-09-29 10:45 • 来自相关话题

$wget http://cloud.github.com/downloads/cloudera/flume/flume-distribution-0.9.4-bin.tar.gz $tar -xzvf flume-distribution-0.9.4-bi...
查看更多

Flume介绍

Flume 唐半张 发表了文章 • 0 个评论 • 564 次浏览 • 2015-09-29 10:44 • 来自相关话题

Flume是一个分布式、可靠、和 高可用 的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 设计目标: (1) 可靠性 当节点出现故障时,日志...
查看更多

Flume OG自带sink、source、collector

Flume 唐半张 发表了文章 • 0 个评论 • 798 次浏览 • 2015-09-29 10:43 • 来自相关话题

# Flume OG自带Source console                      监听用户编辑历史和快捷键输入,只在node_nowatch模式下可用 stdin                        监听标准输入,只在node...
查看更多

分布式日志系统类比

Flume 唐半张 发表了文章 • 0 个评论 • 738 次浏览 • 2015-09-28 10:27 • 来自相关话题

背景 Google、Facebook、Amazon等互联网巨头对于数据的创造性使用,创造出了很多辉煌的商业产品。如Amazon创造出的新的推荐模式:”查询此商品的顾客也查询了。。。。。”、“看过此商品的后的顾客买的其他商品有。。。。。。”、“购买了您最近...
查看更多