瀚海星空

星空浩瀚 人类渺小

flume windows spool dir问题源码修改

flume-ng 1.3.1 windows可能报如下错误: 04 三月 2013 16:54:19,638 ERROR [pool-4-thread-1] (org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run:148) - Uncaught exception in Runnable java.l...

flume channel,source,sink汇总

这是flume-ng的channel,source,sink类型汇总,方便查询。 Component Type Description Implementation Class Channel memory In-memory, fast, non-durable event transport MemoryChannel Channel file ...

flume org.apache.flume.ChannelException: Unable to put batch on required channel

执行flume windows版本时遇到如下错误: 2013-02-25 12:05:37,818 (pool-4-thread-1) [INFO - org.apache.flume.client.avro.SpoolingFileLineReader.readLines(Spooling FileLineReader.java:167)] Last read was never com...

Mining of Massive Datasets,大数据挖掘

由Anand Rajaraman (@anand_raj) 和 Jeff Ullman写的《Mining of Massive Datasets》,由Cambridge University Press出版。中文版由图灵文化翻译出版《大数据:互联网大规模数据挖掘与分布式处理》。内容看上去很不错。内容源自作者在斯坦福大学教授多年的“Web挖掘”的材料。两位作者也很有爱心,提供了英文版的下载,但...

flume-ng windows tail 的python实现

周海汉 2013.2.22 http://abloz.com flume-ng 不再有tail和tailSrc这两种源,可以用exec源来实现类似的功能。在linux下,只需将exec源的command设为 tail 或tail -F file。但在windows下,如果想要类似功能,就需要自己去实现了。一种替代方案是用spooldir,但这种方式需改名,且不是实时的。 我用python...

flume-ng 1.3.1 windows version download

andy zhou http://abloz.com (To compile flume-ng of windows, please reference http://mapredit.blogspot.com/2012/07/run-flume-13x-on-windows.html or my chinese version http://abloz.com/2013/02/18/co...

flume-ng如何根据源文件名输出到HDFS文件名

周海汉/文 2013.2.19 http://abloz.com flume-ng如何根据源文件名输出到HDFS文件名 需求:源中不同的文件,格式和内容不一样,希望采集到hdfs中后,能有对应的文件名,方便后续分析。 flume-ng可以自定义header,所以可以通过header来传递一些变量。而旧版的flume则可能不得不通过逻辑节点来部署不同的端口来曲线完成一些变量约定。 自定义...

windows 下编译flume 1.3.1

周海汉/文 2013.2.18 http://abloz.com windows下flume 1.0以上没有官方版本,但一些系统需要收集windows下程序和服务的日志。可以自己编译windows下版本。 编译所需环境: 1.maven 3.x http://mirror.bit.edu.cn/apache/maven/maven-3/3.0.4/binaries/apache-mave...

linux hadoop mount 加载HDFS到本地文件系统

周海汉 2013.2.5 上一篇文章《编译hadoop 1.0.4的 libhdfs库》,完成了libhdfs的编译。在此基础上,完成fuse_dfs的生成。 编译fuse_dfs [zhouhh@Hadoop48 hadoop-1.0.4]$ ant compile-contrib -Dlibhdfs=1 -Dfusedfs=1 [exec] gcc -Wall -O3 -L/ho...

编译hadoop 1.0.4的 libhdfs库

周海汉 2013.2.4 [zhouhh@Hadoop48 hadoop-1.0.4]$ echo $JAVA_HOME /usr/java/jdk1.7.0 [zhouhh@Hadoop48 hadoop-1.0.4]$ uname -a Linux Hadoop48 2.6.18-348.el5 #1 SMP Tue Jan 8 17:53:53 EST 2013 x86_64 x86_...