瀚海星空

星空浩瀚 人类渺小

flume 日志收集单节点

周海汉 2013.1.21 flume 是 cloudera公司研发的日志收集系统，采用3层结构：1. agent层，用于直接收集日志;2.connect 层，用于接受日志; 3. 数据存储层，用于保存日志。由一到多个master管理1和2层节点。 本文采用单节点试用flume日志处理。 下载 flume下载页面 https://github.com/cloudera/flume/...

梦想家 2013-01-21

HBase 0.94.3的HRegion名字

周海汉 2013.1.10 HBase 可以通过Region server的60030端口看到各区域的信息。 Region Name Start Key End Key Metrics -ROOT-,,0.70236052 numberOfStores=1, numberOfStorefiles=1, storefileUncompressedSizeMB=0...

梦想家 2013-01-10

Client访问HBase数据的过程

周海汉 2013.1.9 http://abloz.com client访问HBase数据前，先要到Zookeeper查找hmaster的地址和-ROOT-表的region保存在哪里。 [zk: h47:2181(CONNECTED) 2] ls / [hbase, zookeeper] [zk: h47:2181(CONNECTED) 28] ls /hbase [splitlo...

梦想家 2013-01-09

hadoop 1.0.3 fsimage 文件写源码分析

周海汉 2013.1.8 上一篇文章《hadoop 1.0.4 fsimage 文件格式分析》描述了hadoop1.04的fsimage的格式。 本篇看看hadoop 1.0.3源码是如何实现的。fsimage格式 1.04和1.03之间没有差别。 public interface FSConstants { public static int MAX_PATH_LENGTH = 8000...

梦想家 2013-01-08

hadoop 1.0.4 fsimage 文件格式分析

周海汉 2013.1.8 http://abloz.com/2013/01/08/hadoop-1-0-4-fsimage-file-format.html fsimage文件存放在NameNode中，保存HDFS中文件的meta信息。fsimage和edits 文件格式是一样的。都是二进制存储。具有文件头，目录信息，文件信息。本文分析一下fsimage文件的格式。不同版本的fsimag...

梦想家 2013-01-08

Hadoop简单监控脚本开源

用于监控hadoop系统各主机状态，如内存占用，硬盘占用，进程是否存在。如果达到一定阈值或进程退出则发送email告警。 下载地址：https://code.google.com/p/hadoop-simple-monitor/ 特点： 很简单的用于监控Hadoop各节点状况，包括内存占用情况，硬盘占用情况，进程是否存在等。如果出问题将发送email告警。 ...

梦想家 2013-01-06

检测mysql服务，如果退出则重启

周海汉 2013.1.1 检测重启的bash脚本如下： root@ubuntu:~# cat my.sh #!/bin/bash my=ps -ef |grep mysql |grep -v root |wc -l date=date if [ $my != 1 ]; then service mysql start echo “$date mysql start” fi 脚本单独...

梦想家 2013-01-01

HBase官方文档中文版在官方网站添加链接

周海汉(Andy Zhou) 2012.12.28 多谢Stack, 很热心的将HBase参考指南的中文版添加到官方网站的菜单中，相信会有更多中国人受益。 继续欢迎志愿者加入翻译队伍。 参与到此处 (https://code.google.com/p/hbasedoc-cn/)或访问我的blog(http://abloz.com)，或给我发email，ablozhou#gmail.co...

梦想家 2012-12-28

scrapyd 运行spider时遇到的一个错误

andy 2012.12.28 from http://abloz.com 2012-12-28 05:57:33+0800 [Launcher,29590/stderr] main() File “/usr/local/lib/python2.7/dist-packages/scrapyd/runner.py”, line 36, in main execute() File “/us...

梦想家 2012-12-27

用docbook写文档

周海汉 2012.12.27 在翻译HBase官方文档中文版时遇到一个困难，就是原文进行大量章节变动后，对章节号和注解号跟踪非常困难。在usenet上询问，HBase官方文档作者之一Stack告诉我是采用DocBook来写xml，然后再通过maven来编译生成html的。自己又土了一把，直接下载html翻译的。为什么很多开源软件的文档不是直接编写html呢？ html和word文档都有一个...

梦想家 2012-12-27

特征标签
css vc6 http automake linux make makefile voip 乱码 awk flash vista vi vim javascript pietty putty ssh posix subversion svn windows 删除 编译 多线程 wxwidgets ie ubuntu 开源 c python bash 备份 性能 scp 汉字 log ruby 中文 bug msn nginx php shell wordpress mqueue android eclipse java mac ios html5 js mysql protobuf apache hadoop install iocp twisted centos mapreduce hbase thrift tutorial hive erlang lucene hdfs sqoop utf8 filter 草原 yarn ganglia 恢复 scrapy django fsimage flume tail flume-ng mining scala go kafka gradle cassandra baas spring postgres maven mybatis mongodb https nodejs 镜像 心理学 机器学习 Keras theano anaconda docker spark akka-http json 群论 区块链 加密 抽象代数 离散对数 同余 欧拉函数 扩展欧几里德算法 ES6 node-inspect debug win10 vscode 挖矿
关于

星空浩瀚

友情链接