瀚海星空

星空浩瀚 人类渺小

centos 5.5 NFS 安装

作者:周海汉 网址:http://abloz.com 日期:2012.9.27 Hadoop 1.0.3以前版本服务器由于namenode的单点问题,namenode备份成为重要问题。second namenode由于并非完全实时,只能做次要方案。 我们也可以将namenode存放目录放在本地和网络硬盘上,这样达到metainfo备份的目的。 配置nfs 1.软件环境准备 服务器 nf...

namenode崩溃的数据恢复测试

周海汉/文 http://abloz.com 2012.9.9 前言 用second namenode 数据恢复测试。datanode由于采用2-3个备份,即使一台设备损坏,还是能自动恢复并找回全部数据。 hadoop 1.0.3和0.20之前的版本,namenode存在单点问题。如果namenode损坏,会导致整个系统数据彻底丢失。所以second namenode就显得特别重要。本文主...

用ganglia监控hadoop

周海汉/文 http://abloz.com 2012.9.9 ganglia可以通过JMX来监控hadoop,并生成图形。cacti也可以通过插件,利用JMX,用于监控hadoop。只是目前cacti的监控插件很久没有更新,运行起来很困难,需要多处修改。就算运行起来了,还是和现有hadoop相关产品很多指标不一致,所以不适合使用。 ganglia则在hadoop中原生支持。 [zh...

ganglia 安装

周海汉 /文 2012.9.19 ganglia安装 ganglia是用于超大集群监控的利器,可以和Hadoop集群度量紧密集成。新版ganglia将内核功能模块和web展示模块是分开下载的。 下载ganglia内核 下载地址:http://downloads.sourceforge.net/project/ganglia/ [zhouhh@h185 ~]$ wget http:/...

yarn hadoop mapreduce 2.0 编译

周海汉 /文 2012.9.19 ## 下载 [zhouhh@h185 ~]$ wget http://labs.mop.com/apache-mirror/hadoop/chukwa/stable/chukwa-0.4.0.tar.gz [zhouhh@h185 ~]$ wget http://labs.mop.com/apache-mirror/hadoop/common/had...

hadoop系统的端口

周海汉 /文 2012.9.13 本文地址:http://abloz.com/2012/09/13/the-hadoop-system-of-port.html hadoop系统部署时用到不少端口。有的是Web UI所使用的,有的是内部通信所使用的,有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。 1.系统 80...

mysql 中对用户分数排名

周海汉/文 2012.9.11 mysql 不提供排名函数,所以需自己去实现。 排序先用mapreduce进行,但对于相同成绩的,其排名应该一样。而mapreduce由于没有先后关系的数据,所以没法做这工作。可以在应用程序中将数据循环读出,再判断是否分数相等,如果相等,则其名次相等。也可以在mysql 5.0以后的版本中,采用存储过程来实现。 需求中还需要单独取一个用户资料时,也得到其正...

手工移除.META.表的错误信息

周海汉/文 2012.9.5 从其他HBase数据库中硬导出了HDFS的HBase数据出来,但在新的cluster中hbase hbck -repair后,.META.表中还是有一些垃圾数据,导致region server不停写日志报告region表不存在,HBase创建删除表奇慢。错误日志量一天有几个G。 通过过滤错误日志,可以获得错误的表名。 cat thelog | grep ...

[转]Scheme入门资料

最近在看《计算机程序的构造和解释》(SICP),为了顺利看完该书,免不得要学一学Scheme,先找了一些资料,以作后用。 SICP 官方HTML版 ePub版 PDF版 mobi/kindle版 习题解(SICP-Solutions) SICP-Solutions(schemewiki...

zookeeper client操作

周海汉/文 2012.9.4 独立的zookeeper 自带zkCli.sh,可以执行后查询zookeeper节点。 但在和HBase一起发布的zookeeper,没有带相应的独立shell文件。zookeeper配置也融合到hbase-site.xml中了。 如果想操作命令行shell,可以用hbase zkcli这样的命令。 命令行操作 [zhouhh@h185 bin]$ hba...