瀚海星空

星空浩瀚 人类渺小

在hive中创建HBase外部表

http://abloz.com author:周海汉 date:2012.7.19 HBase查询award表 hbase(main):003:0> scan 'award' ,LIMIT=>2 ROW COLUMN+CELL 2012-04-27 06:55:00:102713629 column=info:MPID, timestamp=134189025428...

用sqoop进行mysql和hdfs系统间的数据互导

sqoop 是apache下用于RDBMS和HDFS互相导数据的工具。 本文档是sqoop的使用实例,实现从mysql到hdfs互导数据,以及从Mysql导数据到HBase。 下载: http://www.apache.org/dyn/closer.cgi/sqoop/ [zhouhh@Hadoop48 ~]$ wget http://labs.renren.com/apache-mi...

用rsync来同步Hadoop各服务器配置

http://abloz.com date:2012.7.5 update:2012.8.8 rsync是一个很好用远程同步工具。相较scp而言,在Hadoop类似的分布式部署中,rsync更加强大好用。 示例,同步hbase-env.sh配置。 [zhouhh@Hadoop48 ~]$ cd hbase-0.94.0/conf [zhouhh@Hadoop48 conf]$ vi h...

用qperf测网络带宽和延迟

http://abloz.com date:2012.7.5 yufeng的blog谈到qperf来测试网络带宽和延迟,试用了一下,感觉不错。 Hadoop47当服务器 [zhouhh@Hadoop47 ~]$ sudo yum install qperf [zhouhh@Hadoop47 ~]$ qperf Hadoop48当客户端 [zhouhh@Hadoop48 ~]$ s...

hbase shell中timestamp转为可读格式

http://abloz.com date:2012.7.4 将hbase shell的timestamp转为可读。下面的示例将-ROOT-表的列info:serverstartcode的timestamp和value转成可读格式。 hbase(main):001:0> scan '-ROOT-' ROW COLUMN+CELL .M...

hbase如何执行ruby脚本

from:http://abloz.com author:ablozhou date:2012.7.3 在hbase的官方文档里,讲述了hbase的bin目录下的ruby程序,可以采用如下的方式执行: 如果要使用脚本,可以看Hbase的bin 目录.在里面找到后缀为 *.rb的脚本.要想运行这个脚本,要这样 $ ./bin/hbase org.jruby.Main PATH_TO_SC...

使用nutch和solr建立搜索引擎

from: http://abloz.com author:周海汉 date:2012.7.3 一、lucene,solr,nutch,hadoop的区别和联系 apache lucene是apache下一个著名的开源搜索引擎内核,基于Java技术,处理索引,拼写检查,点击高亮和其他分析,分词等技术。 nutch和solr原来都是lucene下的子项目。但后来nutch独立成为独立...

tomcat安装

来源:http://abloz.com author:ablozhou date: 2012-07-02 [zhouhh@Hadoop48 ~]$ wget http://labs.renren.com/apache-mirror/tomcat/tomcat-7/v7.0.28/bin/apache-tomcat-7.0.28.tar.gz Length: 7674156 (7.3M) ...

apache 搜索引擎solr试用

来源:http://abloz.com author:ablozhou date: 2012-07-02 solr是apache旗下的开源搜索服务器,基于lucene搜索引擎。目前是apache的lucene项目下的子项目。solr的安装配置已经相当简单。所以,看起来像google那样复杂的搜索引擎技术,也可以不费很大力气的情况下,实现一个小型版。目前solr是企业级搜索服务器,最新版4....

有趣的erlang

来源:http://abloz.com author:ablozhou date: 2012-06-28 erlang语言以函数式编程和并发编程著称。它是从爱立信公司出来的,随着多核和并发编程,云计算越来越多,而逐渐占有一席之地。 它有很多死板的规定。如:变量以大写开头,变量不可更改,用递归代替循环等。习惯了c/c++这类语言的工程师,的确需要时间来转这个弯。 安装: [zhouhh...