瀚海星空

星空浩瀚 人类渺小

scrapy安装

周海汉 http://abloz.com scrapy是python网页抓取框架。本文介绍安装方法。 环境: [zhouhh@Hadoop48 python]$ cat /etc/redhat-release CentOS release 5.5 (Final) [zhouhh@Hadoop48 python]$ python -V Python 2.7.2 如果没有安装pip,...

apache python 模块mod_wsgi的编译安装

周海汉 2012.10.26 前言 要让apache支持django,首先要支持python。wsgi是目前效率最高的支持python的模块,遵循wsgi标准。 关于apache的编译安装,请参考我此前写的《apache httpd 2.4.3编译安装》,本篇介绍如何让apache支持wsgi。 下载 [zhouhh@Hadoop47 ~]$ wget http://modwsgi...

apache httpd 2.4.3编译安装

周海汉 2012.10.26 前言 新版apache 2.4.3直接configure会报错,缺了两个模块apr和pcre,这是需要单独下载和编译的。方法和过程如下所示。 下载 [zhouhh@Hadoop48 ~]$ wget http://mirrors.tuna.tsinghua.edu.cn/apache/httpd/httpd-2.4.3.tar.gz 编译 [zhou...

写一个google chrome 扩展插件

周海汉 2012.10.24 chrome插件开发比ie简单多了。IE必须开发activex控件,不懂com,不懂VC,非常困难。而chrome只需懂点JS,CSS,HTML5就差不多了。 方法如下: 1.新建一个目录,里面用于存放插件文件 2.新建 manifest.json 内容如下,一定要存成UTF8格式。manifest_version版本为2.第一版很快就将不支持了。第一版和第二...

用python处理图像

周海汉 2012.10.19 http://abloz.com/2012/10/19/python-handle-images.html centos 5.5 上pil安装测试 先安装PIL,即Python Image Library。可用于对验证码进行处理识别。 最简单方法,可以用pip安装PIL [zhouhh@Hadoop47 img]$ sudo pip install PIL 但...

php通过thrift访问HBase 二

作者:周海汉 日期:2012.10.18 原文地址:http://abloz.com/2012/10/18/php-thrift-access-hbase-two.html 本文实现了php通过thrift对HBase查询所有表名,查询表的所有记录,限制记录个数,对记录进行过滤,根据rowkey查询单行和多行的功能。 在HBase 0.9.4,Hadoop 1.0.3,php 5.0,th...

php通过thrift访问HBase一

原文地址:http://abloz.com/2012/10/18/php-thrift-access-hbase-a.html 作者:周海汉 日期:2012.10.18 HBase原生支持Java,因此可以通过用Java完成Jetty Servlet,通过HBase stargate提供的REST API提供数据访问。PHP可以用CURL来访问。如 http:/localhost:8080...

写个简单脚本来测试网站效率

from:http://abloz.com/2012/10/18/write-a-simple-script-to-test-the-site-efficiency.html 用time 来测试网站获取效率,for循环,curl获取网站。不是并发的。该脚本用于测试php通过thrift单个查询HBase的效率 [root@Hadoop48 html]# cat test.sh #!/b...

Quirrel查询语言

Quirrel语言是针对大数据的一种查询分析语言,同时他也是开放标准和规范。原生支持json,数据以集合的方式处理。目前貌似只有precog (http://precog.com/) 公司支持。 getting started JSON Quirrel has native support for JSON. You can create strings, numbers, boole...

hadoop 1.0.3 NameNode 实时备份

作者:周海汉 网址:http://abloz.com 日期:2012.9.27 上一篇文章讲到NFS安装。本篇基于上一篇的配置。前一篇讲到secondnamenode备份测试,以防namenode崩溃。本篇讲利用NFS进行NameNode数据实时备份。 编辑配置文件 [zhouhh@Hadoop48 conf]$ vi hdfs-site.xml dfs.name.dir ${had...