瀚海星空
星空有烂，观之忘我
预测，算命，心理学和大数据
四 27th
周海汉/文
说到计划经济，给共产主义国家的人民留下了非常严重阴影。因为政府的大手实际上无法真正预测掌控一切。
计划委员会的官员也不过是人，不是神。一旦所计划的事情庞杂到一个国家，基本上很多情况下只能瞎扯蛋了。即使一个人对自己的规划，其实也是很难做到的。何况还要规划别人的事情。
但是人类对未来预测能力的确比以前强了很多，因为人类现在有了计算机，有了网络，对数据的分析掌控能力今非昔比。现在为什么大家对大数据如此关注，因为大数据里有大价值。人类建立在网络和大数据分析的基础上的预测，是完全可能的。
最近在学习统计学，心理学，顺便学习玄学。我们来玩个游戏。
我摆个八卦，你心里默想你的出生日期，属相星座[......]
复制部分HBase表用于测试
四 2nd
周海汉/文
2013.4.2
可以将日期’08/08/16 20:56:29′从hbase log 转换成一个 timestamp, 操作如下:
hbase(main):021:0> import java.text.SimpleDateFormat
hbase(main):022:0> import java.text.ParsePosition
hbase(main):023:0> Simple[......]
hive执行语句时报NullPointerException
三 28th
java.lang.RuntimeException: Error in configuring object
at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:93)
at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:64)
at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117)
at [......]
hive 复杂 UDAF 使用方法
三 27th
周海汉 /文
2013.3.27
前文《hive mapreduce script用法示例》
示例了mapreduce脚本。本文采用较复杂的方式自定义hive聚合函数。
package com.abloz.hive;
/**
* @author zhouhh
* @date 2013-3-27
* note: for count value >=1
*/
import org.apache.hadoop.hive.ql.exec.UDAF;
import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;
import org.[......]
hive mapreduce script用法示例
三 27th
周海汉/文
2013.3.27
对于一些hql语句特殊处理，hive本身没有提供相应功能，可以有两种方式，一是mapreduce script，二是写UDF，UDAF，UDTF等。后者需要调用hive提供的api。前者则类似mapreduce的stream模式，只需正确处理输入输出即可。
所以mapreduce脚本进行一些简单处理还是很方便的。
本例想计算德州扑克玩家是否赢牌，算法是：如果弃牌或所赢筹码为NULL，则输。如果有赢边池或底池的筹码，也不一定赢。要用底池+边池筹码-所投注数，如果大于0，则一定赢了。
现在底池边池筹码是不固定的，格式如下：
0:筹码|1:筹码|2:筹码|…[......]
java 读取本地和hdfs文件夹
三 14th
周海汉/文
abloz.com
2013.3.14
package my.test;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
i[......]
一种递归计算的高效方法
三 6th
周海汉/文
http://abloz.com
递归计算，有时能非常直观的解决问题，但是非常耗资源，计算很慢，还可能导致堆栈耗尽，计算失败。所以很多时候具体实现时不提倡采用递归，而是将递归转为循环的方式来实现。但这种方式又不直观，容易出错。
有没有一种方法可以即递归，又快速实现，减少运算资源消耗呢?
python中的生成器是一种解决方案。以斐波纳契数列为例：
def fibonacci(n):
a,b=0,1
for i in xrange(n):
yield a
a,b=b,a+b
x=fibonacci(100)
print[......]
flume windows spool dir问题源码修改
三 4th
flume-ng 1.3.1 windows可能报如下错误：
04 三月 2013 16:54:19,638 ERROR [pool-4-thread-1] (org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run:148) – Uncaught exception in Runnable
java.lang.IllegalStateException: File name has been re-used with different files. Spooling assump[......]
flume channel,source,sink汇总
二 26th
这是flume-ng的channel,source,sink类型汇总，方便查询。
Component
Type
Description
Implementation Class
Channel
memory
In-memory, fast, non-durable event transport
MemoryChannel
Channel
file
A channel for reading, writing, mapping, and manipulating a file
FileChannel
Channel
jdbc
JDBC-based, durable even[......]
近期评论