瀚海星空

星空浩瀚 人类渺小

hadoop 很莫名其妙的错误Child Error

周海汉 2012.9.3 在一个新环境，执行mapreduce时，报Child Error错误。提示非常不详细。 java.lang.Throwable: Child Error at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271) Caused by: java.io.IOException: Task pro...

梦想家 2012-09-03

远程监测各机器内存并告警

hadoop系统很耗内存，虽然内存不像磁盘那样很难自动恢复，但有时内存耗尽也会引起程序崩溃。这在hadoop的mapreduce job运行时算是常见问题。 用bash脚本监控： #!/bin/bash # zhouhh 2012.8.17 source config.sh export total=0 used=0 free=0 export realused=0 realfree=0...

梦想家 2012-08-28

远程检测硬盘占用并告警

hadoop系统对硬盘消耗很大。所以需要一种远程监控的方法。当然可以用一些现成的工具，如cacti,nagios等工具。也可以自己写脚本，方便管理。 #!/bin/bash # zhouhh 2012.7.23 source config.sh for ahost in ${hosts[@]}; do echo "===host:$ahost===" ssh -f $...

梦想家 2012-08-28

bash 发邮件

1.启动sendmail或postfix 邮局服务 2.用mail发邮件 我们用一个bash脚本来发送邮件 [zhouhh@h185 mgr]$ vi sendmail.sh #!/bin/bash # script to send simple email # email subject if [ "$#" -lt 1 ]; then echo "cant send ema...

梦想家 2012-08-28

何让Ren'Py显示中文

Ren’Py是一个编写可视小说或游戏的python脚本框架。但并不缺省支持中文。所以转载一篇支持中文的文档。官网：http://www.renpy.org 何让Ren’Py显示中文 脚本要保存为UTF-8编码。 将True Type中文字体(.ttf文件）复制到游戏目录，并改名为font.ttf（当然，你可以改为任何名称。也可以是中文，不过不推荐。）。...

梦想家 2012-08-28

草原行(2)

你不曾来过！ 这生命的原野， 撒满落日的余晖， 思想的奔马， 已然脱缰而去 纵横驰骋 遇见喜悦 遇见奔放 遇见刹那芳华 生命 永恒 这生命的草原 你曾经来过！ 珍珠 苍苍穹庐 草低 歌声辽远 还有那金戈铁马 大漠孤烟 也已滚滚入梦 而来

梦想家 2012-08-23

草原行(1)

这是人间的草原 舒展的山坡 温柔 如丝 烂漫 芬芳的野花 点点朵朵 我要呼吸 这片绿 这片蓝 还有 还有 那片红 那片白 而这姹紫嫣红 也盛放在 我的头  我的眼 还有 还有 你的 歌唱 你的 欢呼

梦想家 2012-08-23

hbase的内容查询(2)

Anirudh Todi 在HBASE-4176对过HBase滤器语言进行了描述。本文基于Todi的文档。 本文作者：周海汉 日期：2012-8-22 本文永久更新地址：http://abloz.com/2012/08/22/the-hbases-content-query-2.html 作者网站：http://abloz.com/ 通用过滤器语法 “FilterName (ar...

梦想家 2012-08-22

hbase的内容查询(1)

author:周海汉 2012.8.22 一、shell 查询 hbase 查询相当简单，提供了get和scan两种方式，也不存在多表联合查询的问题。复杂查询需通过hive创建相应外部表，用sql语句自动生成mapreduce进行。 但是这种简单，有时为了达到目的，也不是那么顺手。至少和sql查询方式相差较大。 hbase 提供了很多过滤器，可对行键，列，值进行过滤。过滤方式可以是子串...

梦想家 2012-08-22

hbase到mysql遇到的utf8转码的乱码问题

author:周海汉 2012.8.22 1.从应用到HBase的乱码问题 应用通过thrift将用户信息提交到hbase。应用字符是GB18030的，需转成UTF8. 用户输入的昵称很多火星文。Windows下用官网提供的iconv库来进行。官网windows 库地址：http://gnuwin32.sourceforge.net/packages/libiconv.htm。但该库是1...

梦想家 2012-08-22

特征标签
css vc6 http automake linux make makefile voip 乱码 awk flash vista vi vim javascript pietty putty ssh posix subversion svn windows 删除 编译 多线程 wxwidgets ie ubuntu 开源 c python bash 备份 性能 scp 汉字 log ruby 中文 bug msn nginx php shell wordpress mqueue android eclipse java mac ios html5 js mysql protobuf apache hadoop install iocp twisted centos mapreduce hbase thrift tutorial hive erlang lucene hdfs sqoop utf8 filter 草原 yarn ganglia 恢复 scrapy django fsimage flume tail flume-ng mining scala go kafka gradle cassandra baas spring postgres maven mybatis mongodb https nodejs 镜像 心理学 机器学习 Keras theano anaconda docker spark akka-http json 群论 区块链 加密 抽象代数 离散对数 同余 欧拉函数 扩展欧几里德算法 ES6 node-inspect debug win10 vscode 挖矿
关于

星空浩瀚

友情链接