瀚海星空

星空浩瀚 人类渺小

用python模拟hadoop的map reduce过程

用python简单模拟hadoop的map reduce过程，便于对hadoop工作机制进行理解。 简单来说，map reduce过程是： 给出一个(key,value)的列表list1，分析完后得到另一个想要的(key,value)列表 list1(k1,v1)->map ->list2(k2,v2)->sort,combine,shuffle->list3(k3...

梦想家 2012-06-25

hbase 复制备份数据

hbase官方文档中文版的14.7节，讲了如何备份恢复hbase数据库。有好几种方法。现在我想从另一个集群将某个表转移到新的集群Hadoop46，47，48中，采用copytable方法。 需要先在目标集群中创建相应的表，否则会报org.apache.hadoop.hbase.TableNotFoundException: Cannot find row in .META. for tabl...

梦想家 2012-06-19

hadoop连不上节点端口？

原因：DataNode 47系统cpu过高重启后，出现下述问题。 [zhouhh@Hadoop48 ~]$ fs -rm 1.txt rm: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete /user/zhouhh/1.txt. Name node is in safe mode. 进入了安全模式...

梦想家 2012-06-18

hadoop 套件匹配问题

因为hadoop相关组件很多，有hadoop，hbase，hive，pig等，但没有发行套件。而每个组件的开发进度不一，一些组件还没有稳定，版本号很低，经常遇到组件之间不配套引发的莫名其妙的问题。 由于hadoop是这套系统的核心，可能需要找一个大家都兼容的版本。 目前hadoop已经出了一个1.03和2.0 alpha的版本，这是所有组件中版本最高的。但其他组件都没有跟上，为了兼容可能得...

梦想家 2012-06-18

hive 执行hbase创建表时找不到protobuf

hadoop:1.0.3 hive:0.9.0 hbase:0.94.0 protobuf:$HBASE_HOME/lib/protobuf-java-2.4.0a.jar 可以看到，0.9.0的hive里面自带的hbase的jar是0.92版本的。 [zhouhh@Hadoop48 ~]$ hive –auxpath $HIVE_HOME/lib/hive-hbase-handler...

梦想家 2012-06-15

hive 入门教程

http://abloz.com 2012.6.14 下载 [zhouhh@Hadoop48 ~]$ wget http://labs.renren.com/apache-mirror/hive/hive-0.9.0/hive-0.9.0.tar.gz 配置 [zhouhh@Hadoop48 ~]$ tar zxvf hive-0.9.0.tar.gz [zhouhh@Hadoop48 ...

梦想家 2012-06-14

hadoop 中的 ClassNotFoundException

在执行hbase或mapreduce的程序时，有时会遇到ClassNotFoundException。如果jar包里的MANIFEST.MF没有指定Main-Class,就会遇到这一问题。但如果指定无误，还是会遇到这样的问题。 有人的建议是将所有用到的jar包都打进要执行的jar包里。这是一种解决方法。但即使将jar包全打进了新的jar文件，还是会遇到该问题。如我在执行hbase的Inde...

梦想家 2012-06-11

hbase java 读写实例

package com.abloz.hbase; //date:2012.6.7 //http://abloz.com //hadoop 1.0.3 //hbase 0.94.0 //tested on centos 5.5 //cluster distributed system:Hadoop48,Hadoop47,Hadoop46 /* [zhouhh@Hadoop48 hbase-0...

梦想家 2012-06-07

hbase 集群安装配置

http://abloz.com date:2012.6.7 有了hadoop集群安装的经验，hbase的安装还是比较简单的。 拓扑还是同hadoop一样，HBase Master为hadoop48，另外两台hadoop46，hadoop47作为region server。 下载hbase **hbase版本需与hadoop相配。但版本号hbase和hadoop已经不再一致。目前最...

梦想家 2012-06-07

tightvnc

tightvnc 是一款很小但很好用的vnc软件，包括服务器端server和客户端viewer。 全屏后退出快捷键： Ctrl+alt+shift+f linux server端配置： 如果没有安装gnome，先安装： [root@Hadoop48 ~]# yum groupinstall “X Window System” “GNOME Desktop Environment” ...

梦想家 2012-06-06

特征标签
css vc6 http automake linux make makefile voip 乱码 awk flash vista vi vim javascript pietty putty ssh posix subversion svn windows 删除 编译 多线程 wxwidgets ie ubuntu 开源 c python bash 备份 性能 scp 汉字 log ruby 中文 bug msn nginx php shell wordpress mqueue android eclipse java mac ios html5 js mysql protobuf apache hadoop install iocp twisted centos mapreduce hbase thrift tutorial hive erlang lucene hdfs sqoop utf8 filter 草原 yarn ganglia 恢复 scrapy django fsimage flume tail flume-ng mining scala go kafka gradle cassandra baas spring postgres maven mybatis mongodb https nodejs 镜像 心理学 机器学习 Keras theano anaconda docker spark akka-http json 群论 区块链 加密 抽象代数 离散对数 同余 欧拉函数 扩展欧几里德算法 ES6 node-inspect debug win10 vscode 挖矿
关于

星空浩瀚

友情链接