瀚海星空

星空浩瀚 人类渺小

HBase跨集群复制数据的另一种方法

http://abloz.com date:2012.8.14 上一篇文章《hbase 复制备份数据》 中提到用工具CopyTable来在集群间复制数据。另外还有一种更暴力的方式,来共享HBase备份表。因为有时候两个集群并不连通。 一、从源hbase集群中复制出HBase数据库表到本地目录 最好停止HBase,否则可能会丢部分数据 [hbase@hadoop200 ~]$ hado...

对mapreduce代码进行单元测试

http://abloz.com hadoop自带一个wordcount的示例代码,用于计算单词个数。我将其单独移出来,测试成功。源码如下: package org.apache.hadoop.examples; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop...

编程方式将hbase数据复制到mysql


Hadoop过滤配置变量


hadoop 打印配置变量


hdfs 文件打包存档

打包存档命令: [zhouhh@Hadoop48 ~]$ hadoop archive archive -archiveName NAME -p * 在父目录后面可以跟若干子目录,也可以不跟,直接打全部父目录。 如: hadoop archive -archiveName foo.har -p /user/hadoop dir1/dir2 dir3 /user/zoo/ 表示dir...

用distcp进行hdfs的并行复制

from http://abloz.com date:2012.7.26 author:ablozhou#gmail.com 我另一篇文章提到了《HBase复制备份数据》,可以通过CopyTable来复制表。对于HDFS的数据,可以通过distcp来进行复制和备份。 distcp 是Hadoop一个有用的分布式复制程序,可以从Hadoop复制大量数据,也可以将大量数据复制到Hadoop中。...

从mysql将数据导入hive

http://abloz.com author:周海汉 date:2012.7.20 下面是从mysql将数据导入hive的实例。 –hive-import 表示导入到hive,–create-hive-table表示创建hive表。–hive-table指定hive的表名。 [zhouhh@Hadoop46 ~]$ sqoop import --connect jdbc:mysql://...

Hive导出到Mysql中中文乱码的问题

http://abloz.com author:周海汉 2012.7.20 在上一篇文章《从hive将数据导出到mysql》中,虽然通过hive中转,将hbase的数据成功导出到了mysql中,但是我们遇到了中文乱码问题。 一、mysql中的编码 mysql> show variables like 'collation_%'; +----------------------...

从hive将数据导出到mysql

http://abloz.com 2012.7.20 author:周海汉 在上一篇文章《用sqoop进行mysql和hdfs系统间的数据互导》中,提到sqoop可以让RDBMS和HDFS之间互导数据,并且也支持从mysql中导入到HBase,但从HBase直接导入mysql则不是直接支持,而是间接支持。要么将HBase导出到HDFS平面文件,要么将其导出到Hive中,再导出到mysq...