KeyValue size too large hadoop - 瀚海星空

2013-01-31

跑mapreduce任务时，在reduce时遇到下列错误：

KeyValue size too large hadoop

解决办法：

修改hbase-site.xml

增加

hbase.client.keyvalue.maxsize 500m

hbase.client.keyvalue.maxsize 缺省10MB，包括row key，qualifier, HBase meta，实际value。HBase每个单元不能超过2GB。

可以将其设为0来禁用该客户端限制。但如果内容真的太大，就不要存HBase里了，可以存个索引，真实数据放HDFS里面。

如非注明转载, 均为原创. 本站遵循知识共享CC协议,转载请注明来源

css vc6 http automake linux make makefile voip 乱码 awk flash vista vi vim javascript pietty putty ssh posix subversion svn windows 删除编译多线程 wxwidgets ie ubuntu 开源 c python bash 备份性能 scp 汉字 log ruby 中文 bug msn nginx php shell wordpress mqueue android eclipse java mac ios html5 js mysql protobuf apache hadoop install iocp twisted centos mapreduce hbase thrift tutorial hive erlang lucene hdfs sqoop utf8 filter 草原 yarn ganglia 恢复 scrapy django fsimage flume tail flume-ng mining scala go kafka gradle cassandra baas spring postgres maven mybatis mongodb https nodejs 镜像心理学机器学习 Keras theano anaconda docker spark akka-http json 群论区块链加密抽象代数离散对数同余欧拉函数扩展欧几里德算法 ES6 node-inspect debug win10 vscode 挖矿