KeyValue size too large hadoop

Posted by abloz on January 31, 2013

跑mapreduce任务时,在reduce时遇到下列错误:

KeyValue size too large hadoop

解决办法:

修改hbase-site.xml

增加

hbase.client.keyvalue.maxsize 500m

hbase.client.keyvalue.maxsize 缺省10MB,包括row key,qualifier, HBase meta,实际value。HBase每个单元不能超过2GB。

可以将其设为0来禁用该客户端限制。 但如果内容真的太大,就不要存HBase里了,可以存个索引,真实数据放HDFS里面。