入门客AI创业平台(我带你入门,你带我飞行)
博文笔记

hadoop2.0 distcp checksum mismatch

创建时间:2013-11-30 投稿人: 浏览次数:1633

在往 2.0版本做数据迁移时碰到check-sum错误

Caused by: java.io.IOException: Check-sum mismatch between        

at org.apache.hadoop.tools.mapred.RetriableFileCopyCommand.compareCheckSums(RetriableFileCopyCommand.java:144)

        at org.apache.hadoop.tools.mapred.RetriableFileCopyCommand.doCopy(RetriableFileCopyCommand.java:108)
        at org.apache.hadoop.tools.mapred.RetriableFileCopyCommand.doExecute(RetriableFileCopyCommand.java:83)
        at org.apache.hadoop.tools.util.RetriableCommand.execute(RetriableCommand.java:87)

        ... 11 more

cdh官网上提供二种解决方案

1. 修改hdfs-site.xml

dfs.checksum.type = CRC32

2.加 -skipcrccheck参数



声明:该文观点仅代表作者本人,入门客AI创业平台信息发布平台仅提供信息存储空间服务,如有疑问请联系rumenke@qq.com。
  • 上一篇:没有了
  • 下一篇:没有了
未上传头像