MR程序扫快照表

我用MR程序扫快照表,错误提示:AttemptID:attempt_1504595724833_5241_m_000001_0 Timed out after 600 secs Container killed by the ApplicationMaster
我已经在程序中写了
//主动发心跳
    if (System.currentTimeMillis() - lastProgressTS &get; heartBeatInterval) {
        context.progress();
        lastProgressTS = System.currentTimeMillis();
    }失败的map的日志中有org.apache.hadoop.hbase.io.hfile.LruBlockCache: totalSize=31.89 MB, freeSize=270.31 MB, max=302.20 MB, blockCount=252, accesses=972822, hits=29507, hitRatio=3.03%, , cachingAccesses=29511, cachingHits=29259, cachingHitsRatio=99.15%, evictions=59, evicted=0, evictedPerRun=0.0

史晓江

赞同来自:

如果是单独起线程context.progress();,看看是不是gc了吧。如果不是看看是不是过滤掉了太多数据,scan过滤是在map前过滤的,所以如果不是单独线程context.progress();,会很久不会进入map函数也不会context.progress();

张晓慧

赞同来自:

找到问题了,是根本没找到匹配数据,没有进入map函数,所以context.progress()没起作用

要回复问题请先登录注册