使用分区表,查询关联 会报错,(分区表 关联 分区表 或者是 分区表 关联 非分区表 都会出错 )

select *  from prepare_base_goldcanopen a  where not EXISTS (select 1 from black_list b where a.userid=b.userid )  limit 10;
black_list 是分区表 不是很大,700M 大小,按日期分区 大概是两年多的时间 就是800个左右的分区。
prepare_base_goldcanopen 是非分区表  有7G 大,877W 条记录 后来 做了一张小表  44M ,50W条记录的 prepare_base_goldcanopen2 表,跑同样的语句,但还是 跑不出来,报错信息如下:。
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
MapReduce Jobs Launched:
Stage-Stage-1: Map: 102  Reduce: 211   Cumulative CPU: 5877.2 sec   HDFS Read: 45695359610 HDFS Write: 0 FAIL
Total MapReduce CPU Time Spent: 0 days 1 hours 37 minutes 57 seconds 200 msec

但是 之前做过一个5表 关联查询 (都不是分区表) 总大小 有100多G  是可以跑出结果的,跑了2900 s 接近50分钟。 附上语句,语句也很复杂,所以可以排除hadoop 集群 计算能力的问题

要回复问题请先登录注册