spark streaming任务稳定运行一天之后开始出现batches的processing time剧增,大量batch积压

job-id executor.memory driver.memory default.parallelism executor.cores shuffle.memoryFraction storage.memoryFraction num.executor application_1527574426305_0018 2G 8G 200 4 0.5 0.3 10 application_1527574426305_0019 1G 4G 200 2 0.5 0.3 10 application_1527574426305_0020 1G 4G 200 2 0.6 0.2 10 上面是三个任务申请资源的参数,任务 19 和 20出现了严重的挤压,任务18无异常运行了29.5小时

要回复问题请先登录注册