sparkSteaming一分钟去消费一次kafka中的消息的疑惑?



val ssc = new StreamingContext(sparkConf, Seconds(15))
//window(窗口时长,窗口执行频率)
lines.window(Seconds(60), Seconds(60)).foreachRDD { rdd => ....}

直接上代码
场景:计算粒度:1分钟计算一次。
方案一:
val ssc = new StreamingContext(sparkConf, Seconds(15)) ---》15S作为一个批次去kafka中拿消息来做计算
lines.window(Seconds(60), Seconds(60)).foreachRDD { rdd => ....} ---》取时间刻度最近60S来做计算

,像上面的设计有问题吗?我的理解是可以不要窗口函数。
方案二:
真接用val ssc = new StreamingContext(sparkConf, Seconds(60)) ---》60S作为一个批次去kafka中拿消息来做计算

老师能讲一下上面的区别吗?谢谢!

要回复问题请先登录注册