分布式写入数据库-调优-降低单条记录处理开销

Hi 老师。我是新来的插班生。
我看利用mapPartitions代替map来降低处理单条数据开销很受启发。
请问分布式写入数据库时候,是否需要确保每个executor上都有相应的API可以调用才能正确写入。以前像这样的任务还得单独写个hadoop streaming 来处理。

Dong - Hulu

赞同来自: fish

"确保每个executor上都有相应的API可以调用才能正确写入"?什么意思?   你的代码会被自动分发到各个节点上的,所以不得API都可以被调用   建议你写个程序试试。

要回复问题请先登录注册