spark部分task一直处于RUNNING状态

spark部分task一直处于RUNNING状态(可能是一直卡死),导致整个spark作业持续运行,可以通过spark的推测执行来解决。

spark.speculation=true

spark.speculation.interval 100:检测周期,单位毫秒;
spark.speculation.quantile 0.75:当运行成功的task占总task的百分比启动推测;
spark.speculation.multiplier 1.5:比其他的慢多少倍时启动推测。

Leave a Reply

Your email address will not be published. Required fields are marked *