spark部分task一直处于RUNNING状态

spark部分task一直处于RUNNING状态(可能是一直卡死),导致整个spark作业持续运行,可以通过spark的推测执行来解决。

spark.speculation=true

spark.speculation.interval 100:检测周期,单位毫秒;
spark.speculation.quantile 0.75:当运行成功的task占总task的百分比启动推测;
spark.speculation.multiplier 1.5:比其他的慢多少倍时启动推测。

发表评论

电子邮件地址不会被公开。 必填项已用*标注