本文共 453 字，大约阅读时间需要 1 分钟。

总结前面性能优化相关文章，列出Spark开发性能优化的一般步骤

前述文章包括：

思路如下：

1. 开发之前和开发过程中，参考 一文中的 10大原则，分析业务逻辑，提前定位可能的性能瓶颈
2. 尽可能将资源相关的配置放在提交命令中，不要硬编码在代码中，根据具体业务和使用的spark版本， 参考 一文，确定任务所需资源
3. 观察线上任务，如果 出现OOM 或者 SparkUI 上观察到发生数据倾斜，参考 一文进行方案调整
4. 一般来说，通过前面3步，已可解决大部分问题，如需进一步针对 shuffle 进行优化，可参考 一文，进行特别配置

第3、4点属于事后优化，即线上任务出现问题后进行定位、解决，Spark Core 性能优化之内存模型 一文加深 对 Spark 内存的理解，以便更加从容的解决 spark 性能问题

个人觉得，相比于Flink任务，Spark需要开发任务对Spark内存等方面有更为深入的理解，方能应付线上出现的一系列问题，而Flink这方面则简便许多，尤其是在背压方面，Flink帮运维省去了大部分精力

转载地址：http://juxxi.baihongyu.com/