Apache Spark 2.4 带来了很多的新功能和优化提升, 包括 barrier execution mode、flexible streaming sink,、内置 Avro 数据格式支持、PySpark’s eager evaluation mode、Kubernetes支持、高阶函数、Scala 2.12 支持等。

在接下来的 3.0 版本发布中, Spark 将支持自适应的 SQL 执行, 使用新的 Data Source API, 并且支持 Cypher 查询语言等。

听众受益：

1. 对 Apache Spark 2.4 的主要新功能有总体了解。
2. 了解下一个版本的主要新功能。