2.2 API层次
API面向的是开发者，从纵向来看Flink中的API分为4个层次，从下而上，API层次越高，抽象程度越高，使用起来越方便，灵活性则会降低。
API层次如图2-2所示。
图2-2 Flink API层次
1.核心底层API
核心底层API提供了Flink的最底层的分布式计算构建块的操作API，包含了ProcessFunction、状态、时间和窗口等操作的API。
ProcessFunction是Flink提供的最具表现力的底层功能接口。Flink提供单流输入的ProcessFunction和双流输入的CoProcessFunction，能够对单个事件进行计算，也能够按照窗口对时间进行计算。
ProcessFunction提供对时间和状态的细粒度控制能力，它可以处理事件时间和处理时间两种时间概念，在时间上定义、修改触发回调函数的触发器。因此，ProcessFunction可以实现许多有状态计算中的复杂业务逻辑。
2.核心开发API （DataStream/DataSet API）
实际上，大多数应用程序不需要上述ProcessFunction的低级别抽象，使用核心开发API（如DataStream API处理实时数据流和DataSet API处理静态数据集）足以应对绝大部分场景。
DataStream/DataSet使用Fluent风格API，提供了常见数据处理的API接口，如用户指定的各种转换形式，包括连接（Join）、聚合（Aggregation）、窗口（Window）、状态（State）等。在这些API中处理的数据类型以各自的编程语言定义为Class类（Java类或者Scala类）。同时为了提供灵活性，DataStream/DataSet中也提供了直接使用底层ProcessFunction的能力，使得一些特定的操作可以实现更低层次的抽象如DataSet API为有界数据集提供了额外的原函数（如循环/迭代）。
3.声明式DSL API
Table API是以表为中心的声明式领域专用语言（Domain Specified Language，DSL）。表是关系型数据库的概念，用在批处理中。在流计算中，为了引入了动态表的概念（Dynamic Table），用来表达数据流表，在批处理和流计算中统一了表的概念，后边会介绍。
Table API遵循（扩展）关系模型，使用Schema定义元数据（与关系数据库中的表相似），提供Table API实现SQL操作，如select、project、join、group-by、aggregate等。Table API表达的是“应该做什么”的逻辑操作，而不是编写如何处理数据的底层代码。Table API可以通过各种类型的用户定义的函数进行扩展，虽然不如核心API表达能力强，但使用起来更加简洁（少写很多代码）。
此外，Table API程序还可以通过在执行之前使用SQL优化器进行优化。可以在表和DataStream/DataSet之间无缝转换，允许程序中混合使用Table API和DataStream/DataSet API。
4.结构化API
SQL是Flink的结构化API，是最高层次的计算API，与Table API基本等价，区别在于使用的方式。SQL与Table API可以混合使用，SQL可以操作Table API定义的表，Table API也能操作SQL定义的表和中间结果。
SQL对复杂逻辑的语义表达不如DataStream API，但是SQL也带来了不少好处。
（1）缩短上线周期
传统的实现流计算的方式是通过流计算平台提供的API进行编程的，包括确定需求、实现设计、编写代码、进行本地单元测试、进行集成测试，没有问题后部署上线等流程。整个开发过程中，开发人员不光要满足业务需求，还需要关注技术实现的细节，而使用SQL的方式后，开发人员只要关注业务需求即可，技术实现的细节可以交给SQL引擎去解析、编译、优化。最终，相比传统的通过编码实现流计算的方式，上线周期可以从数天缩短为数小时。
（2）更好地支持流计算需求的演变
随着业务需求持续不断的变化，编码方式的开发、测试、部署上线的周期不能很快的响应业务需求的变化，使用SQL则能够缩短开发、测试、部署的周期。
（3）自动调优
查询优化器可以为用户的SQL生成最高效的执行计划。用户不需要了解它就能自动享受优化器带来的性能提升。
（4）接口稳定
SQL拥有几十年的历史，是一个非常稳定的语言，很少有变动。所以升级引擎的版本、甚至替换成另一个引擎时，都可以做到兼容并且平滑地升级。
（5）易于理解
SQL的学习门槛很低，很多不同行业不同领域的人都懂SQL，用SQL作为跨团队的开发语言可以大大提高效率。
在Flink1.9及以后的版本中，Flink会在API层面上统一DataStream流处理API和DataSet批处理API，DataSet API会逐渐被废弃，未来会使用DataStream API统一表达流批两种处理，作为流批统一的计算引擎，这种做法是合理的。Google Cloud Dataflow开源的Apache Beam提供了一种流批统一API的实现范例。
本书重点阐述DataStream API和Table&SQL API。