Flink基础教程
目录前言 ..............................................................................................................................ix第 1 章 为何选择 Flink ......................................................................................... 11.1 流处理欠佳的后果 ......................................................................................... 21.1.1 零售业和市场营销 ............................................................................ 21.1.2 物联网 ................................................................................................ 31.1.3 电信业 ................................................................................................ 51.1.4 银行和金融业 .................................................................................... 51.2 连续事件处理的目标 ..................................................................................... 61.3 流处理技术的演变 ......................................................................................... 61.4 初探 Flink ....................................................................................................... 91.5 生产环境中的 Flink ..................................................................................... 121.5.1 布衣格电信 ...................................................................................... 131.5.2 其他案例 .......................................................................................... 141.6 Flink 的适用场景 ......................................................................................... 15第 2 章 流处理架构 ............................................................................................. 172.1 传统架构与流处理架构 ............................................................................... 172.2 消息传输层和流处理层 ............................................................................... 182.3 消息传输层的理想功能 ............................................................................... 192.3.1 兼具高性能和持久性 ...................................................................... 202.3.2 将生产者和消费者解耦 .................................................................. 202.4 支持微服务架构的流数据 ........................................................................... 21vi ｜ 目录2.4.1 数据流作为中心数据源 .................................................................. 222.4.2 欺诈检测：流处理架构用例 .......................................................... 222.4.3 给开发人员带来的灵活性 .............................................................. 242.5 不限于实时应用程序 ................................................................................... 242.6 流的跨地域复制 ........................................................................................... 26第 3 章 Flink 的用途 ............................................................................................ 293.1 不同类型的正确性 ....................................................................................... 293.1.1 符合产生数据的自然规律 .............................................................. 293.1.2 事件时间 .......................................................................................... 313.1.3 发生故障后仍保持准确 .................................................................. 323.1.4 及时给出所需结果 .......................................................................... 333.1.5 使开发和运维更轻松 ...................................................................... 333.2 分阶段采用 Flink ......................................................................................... 34第 4 章 对时间的处理 ......................................................................................... 354.1 采用批处理架构和 Lambda 架构计数 ........................................................ 354.2 采用流处理架构计数 ................................................................................... 384.3 时间概念 ....................................................................................................... 404.4 窗口 ............................................................................................................... 414.4.1 时间窗口 .......................................................................................... 414.4.2 计数窗口 .......................................................................................... 434.4.3 会话窗口 .......................................................................................... 434.4.4 触发器 .............................................................................................. 444.4.5 窗口的实现 ...................................................................................... 444.5 时空穿梭 ....................................................................................................... 444.6 水印 ............................................................................................................... 454.7 真实案例：爱立信公司的 Kappa 架构 ...................................................... 47第 5 章 有状态的计算 ......................................................................................... 495.1 一致性 ........................................................................................................... 505.2 检查点：保证 exactly-once ......................................................................... 515.3 保存点：状态版本控制 ............................................................................... 595.4 端到端的一致性和作为数据库的流处理器 ............................................... 625.5 Flink 的性能 ................................................................................................. 655.5.1 Yahoo! Streaming Benchmark .......................................................... 65目录 ｜ vii5.5.2 变化 1：使用 Flink 状态 ................................................................. 665.5.3 变化 2：改进数据生成器并增加吞吐量 ....................................... 675.5.4 变化 3：消除网络瓶颈 ................................................................... 685.5.5 变化 4：使用 MapR Streams........................................................... 695.5.6 变化 5：增加 key 基数 .................................................................... 695.6 结论 ............................................................................................................... 71第 6 章 批处理：一种特殊的流处理 .............................................................. 736.1 批处理技术 ................................................................................................... 756.2 案例研究：Flink 作为批处理器 ................................................................. 76附录 其他资源 ...................................................................................................... 79关于作者 .................................................................................................................... 84
评论