Summary
深入讲解基于Flink/Kafka的工厂实时数据流水线架构，涵盖实时OEE计算（滑动窗口、事件时间语义、水位线策略）、实时告警系统（规则引擎+CEP复杂事件处理）、实时看板（Doris+Grafana/自研）三大核心场景的设计与实现细节，以及Flink作业管理（容错、状态管理、部署模式）和与离线数仓的统一策略。
Key Claims
- 实时数据流水线解决”现在正在发生什么”的问题，技术栈为Kafka+Flink+Doris+Grafana
- 实时OEE计算使用Flink滑动窗口（5分钟窗口，1分钟滑动），基于事件时间和水位线处理乱序数据
- 告警分两个层次：规则引擎告警（简单阈值）和CEP复杂事件处理（模式序列检测）
- 告警分三级分发：紧急（短信/APP）、重要（消息+工单）、提示（记录+日报）
- Kafka Topic按
工厂/车间/产线/设备/数据类型规划，按设备ID分区保证消息有序
Connections
- 工厂数据平台总体架构 — 实时数据流水线是数据平台的”实时侧”核心组件
- 数据采集层架构 — 采集层数据通过Kafka传递给实时流水线
- 实时与离线统一架构 — 实时流水线与离线数仓的统一策略
- 数据服务与API层 — 实时流水线产出的指标通过API层对外服务
- 时序数据库选型 — 实时数据存储的选型依据
- SparkPerformance — Flink与Spark在流批处理中的协同