3.3.5 离线与实时的区别及完整链路

这一节把前面零散的操作串成两条完整链路，并说明每一步的前置条件，便于独立完成一次从开发到运行的作业。

3.3.5.1 适用场景对比

表28　离线与实时的适用场景

维度	离线开发	实时开发
数据特点	按批处理，数据有明确的批次与分区	持续流入的流式数据
时效性	按调度周期产出（小时、天）	秒级到分钟级持续产出
组织单位	工作流，可含多个节点与依赖关系	单个实时任务，对应一个 Flink 作业
开发内容	在画布上编排节点，逐节点写脚本	在弹窗中写 Flink SQL 或提交 JAR
资源指定	节点级 Worker 分组与环境，启动时选租户	K8s 数据源、命名空间、JM/TM 资源
运行入口	工作流定义 → 运行	任务定义 → 启动
触发方式	手动运行或定时调度	手动启动，长期驻留

左右滑动查看完整表格

3.3.5.2 操作链路对比

表29　两条链路的阶段对照

阶段	离线开发	实时开发
新建	创建工作流 → 拖节点	新建任务 → 填基础信息
配置	节点设置（脚本、资源、重试、参数）	运行内容（SQL / JAR）、资源配置
依赖	画布连线或「前置任务」	无节点依赖，单作业
调度	定时窗口配置 Cron	不涉及调度，启动即常驻
发布	上线（工作流）	上线（任务）
运行	运行，生成工作流实例	启动，生成实时实例与作业
结果	工作流实例 → 任务实例 → 日志	任务实例 → 日志（用 Job ID 定位）
停止	实例列表的停止 / 暂停	任务实例的停止

左右滑动查看完整表格

3.3.5.3 离线开发完整链路

1. 创建工作流：工作流定义 → 创建工作流 → 拖入节点 → 配置节点 → 确定 → 保存 → 填写工作流名称 → 确定。
2. 配置依赖：在画布上从一个节点拉线到下一个节点，或在节点设置的「前置任务」中指定上游。
3. 配置参数（按需）：在节点「自定义参数」或「全局参数」中定义变量，脚本中以 ${参数名} 引用。
4. 配置调度（按需）：点「定时」→ 填写起止时间与 Cron → 点「执行时间」核对未来 5 次 → 确定。
5. 上线：点操作列第 3 个图标 → 确认「是否确定上线该工作流?」→ 状态变为「上线」。
6. 运行：点「运行」→ 在「启动前请先设置参数」中确认失败策略、环境与参数 → 确定。
7. 看整体结果：工作流实例列表新增记录，状态显示成功或失败。
8. 看节点结果：任务实例列表按工作流实例筛选，定位到具体节点。
9. 看原因：任务实例「查看日志」，对照脚本原文与最终脚本内容排查。
10. 修正后重跑：单节点失败用「重跑失败任务」，整体重来用「重跑」。

编辑过的工作流要重新上线 已上线的工作流不能直接编辑，需要先下线；修改并保存后必须重新上线，新配置才会在下次运行时生效。

3.3.5.4 实时开发完整链路

1. 新建任务：实时开发 → 新建任务 → 选择作业类型 → 填写任务名称、所属目录、K8s 数据源与命名空间。
2. 配置运行内容：JAR 类型填写 Flink 根目录、JAR 资源与 Main Class；SQL 类型填写 Flink Session、执行模式与 SQL。
3. 配置资源与状态：JM/TM 内存、插槽数、Checkpoint 间隔、并行度、自定义 Flink 参数。
4. 保存：点击「保存」，任务出现在任务定义列表，状态为「已下线」。
5. 上线：点击「上线」，状态变为「已上线」。
6. 启动：点击「启动」→ 选择恢复方式（Checkpoint / Savepoint / 全新启动）→ 确认。
7. 看结果：任务实例列表出现新实例，可查看状态与启动时间，Job ID 用于在 Flink 侧定位作业。
8. 停止：在任务实例点击「停止」，状态变为「已停止」。
9. 重启：回到任务定义再次「启动」，按需要选择恢复点。

实时任务的三个必备条件 上线状态、可用的计算资源（K8s 数据源与命名空间）、正确的运行内容（SQL 或 JAR 与 Main Class），三者缺一，启动都会失败或被拦截。

3.3.5.5 前置条件与依赖关系

表30　关键操作的前置条件

操作	前置条件	不满足时的表现
创建工作流	当前项目上下文正确	列表为空，或看不到自己创建的内容
保存工作流	至少一个节点，且节点脚本已填写	「基本信息」不弹出，或保存无响应
运行工作流	工作流已上线	运行入口不响应，需先上线
补数	工作流已上线，且脚本中的日期取自调度日期	补出的数据仍为当天数据
空跑	工作流已上线	同运行，未上线时不响应
查看工作流实例	已成功发起一次运行	实例列表没有新记录
查看任务日志	任务实例已产生	无日志可查
定时生效	定时已创建，且定时状态为「上线」	到点不触发
启动实时任务	任务已上线，且填写了 K8s 数据源、命名空间与运行内容	提示「任务已下线，请先上线再启动」
从状态恢复	存在可用的 Checkpoint 或 Savepoint	恢复点列表显示「没有可用恢复点」

左右滑动查看完整表格