切换主题
3.2.2.1 元数据采集
入口:数据治理 → 元数据管理 → 元数据采集。
3.2.2.1.1 查询采集任务
- 在“任务名称”中输入关键词。
- 按需选择“来源类别”和“执行状态”;需要更多条件时点击“展开”,按页面显示继续筛选。
- 点击“查询”,等待加载完成。
- 核对任务名称、数据源和采集范围,再查看任务状态、执行方式、最近执行状态、最后执行及最近成功采集时间。
- 用底部分页切换记录;点击“重置”恢复默认条件。
| 页面信息 | 阅读方法 |
|---|---|
| 状态 | 任务是否启用,与单次执行是否成功分开判断 |
| 执行方式 | 手动或定时;定时任务展示配置的表达式 |
| 最近执行状态 | 最近一次运行结果;运行中时等待完成后再维护 |
| 最后执行 | 判断最近是否发起过执行,不等同于成功更新时间 |
| 最近成功采集 | 判断当前结构结果的时效;失败后不应误认为结果已更新 |
左右滑动查看完整表格
注意事项:任务运行中,编辑、立即执行、停用和删除等按钮可能不可用。先等待运行结束,再按最新状态选择操作。
3.2.2.1.2 新建手动采集任务
- 点击“新建采集任务”,输入能说明用途的任务名称。
- 在“数据源”中选择当前项目已有的连接。检查下方来源摘要中的数据库类型、连接和限定库,确保选对来源。
- “来源类别”为系统根据来源展示的信息;当前数据库表来源不需要再次手工判断内外部类别。
- 在“执行方式”中选择“手动执行”。手动方式不需要填写定时表达式和任务起止时间。
- 按需填写“任务说明”,说明采集用途。
- 选择“全部采集”或“指定范围”。全部采集读取该来源可访问范围内的结构;指定范围按下一节选择库、Schema或表。
- 点击“保存”,成功后返回列表检查数据源、范围和执行方式。
- 需要开始采集时,在该任务行点击“立即执行”,并查看后续执行状态。
操作结果:保存一条采集任务配置。保存配置和执行采集是两个步骤,应继续检查执行记录和最近成功采集时间。
3.2.2.1.3 配置指定采集范围
- 先选择数据源,再切换到“指定范围”。
- 等待对象树加载完成;在“搜索库、Schema或表”中输入关键词缩小范围。
- 展开数据库,按来源能力继续展开Schema或表。名称相同的表需结合完整路径判断。
- 勾选目标库、Schema或表。勾选父级范围前,检查是否确实需要其全部下级对象。
- 核对右上角“已选择”数量和勾选状态;不需要的对象取消勾选。
- 保存前再次确认数据源、库和表的归属。
示例:选择“pwd-MySQL-Report”,展开“report”,可选择“mall_orders”或“mall_users”。仅需要订单结构时选择“mall_orders”,无需把其他表一并加入。
注意事项:一条任务使用一个来源。变更数据源或范围前先核对现有勾选;不要把“当前搜到的全部表”直接理解为所有未来新增表也会自动纳入。范围冲突时按提示检查已有任务。
3.2.2.1.4 新建定时采集任务
- 打开“新建采集任务”,填写名称、数据源和采集范围。
- 将“执行方式”改为“定时执行”,展开定时配置和时间字段。
- 点击“定时配置”旁的“执行时间”,在弹出的组件中按“秒、分、时、天、月、年”切换设置。各页按需要选择每单位、间隔、具体值多选或周期范围等选项,设置后核对回填的Cron表达式。也可直接填写已确认有效的表达式。
- 填写“任务开始时间”;需要结束自动采集时设置“任务结束时间”,并确保结束晚于开始。
- 核对表达式、起止时间和业务需要的执行频率。不要使用过高频率对共享来源反复采集。
- 点击“保存”,返回列表检查执行方式和表达式;后续通过执行记录核对是否按预期触发。
填写说明:图示展示执行时间组件和指定范围。逐项设置后,检查表达式是否与预期频率一致,再检查任务开始、结束时间;不熟悉Cron规则时,请管理员核对配置后再保存启用。
注意事项:手动切换为定时时补齐周期和时间;定时切换为手动时核对新保存的执行方式,避免误认为旧周期仍会继续使用。未保存的表单切换不会替代正式配置。
3.2.2.1.5 查看任务详情与执行变更
- 在任务列表点击“详情”,打开“采集任务详情”。
- 核对任务名称、状态、数据源、来源类别、执行频率、采集范围及任务说明。
- 在“执行记录”中按时间查找目标运行,查看触发方式、操作人、开始时间、耗时、状态、变更数和失败原因。
- 点击目标记录的“查看变更”,打开对应时间的“采集变更记录”。
- 按变更类型、对象、字段、变更前和变更后,核对新增对象或字段等变化;记录较多时切换分页。
- 关闭变更窗口返回任务详情,再关闭详情返回列表。
阅读说明:变更数为0不等于执行失败,可能是结构没有变化;应结合状态判断。需要检查某次新增字段时,打开对应时间的记录,不要只看任务的最后执行时间。
3.2.2.1.6 编辑与立即执行
- 任务运行结束后,点击目标行“编辑”。
- 核对来源,修改名称、说明、采集范围或执行配置;来源不可编辑时,需要更换来源则新建任务。
- 保存后重新打开详情,检查范围和执行方式。
- 需要更新结构时点击“立即执行”,等待列表出现执行状态变化,再进入详情查看新增执行记录。
- 执行失败时先根据失败原因检查连接、权限、范围或对象有效性,处理后再执行。
注意事项:不要在提交结果未明确时连续点击执行。最近执行失败时,检索中的已有结构可能仍来自上次成功采集;判断是否更新应检查最近成功时间。
3.2.2.1.7 启停和删除任务
- 在任务列表核对名称、来源和范围,并确认当前未运行。
- 需要暂停采集时点击“停用”,阅读提示后确认;恢复时点击“启用”,核对周期和有效时间。
- 需要移除任务时点击“删除”,确认对象和影响后再提交。
- 操作完成后重新查询任务,检查状态或列表结果。
注意事项:删除采集任务与删除源表、删除业务数据不同。历史结构及人工说明是否继续可查,应结合目录中的维护提示判断;不能因为任务已删除就认定源表已不存在。删除前还需检查其他任务是否需要接管原采集范围。