Skip to content

3.3.7 资源中心 ​

3.3.7.1 功能与存储结构 ​

资源中心管理对象存储(S3)中的资源文件,按「存储源 → 目录 → 文件」三级组织。离线节点的脚本、实时任务的 JAR 与挂载文件,都从这里选取。

表43 资源中心的存储层级
层级说明支持的操作
存储源页面左上角的下拉,当前为 s3,对应已创建的对象存储数据源切换存储源、刷新
目录(文件夹)用于按项目或业务分类存放文件,可逐级进入新建、进入、返回上级、重命名
文件脚本、JAR、配置文件等,按扩展名区分为文本文件与二进制文件创建、上传、编辑(文本)、重命名、重新上传、下载、删除

左右滑动查看完整表格

「创建文件」支持的文件格式为:txt、log、sh、bat、conf、cfg、py、java、sql、xml。上传文件不受格式限制,JAR 等二进制文件通过「上传文件」进入资源中心。

3.3.7.2 页面结构与列表 ​

入口:左侧菜单「数据开发」→「实时开发」→「计算集群」→「资源中心」。

表44 资源中心页面的区域构成
区域元素说明
工具栏存储源下拉、刷新切换对象存储数据源;刷新当前目录
返回上级回到上一级目录,位于存储桶根目录时不可用
新建文件夹 / 创建文件 / 上传文件三个新增入口,分别对应目录、文本文件与任意文件
当前位置存储桶名 / 目录名面包屑展示当前路径,进入子目录后逐级追加
筛选资源名称、开始修改时间、结束修改时间按名称与更新时间过滤;配合「重置」「查询」使用
列表名称 / 类型 / 大小 / 更新时间 / 操作目录在前,文件在后;操作按钮随类型变化

左右滑动查看完整表格

表45 文件与文件夹的可用操作
类型操作按钮说明
文件编辑、重新上传文件、重命名、下载、删除「编辑」仅对文本文件显示;JAR 等二进制文件只能整份替换
文件夹重命名页面未提供文件夹的下载与删除入口

左右滑动查看完整表格

3.3.7.3 新建文件夹 ​

文件夹用于把同类资源归拢在一起,例如按业务域或按任务名建立目录。

  1. 进入目标目录(需要在存储桶根目录新建时跳过此步)。
  2. 点击工具栏「新建文件夹」,弹出「新建文件夹」对话框。
  3. 填写「文件夹名称」,点击「创建」。
  4. 页面提示「创建成功」,列表中出现新的文件夹行,类型为「文件夹」,大小为「—」。

文件夹只支持重命名

资源中心未提供文件夹的删除与下载入口,文件夹行的操作只有「重命名」。建立目录前先确认命名,避免遗留空目录。

3.3.7.4 创建文件 ​

创建文件用于直接在页面上编写脚本或配置文件,无需本地编辑器。

  1. 进入目标目录,点击工具栏「创建文件」。
  2. 在「创建文件」对话框中填写「文件名称」,只填基础名称,不要带扩展名。
  3. 在「文件格式」中选择格式(txt、log、sh、bat、conf、cfg、py、java、sql、xml),系统按所选格式追加扩展名。
  4. 在「文件内容」中填写文件正文。
  5. 点击「创建」,页面提示「创建成功」,列表中出现「名称.格式」的文件行。
表46 创建文件的字段
字段必填说明
文件名称是只填基础名称,扩展名由「文件格式」决定,例如填 demo_shell 并选择 sh,生成 demo_shell.sh
文件格式是决定扩展名与后续「编辑」时的语法类型
文件内容是文件正文,创建后可通过「编辑」继续修改

左右滑动查看完整表格

创建完成的文本文件在列表中带有「编辑」入口,可随时修改内容;文件大小与更新时间随内容变化刷新。

3.3.7.5 上传文件 ​

上传用于把本地已有的文件(脚本、JAR、配置等)放入资源中心。

  1. 进入目标目录,点击工具栏「上传文件」。
  2. 在系统弹出的文件选择对话框中选择本地文件,确认后开始上传。
  3. 上传完成后列表自动刷新,出现新的文件行,展示文件大小与更新时间。
  • 上传不弹出平台表单,直接使用操作系统的文件选择对话框。
  • 上传后的可用操作由文件类型决定:文本文件提供「编辑」,JAR 等二进制文件只能通过「重新上传文件」整份替换。
  • 同名文件请先确认是否覆盖,必要时先「重命名」保留原文件。

3.3.7.6 编辑文件 ​

编辑用于修改文本文件的内容,适用于脚本与配置文件。

  1. 在文件行点击「编辑」,打开「编辑文本文件:目录/文件名」对话框。
  2. 按需修改「文件名称」「文件格式」或「文件内容」;仅改内容时保留名称与格式。
  3. 点击「保存」,页面提示「文件保存成功」。
  4. 返回列表核对文件大小与更新时间是否已刷新。
表47 编辑文本文件的字段
字段说明
文件名称文件名(含扩展名),修改即重命名
文件格式文本文件的格式,决定编辑器的高亮方式
文件内容文件正文,保存后立即写入对象存储

左右滑动查看完整表格

3.3.7.7 重命名 ​

重命名用于调整文件或文件夹的名称,内容不受影响。

  1. 在文件或文件夹行点击「重命名」,弹出「重命名文件」对话框。
  2. 在「新名称」中填写目标名称;文件需保留扩展名。
  3. 点击「确认重命名」,页面提示「重命名成功」,列表中的名称与更新时间刷新。

3.3.7.8 重新上传文件 ​

重新上传用于以新文件整体替换已有文件,文件名保持不变,适合 JAR 版本更新。

  1. 在文件行点击「重新上传文件」。
  2. 在系统文件选择对话框中选择新文件并确认。
  3. 上传完成后核对列表中的文件大小与更新时间,确认替换已生效。

替换前确认引用关系

重命名或替换文件后,已引用该文件的节点与任务仍按原路径查找。若文件被改名或移动,需要到对应节点或任务中重新选择资源。

3.3.7.9 下载文件 ​

点击文件行的「下载」,浏览器按「目录_文件名」的命名保存到本地,例如目录 zz_manual_demo 下的 upload_demo_v2.txt 下载后为 zz_manual_demo_upload_demo_v2.txt。文件夹不提供下载入口。

3.3.7.10 删除文件 ​

删除用于清理不再使用的资源文件,删除后不可恢复。

  1. 在文件行点击「删除」,弹出「确认删除文件」对话框。
  2. 对话框显示完整路径,例如「确认删除「zz_manual_demo/upload_demo.txt」吗?」,并提示「删除后不可恢复。」
  3. 点击「确认删除」,页面提示「删除成功」,该行从列表中移除。

删除前先解除引用

被节点或任务引用的文件一旦删除,相关任务在下次运行时将找不到资源。删除前先在工作流节点与实时任务中确认引用情况。

3.3.7.11 资源在任务中的使用 ​

资源中心本身不执行文件,资源被以下三处引用后才产生作用:

表48 资源文件的使用位置
使用位置入口引用方式
离线开发节点工作流编辑 → 节点设置 → 脚本下方「资源」先选择「S3 数据源」,再从该数据源中选择资源;点击「重新加载」可刷新列表
实时任务(JAR)实时开发 → 新建/编辑任务 → 运行内容 → JAR 资源「选择当前存储中的 JAR 文件」;右侧提供「打开资源中心」入口,可先上传再选择
实时任务(挂载文件)实时开发 → 新建/编辑任务 → 挂载文件只读挂载到 JobManager 与 TaskManager;单文件上限 64 KiB、合计 128 KiB、最多 8 个
计算会话计算集群 → 计算会话 → 新建/编辑选择「对象存储数据源」并填写「Flink 根目录」;「第三方 JAR」按 s3:// 路径填写,多个用分号分隔

左右滑动查看完整表格

3.3.7.12 注意事项 ​

  • 资源中心按对象存储的数据源划分,切换存储源后看到的是另一套目录。
  • 同一存储桶内文件路径全局唯一,节点与任务按路径引用,改名或移动会导致引用失效。
  • 文本文件可在页面直接编辑,二进制文件(JAR 等)只能上传替换,不能在线修改。
  • 文件夹不支持删除,建立目录时先想好命名与层级。
  • 上传大文件需要等待网络传输完成,列表刷新后才表示上传结束。

大数据平台用户操作手册