切换主题
3.2.1 维度建模
功能:维度建模
功能说明 按数仓分层组织建模。左侧是分层树(贴源层、公共层、应用层、自定义层),右侧是所选层下的表列表,配合目标数据源、Catalog、Database 三个选择器决定"表建到哪"。
适用场景 新建一张明细表或汇总表;按分层规范整理表;挂接湖格式目录。
操作步骤
- 顶部切到"数据治理"页签,左侧进入「维度建模」。
- 在左侧分层树里选目标层(如明细数据层 DWD)。
- 选择目标数据源、Catalog 与 Database。
- 点"新建表",配置表名、字段、分区等参数后保存。
- 需要挂接湖格式目录时点"新增 Paimon Catalog"。
- 点"刷新"获取最新表列表。
页面结构说明
| 区块 | 说明 |
|---|---|
| 数仓分层树 | 贴源层(PRE 前置层、ODS 原始数据层)、公共层(DWD 明细、DIM 维度、DWS 汇总)、应用层(ADS)、自定义层(CUSTOM) |
| 目标数据源 | 建模目标库,如 StarRocks |
| Catalog | 目录选择(如 default_catalog),可新增 Paimon Catalog |
| Database | 当前库,如 shop_chushihua1030a_starrocksdb |
| 表列表 | 表英文名、表类型、Database、注释、操作;按所选层的前缀自动过滤 |
左右滑动查看完整表格
新建表填写说明
| 字段 | 必填 | 说明 |
|---|---|---|
| 目标数据源 | 是 | 建表目标库 |
| Catalog 目录 | 否 | 目标 Catalog |
| 目标 database | 是 | 目标库 |
| 建表方式 | 否 | 建表方式选择 |
| 完整表名 | 是 | 建议按所选层加前缀,如 ods_xxx、dwd_xxx |
| 字段定义 | 否 | 表字段定义,可增删字段 |
| 默认值(字面量) | 否 | 字段默认值 |
| 自增列 | 否 | 自增列设置 |
| 生成表达式 | 否 | 计算列表达式 |
| 键模型 | 否 | 主键 / 明细等 |
| 分区列(逗号分隔) | 否 | 分区字段 |
| 分区策略 | 否 | 分区方式 |
| 排序键(逗号分隔) | 否 | 排序字段 |
| Hash 分桶列(逗号分隔) | 否 | 分桶字段,留空为随机分桶 |
| 分桶数 | 否 | 分桶数量,与 Hash 分桶列配合 |
| StarRocks PROPERTIES 参数 | 否 | 表级属性(副本数、压缩等) |
| 表注释 | 否 | 表的说明,写入表元数据 |
左右滑动查看完整表格
新增 Paimon Catalog 填写说明
| 字段 | 必填 | 说明 |
|---|---|---|
| Paimon 数据源 | 是 | 对象存储地址与凭据从所选数据源读取 |
| Catalog 名称 | 是 | 在 StarRocks 上创建外部 Catalog,同名会创建失败 |
左右滑动查看完整表格
操作结果 保存后新表出现在所选层的表列表里;Catalog 创建成功后可在 Catalog 下拉里选到。
注意事项
- 表列表按层的前缀过滤:在 DWD 层建表却用了 tmp_ 前缀,这张表不会出现在 DWD 列表里,会以为没建成功。
- 同名 Catalog 创建会失败,先确认名字没被占用。
- 字段类型和分区一旦建好,改起来成本很高,建表前把结构想清楚。
常见问题
- 新建的表在列表里找不到:检查表名前缀是否匹配当前层,或点"刷新"。
- 建表报错:多半是目标库或 Catalog 选错,先切回上一层重新选。