Appearance
BI 架构
整体架构
数据源层 ETL层 存储层 应用层
ERP ┐ ┌ ODS(原始)
CRM ├→ 数据集成工具 → ├ DWD(明细)→ BI工具 → 报表/看板
业务系统 │ (Airflow/ ├ DWS(汇总) 移动端/邮件
外部数据 ┘ DataX/Kettle) └ ADS(应用)数仓分层(经典四层)
| 层次 | 全称 | 说明 | 特点 |
|---|---|---|---|
| ODS | Operational Data Store | 贴源层,原始数据 | 不做业务加工,保持原样 |
| DWD | Data Warehouse Detail | 明细层,清洗后数据 | 数据清洗、标准化、历史拉链 |
| DWS | Data Warehouse Summary | 汇总层,按主题聚合 | 轻度汇总,主题域划分 |
| ADS | Application Data Store | 应用层,面向报表 | 高度聚合,直接对接报表工具 |
技术选型
| 组件 | 选项 |
|---|---|
| 调度 | Apache Airflow / DolphinScheduler |
| ETL | DataX / Kettle / dbt |
| 存储 | MySQL / ClickHouse / Hive / Doris |
| BI工具 | Metabase / Superset / 帆软 / Power BI |
主题域划分(参考)
| 主题域 | 包含内容 |
|---|---|
| 客户域 | 客户基础信息、生命周期、分层 |
| 销售域 | 商机、订单、回款、漏斗 |
| 产品域 | 产品目录、定价、SKU |
| 财务域 | 收入、成本、利润 |
| 运营域 | 活动、渠道、用户行为 |