张飞的猪编程工作室

  • 首页
  • Web3.0
  • 大数据
  • 技术书籍
  • 拾记
  • 关于
Hello World
大数据、数据仓库、Web3.0编程技术文章与资料分享,欢迎关注微信公众号:张飞的猪大数据分享
  1. 首页
  2. 大数据
  3. 正文

数据仓库(04)基于维度建模的数仓KimBall架构

2022年 12月 28日 517点热度 1人点赞 0条评论

  基于维度建模的KimBall架构,将数据仓库划分为4个不同的部分。分别是操作型源系统、ETL系统、数据展现和商业智能应用,如下图。

  操作型源系统,指的就是面向用户的各类系统,如app、网站、ERP、CRM等系统。这一块就是我们数据仓库的数据来源,并且这类数据往往有各自的格式和内容,我们同步过来之后,需要对数据进行清洗和规范化。

  ETL系统,指的就是获取、转换、加载的(Extract Transformation and Load)过程以及在etl过程中使用到的数据和数据结构这样的一个过程的集合。也就是包含etl脚本,以及etl中的数据,以及对应的结构。

  ETL过程中的获取,指的是数据的同步,转换指的是对数据进行转换操作,因为数据同步过来之后,数据的格式可能不是我们想要的,数据可能有一些缺漏,数据格式可能不一致等,所以这一步,我们需要对数据进行消除拼写错误、解决领域冲突、处理错误的数据、解析为标准的格式等。加载,指的就是经过转换的数据,我们加载到我们的目标路径或者目标表之中。一般有维度建模和范式建模的表中,kimball架构使用的是维度建模。

  数据展现,指的就是用户组织、存储数据,支持开发者对数据进行查询,制作报表等。数据展现中的数据,必须是维度化的、原子的,以业务过程为中心的。坚持使用总线结构的企业数据仓库,数据不应该按照个别部门需要的数据来构建。

  商业智能应用,指的是开发这基于数据展现,开发出报表或者自主查询,为商业用户提供数据支持,数据分析等。商业智能应用与数据展现的区别,就是一个是针对开发者的,往往是数据库级别的展现,而商业智能应用往往是界面化的是针对普通用户的。

需要数据仓库资料可以点击这个领取数据仓库(13)大数据数仓经典最值得阅读书籍推荐

参考资料:
1. 数据仓库(01)什么是数据仓库,数仓有什么特点
2. 数据仓库(02)数仓、大数据与传统数据库的区别
3. 数据仓库(03)数仓建模之星型模型与维度建模
4. 数据仓库(04)基于维度建模的数仓KimBall架构
5. 数据仓库(05)数仓Kimball与Inmon架构的对比
6. 数据仓库(06)数仓分层设计
7. 数据仓库(07)数仓规范设计
8. 数据仓库(08)数仓事实表和维度表技术
9. 数据仓库(09)数仓缓慢变化维度数据的处理
10. 数据仓库(10)数仓拉链表开发实例
11. 数据仓库(11)什么是大数据治理,数据治理的范围是哪些
12. 数据仓库(12)数据治理之数仓数据管理实践心得
13. 数据仓库(13)大数据数仓经典最值得阅读书籍推荐

本作品采用 知识共享署名-非商业性使用 4.0 国际许可协议 进行许可
标签: 大数据 数据仓库
最后更新:2022年 12月 28日

张飞的猪

选择远方,风雨兼程,专注于web3.0及其前沿的技术。

打赏 点赞
< 上一篇
下一篇 >

文章评论

razz evil exclaim smile redface biggrin eek confused idea lol mad twisted rolleyes wink cool arrow neutral cry mrgreen drooling persevering
取消回复
标签聚合
数据仓库 Web3.0 书籍 区块链 网站搭建 网站运营 大数据 spark Flink
最新 热点 随机
最新 热点 随机
数据仓库(13)大数据数仓经典最值得阅读书籍推荐 数据仓库(12)数据治理之数仓数据管理实践心得 数据仓库(11)什么是大数据治理,数据治理的范围是哪些 精益数据分析PDF下载 数据仓库(10)数仓拉链表开发实例 大数据Spark企业级实战版PDF下载
数据仓库(11)什么是大数据治理,数据治理的范围是哪些 Flink CDC 新一代数据集成框架-技术原理、入门与生产实践PDF下载 数据仓库(01)什么是数据仓库,数仓有什么特点 利用WordPress搭建属于自己的网站 数据仓库(13)大数据数仓经典最值得阅读书籍推荐 数据仓库(05)数仓Kimball与Inmon架构的对比

COPYRIGHT © 2022 张飞的猪技术博客分享. ALL RIGHTS RESERVED.

Theme Kratos Made By Seaton Jiang

粤ICP备2022149594号