数据仓库主要有四种架构,Kimball的DW/BI架构、独立数据集市架构、辐射状企业信息工厂Inmon架构、混合Inmon与Kimball架构。不过不管是那种架构,基本上都会使用到维度建模。 Kimball的DW/BI架构,可以参考这篇文章 数据仓库(4)基于维度建模的KimBall架构。 独立数据集市架构,采用这种架构的数据仓库,数据以部门为基础来部署,不考虑企业级别的信息共享和集成。也就是各个部门各自按照需要,各自在数据源同步数据,按照各自的标准,对数据进行处理。这种实际上就是没有架构,会造成分析数据的冗余存储…

2023年 1月 3日 1条评论 1480点热度 3人点赞 张飞的猪 阅读全文

  基于维度建模的KimBall架构,将数据仓库划分为4个不同的部分。分别是操作型源系统、ETL系统、数据展现和商业智能应用,如下图。   操作型源系统,指的就是面向用户的各类系统,如app、网站、ERP、CRM等系统。这一块就是我们数据仓库的数据来源,并且这类数据往往有各自的格式和内容,我们同步过来之后,需要对数据进行清洗和规范化。   ETL系统,指的就是获取、转换、加载的(Extract Transformation and Load)过程以及在etl过程中使用到的数据和数据结构这样的一个过程的集合。也就是包…

2022年 12月 28日 0条评论 2012点热度 1人点赞 张飞的猪 阅读全文

  维度建模是一种将数据结构化的逻辑设计方法,也是一种广泛应用的数仓建模方式,它将客观世界划分为度量和上下文。度量是常常是以数值形式出现,事实周围有上下文包围着,这种上下文被直观地分成独立的逻辑块,称之为维度。它与实体-关系建模有很大的区别,实体-关系建模是面向应用,遵循第三范式,以消除数据冗余为目标的设计技术。维度建模是面向分析,为了提高查询性能可以增加数据冗余,反规范化的设计技术。 上面的解释看起来是比较抽象,一下子可能不是很容易懂。我们先来了解一下事实和维度,基于上面再来分析一下。   事实,表示的是某一个业…

2022年 12月 23日 0条评论 1755点热度 1人点赞 张飞的猪 阅读全文

WEB3.0的现状 对于web3.0现状,大约有下面几个特点。 Web3.0的概念较为超前,行业内尚未对其有统一且清晰的定义,对Web3.0背后的逻辑和带来的改变还存在一定分歧。 目前Web3.0就业的机会集中在元宇宙、数字藏品以及区块链应用,从目前的情况看,还没大规模的普及,可提供的岗位相比Web2.0相对还较少,但是薪水相应的比较高,具体详情可以自己上招聘网站搜索比对。 全球区块链领域人才增长强劲,但中国人才增速相对较低,下面是根据《2022全球区块链领域人才报告——Web3.0方向》得出来得结论,仅供参考。 …

2022年 12月 21日 1条评论 2653点热度 4人点赞 张飞的猪 阅读全文

  数据仓库(数仓)与大数据区别,数据仓库(数仓)与数据库的区别,大数据与传统数据库的区别等等,这篇文章带你了解。   我们这里先来说说今天要对比的三个主体,数据仓库、大数据、数据库,在详细说明之前,我们先来说说这三个百度百科上面的定义。 数据仓库:为企业所有级别的决策制定过程,提供所有类型数据支持的战略(数据)集合。 大数据:所涉及的资料量规模巨大到无法透过主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 传统数据库:一个长期存储在计算机内的、有组织的、可共享的、统一管…

2022年 12月 21日 0条评论 1451点热度 2人点赞 张飞的猪 阅读全文

  这里会介绍数据仓库的理解,什么是数据仓库技术,数据仓库的作用。   数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。   我简单的做一个比喻,数据仓库就是可以理解就是一个使用仓库,数据就是这个仓库的货物,而数据仓库的开发人员就是…

2022年 12月 13日 0条评论 2261点热度 3人点赞 张飞的猪 阅读全文
156789