规范设计在这里取《大数据之路:阿里巴巴大数据实践》中的定义,这里记录一下本人对这一块自己的理解。 规范定义指以维度建模作为理论基础 构建总线矩阵,划分和定义数据域、业务过程、维度、度量 原子指标、修饰类型、修饰词、时间周期、派生指标。 所谓的规范的定义,简单理解,如果把数据当作货物,那就是货物的分类,以及对应相关的属性,比如生产日期,某个原料的含量等,我们可以把相近或者相同货物,按照一定的规律,放在一起,方便入库与出库,需要某个货物按照这些规律就可以,以比较快的速度拉取出来。 一般的规范设计包含一下几个方面:划分和…

2023年 1月 9日 0条评论 782点热度 1人点赞 张飞的猪 阅读全文

  目前主流的数据仓库分层大多为四层,也有五层的架构,这里介绍基本的四层架构。 分别为数据贴源层(ods)、数据仓库明细层(dw)、多维明细层(dws)和数据集市层(dm)。   下面是架构图:   数据分层的目的是:减少重复计算,避免烟囱式开发,节省计算资源,靠上层次,越对应用友好,也对用户友好,希望大部分(80%以上)的需求,都用DWS,DW的表来支持就行,所以ODS层数据不能被DM层任务引用,需要抽取数据到DW,或者DWS。   …

2023年 1月 4日 0条评论 1044点热度 1人点赞 张飞的猪 阅读全文

数据仓库主要有四种架构,Kimball的DW/BI架构、独立数据集市架构、辐射状企业信息工厂Inmon架构、混合Inmon与Kimball架构。不过不管是那种架构,基本上都会使用到维度建模。 Kimball的DW/BI架构,可以参考这篇文章 数据仓库(4)基于维度建模的KimBall架构。 独立数据集市架构,采用这种架构的数据仓库,数据以部门为基础来部署,不考虑企业级别的信息共享和集成。也就是各个部门各自按照需要,各自在数据源同步数据,按照各自的标准,对数据进行处理。这种实际上就是没有架构,会造成分析数据的冗余存储…

2023年 1月 3日 1条评论 854点热度 3人点赞 张飞的猪 阅读全文

  基于维度建模的KimBall架构,将数据仓库划分为4个不同的部分。分别是操作型源系统、ETL系统、数据展现和商业智能应用,如下图。   操作型源系统,指的就是面向用户的各类系统,如app、网站、ERP、CRM等系统。这一块就是我们数据仓库的数据来源,并且这类数据往往有各自的格式和内容,我们同步过来之后,需要对数据进行清洗和规范化。   ETL系统,指的就是获取、转换、加载的(Extract Transformation and Load)过程以及在etl过程中使用到的数据和数据结构这样的一个过程的集合。也就是包…

2022年 12月 28日 0条评论 1310点热度 1人点赞 张飞的猪 阅读全文

怎么用WordPress给自己搭建了一个网站?可能很多人都想拥有属于自己的网站,这篇文章就找你怎么利用WordPress搭建属于自己的网站。如果你也正好有搭建个人网站的想法,那么本文会给你一个参考,我尽量写的比较详细,给自己做一个记录,也给大家一个参考。 写在前面 在教程之前,先给大家show 一下效果,欢迎你去点点点~ 网站地址:https://zhangfeidezhu.com 准备工作 一台Linux服务器 在开始搭建网站之前,当然第一步是购买一个属于自己的 『服务器』。 你可以选择如下渠道进行购买:阿里云、…

2022年 12月 26日 3条评论 3797点热度 3人点赞 张飞的猪 阅读全文

  维度建模是一种将数据结构化的逻辑设计方法,也是一种广泛应用的数仓建模方式,它将客观世界划分为度量和上下文。度量是常常是以数值形式出现,事实周围有上下文包围着,这种上下文被直观地分成独立的逻辑块,称之为维度。它与实体-关系建模有很大的区别,实体-关系建模是面向应用,遵循第三范式,以消除数据冗余为目标的设计技术。维度建模是面向分析,为了提高查询性能可以增加数据冗余,反规范化的设计技术。 上面的解释看起来是比较抽象,一下子可能不是很容易懂。我们先来了解一下事实和维度,基于上面再来分析一下。   事实,表示的是某一个业…

2022年 12月 23日 0条评论 1063点热度 1人点赞 张飞的猪 阅读全文

WEB3.0的现状 对于web3.0现状,大约有下面几个特点。 Web3.0的概念较为超前,行业内尚未对其有统一且清晰的定义,对Web3.0背后的逻辑和带来的改变还存在一定分歧。 目前Web3.0就业的机会集中在元宇宙、数字藏品以及区块链应用,从目前的情况看,还没大规模的普及,可提供的岗位相比Web2.0相对还较少,但是薪水相应的比较高,具体详情可以自己上招聘网站搜索比对。 全球区块链领域人才增长强劲,但中国人才增速相对较低,下面是根据《2022全球区块链领域人才报告——Web3.0方向》得出来得结论,仅供参考。 …

2022年 12月 21日 1条评论 1735点热度 4人点赞 张飞的猪 阅读全文

  数据仓库(数仓)与大数据区别,数据仓库(数仓)与数据库的区别,大数据与传统数据库的区别等等,这篇文章带你了解。   我们这里先来说说今天要对比的三个主体,数据仓库、大数据、数据库,在详细说明之前,我们先来说说这三个百度百科上面的定义。 数据仓库:为企业所有级别的决策制定过程,提供所有类型数据支持的战略(数据)集合。 大数据:所涉及的资料量规模巨大到无法透过主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 传统数据库:一个长期存储在计算机内的、有组织的、可共享的、统一管…

2022年 12月 21日 0条评论 930点热度 2人点赞 张飞的猪 阅读全文

  这里会介绍数据仓库的理解,什么是数据仓库技术,数据仓库的作用。   数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。   我简单的做一个比喻,数据仓库就是可以理解就是一个使用仓库,数据就是这个仓库的货物,而数据仓库的开发人员就是…

2022年 12月 13日 0条评论 1455点热度 3人点赞 张飞的猪 阅读全文
1678910