张飞的猪编程工作室

  • 首页
  • Web3.0
  • 大数据
  • 技术书籍
  • 拾记
  • 关于
Hello World
大数据、数据仓库、Web3.0编程技术文章与资料分享,欢迎关注微信公众号:张飞的猪大数据分享
大数据

数据仓库(07)数仓规范设计

规范设计在这里取《大数据之路:阿里巴巴大数据实践》中的定义,这里记录一下本人对这一块自己的理解。 规范定义指以维度建模作为理论基础 构建总线矩阵,划分和定义数据域、业务过程、维度、度量 原子指标、修饰类型、修饰词、时间周期、派生指标。 所谓的规范的定义,简单理解,如果把数据当作货物,那就是货物的分类,以及对应相关的属性,比如生产日期,某个原料的含量等,我们可以把相近或者相同货物,按照一定的规律,放在一起,方便入库与出库,需要某个货物按照这些规律就可以,以比较快的速度拉取出来。 一般的规范设计包含一下几个方面:划分和…

2023年 1月 9日 0条评论 296点热度 1人点赞 张飞的猪 阅读全文
大数据

数据仓库(06)数仓分层设计

  目前主流的数据仓库分层大多为四层,也有五层的架构,这里介绍基本的四层架构。 分别为数据贴源层(ods)、数据仓库明细层(dw)、多维明细层(dws)和数据集市层(dm)。   下面是架构图:   数据分层的目的是:减少重复计算,避免烟囱式开发,节省计算资源,靠上层次,越对应用友好,也对用户友好,希望大部分(80%以上)的需求,都用DWS,DW的表来支持就行,所以ODS层数据不能被DM层任务引用,需要抽取数据到DW,或者DWS。   …

2023年 1月 4日 0条评论 328点热度 1人点赞 张飞的猪 阅读全文
大数据

数据仓库(05)数仓Kimball与Inmon架构的对比

数据仓库主要有四种架构,Kimball的DW/BI架构、独立数据集市架构、辐射状企业信息工厂Inmon架构、混合Inmon与Kimball架构。不过不管是那种架构,基本上都会使用到维度建模。 Kimball的DW/BI架构,可以参考这篇文章 数据仓库(4)基于维度建模的KimBall架构。 独立数据集市架构,采用这种架构的数据仓库,数据以部门为基础来部署,不考虑企业级别的信息共享和集成。也就是各个部门各自按照需要,各自在数据源同步数据,按照各自的标准,对数据进行处理。这种实际上就是没有架构,会造成分析数据的冗余存储…

2023年 1月 3日 0条评论 236点热度 2人点赞 张飞的猪 阅读全文
大数据

数据仓库(04)基于维度建模的数仓KimBall架构

  基于维度建模的KimBall架构,将数据仓库划分为4个不同的部分。分别是操作型源系统、ETL系统、数据展现和商业智能应用,如下图。   操作型源系统,指的就是面向用户的各类系统,如app、网站、ERP、CRM等系统。这一块就是我们数据仓库的数据来源,并且这类数据往往有各自的格式和内容,我们同步过来之后,需要对数据进行清洗和规范化。   ETL系统,指的就是获取、转换、加载的(Extract Transformation and Load)过程以及在etl过程中使用到的数据和数据结构这样的一个过程的集合。也就是包…

2022年 12月 28日 0条评论 515点热度 1人点赞 张飞的猪 阅读全文
拾记

利用WordPress搭建属于自己的网站

怎么用WordPress给自己搭建了一个网站?可能很多人都想拥有属于自己的网站,这篇文章就找你怎么利用WordPress搭建属于自己的网站。如果你也正好有搭建个人网站的想法,那么本文会给你一个参考,我尽量写的比较详细,给自己做一个记录,也给大家一个参考。 写在前面 在教程之前,先给大家show 一下效果,欢迎你去点点点~ 网站地址:https://zhangfeidezhu.com 准备工作 一台Linux服务器 在开始搭建网站之前,当然第一步是购买一个属于自己的 『服务器』。 你可以选择如下渠道进行购买:阿里云、…

2022年 12月 26日 3条评论 1349点热度 2人点赞 张飞的猪 阅读全文
大数据

数据仓库(03)数仓建模之星型模型与维度建模

  维度建模是一种将数据结构化的逻辑设计方法,也是一种广泛应用的数仓建模方式,它将客观世界划分为度量和上下文。度量是常常是以数值形式出现,事实周围有上下文包围着,这种上下文被直观地分成独立的逻辑块,称之为维度。它与实体-关系建模有很大的区别,实体-关系建模是面向应用,遵循第三范式,以消除数据冗余为目标的设计技术。维度建模是面向分析,为了提高查询性能可以增加数据冗余,反规范化的设计技术。 上面的解释看起来是比较抽象,一下子可能不是很容易懂。我们先来了解一下事实和维度,基于上面再来分析一下。   事实,表示的是某一个业…

2022年 12月 23日 0条评论 325点热度 1人点赞 张飞的猪 阅读全文
Web3.0

WEB3.0的现状以及未来的发展,其会颠覆我们的知识结构?

WEB3.0的现状 对于web3.0现状,大约有下面几个特点。 Web3.0的概念较为超前,行业内尚未对其有统一且清晰的定义,对Web3.0背后的逻辑和带来的改变还存在一定分歧。 目前Web3.0就业的机会集中在元宇宙、数字藏品以及区块链应用,从目前的情况看,还没大规模的普及,可提供的岗位相比Web2.0相对还较少,但是薪水相应的比较高,具体详情可以自己上招聘网站搜索比对。 全球区块链领域人才增长强劲,但中国人才增速相对较低,下面是根据《2022全球区块链领域人才报告——Web3.0方向》得出来得结论,仅供参考。 …

2022年 12月 21日 0条评论 675点热度 3人点赞 张飞的猪 阅读全文
大数据

数据仓库(02)数仓、大数据与传统数据库的区别

  数据仓库(数仓)与大数据区别,数据仓库(数仓)与数据库的区别,大数据与传统数据库的区别等等,这篇文章带你了解。   我们这里先来说说今天要对比的三个主体,数据仓库、大数据、数据库,在详细说明之前,我们先来说说这三个百度百科上面的定义。 数据仓库:为企业所有级别的决策制定过程,提供所有类型数据支持的战略(数据)集合。 大数据:所涉及的资料量规模巨大到无法透过主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 传统数据库:一个长期存储在计算机内的、有组织的、可共享的、统一管…

2022年 12月 21日 0条评论 285点热度 2人点赞 张飞的猪 阅读全文
大数据

数据仓库(01)什么是数据仓库,数仓有什么特点

  这里会介绍数据仓库的理解,什么是数据仓库技术,数据仓库的作用。   数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。   我简单的做一个比喻,数据仓库就是可以理解就是一个使用仓库,数据就是这个仓库的货物,而数据仓库的开发人员就是…

2022年 12月 13日 0条评论 467点热度 3人点赞 张飞的猪 阅读全文
12

张飞的猪

选择远方,风雨兼程,专注于web3.0及其前沿的技术。

标签聚合
区块链 Flink 书籍 大数据 网站运营 数据仓库 spark Web3.0 网站搭建
归档
  • 2023年3月 / 2篇
  • 2023年2月 / 7篇
  • 2023年1月 / 4篇
  • 2022年12月 / 6篇
最新 热点 随机
最新 热点 随机
数据仓库(13)大数据数仓经典最值得阅读书籍推荐 数据仓库(12)数据治理之数仓数据管理实践心得 数据仓库(11)什么是大数据治理,数据治理的范围是哪些 精益数据分析PDF下载 数据仓库(10)数仓拉链表开发实例 大数据Spark企业级实战版PDF下载 Flink CDC 新一代数据集成框架-技术原理、入门与生产实践PDF下载 大数据数仓经典最值得阅读书籍推荐资料分享pdf下载
数据仓库(13)大数据数仓经典最值得阅读书籍推荐 数据仓库(05)数仓Kimball与Inmon架构的对比 Flink CDC 新一代数据集成框架-技术原理、入门与生产实践PDF下载 大数据数仓经典最值得阅读书籍推荐资料分享pdf下载 数据仓库(09)数仓缓慢变化维度数据的处理 大数据Spark企业级实战版PDF下载 数据仓库(12)数据治理之数仓数据管理实践心得 数据仓库(11)什么是大数据治理,数据治理的范围是哪些

COPYRIGHT © 2022 张飞的猪技术博客分享. ALL RIGHTS RESERVED.

Theme Kratos Made By Seaton Jiang

粤ICP备2022149594号