数据仓库(数仓)与大数据区别,数据仓库(数仓)与数据库的区别,大数据与传统数据库的区别等等,这篇文章带你了解。
我们这里先来说说今天要对比的三个主体,数据仓库、大数据、数据库,在详细说明之前,我们先来说说这三个百度百科上面的定义。
数据仓库:为企业所有级别的决策制定过程,提供所有类型数据支持的战略(数据)集合。
大数据:所涉及的资料量规模巨大到无法透过主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
传统数据库:一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。
其实从三个定义,我们好像区别不大。
数据库指的是数据的集合,数据仓库也是一个数据集合,大数据也是一个处理和存储数据的地方。
但是不同的是,在于应用场景,和构建的技术原理不一样。
传统数据库是存储根据范式建模的关系型数据,主要用于OLTP(on-line transaction processing)翻译为联机事务处理的软件。大数据是根据map redurce范式构建的出局处理,存储的软件,主要用于OLAP是做分析处理。大数据和传统数据库,还有一个更大的区别在于,处理的数据量以及计算量的大小,当传统数据库,无法在人可以接受的短时间内计算出结果,那这个数据就叫大数据,需要使用到大数据技术处理。而数据仓库本质上是一种数据的处理方式,而不是一种基础软件,它可以依赖于传统数据库,也可以依赖大数据技术去构建。
这个扩展一下数据仓库与传统数据库应用的区别,有下面几点:
- 用途:传统数据库主要用于OLTP(on-line transaction processing)翻译为联机事务处理,即即时的系统交互,数据仓库主要用于OLAP(On-Line Analytical Processing)翻译为联机分析处理,从字面上来看OLTP是做事务处理,OLAP是做分析处理。从对数据库操作来看,OLTP主要是对数据的增删改,OLAP是对数据的查询。
- 建模:传统数据库主要使用范式建模,数据仓库可以根据需要采用范式建模或者现在互联网普遍使用的星形模型等。
- 使用技术:一般使用mysql等关系型数据库,数据仓库目前互联网行业更多的是使用hadoop等大数据技术,也有使用mysql等,可以根据实际情况搭建。
- 存储的数据:传统数据库只存储当前状态的数据,数据仓库需要存储历史状态的数据,用户对历史数据的回溯分析。
需要数据仓库资料可以点击这个领取数据仓库(13)大数据数仓经典最值得阅读书籍推荐
参考资料:
- 数据仓库(01)什么是数据仓库,数仓有什么特点
- 数据仓库(02)数仓、大数据与传统数据库的区别
- 数据仓库(03)数仓建模之星型模型与维度建模
- 数据仓库(04)基于维度建模的数仓KimBall架构
- 数据仓库(05)数仓Kimball与Inmon架构的对比
- 数据仓库(06)数仓分层设计
- 数据仓库(07)数仓规范设计
- 数据仓库(08)数仓事实表和维度表技术
- 数据仓库(09)数仓缓慢变化维度数据的处理
- 数据仓库(10)数仓拉链表开发实例
- 数据仓库(11)什么是大数据治理,数据治理的范围是哪些
- 数据仓库(12)数据治理之数仓数据管理实践心得
- 数据仓库(13)大数据数仓经典最值得阅读书籍推荐
文章评论