Clickhouse中最强大的表引擎当属MergeTree(合并树)引擎及该系列(MergeTree)中的其他引擎。MergeTree系列的引擎被设计用于插入极大量的数据到一张表当中。数据可以以数据片段的形式一个接着一个的快速写入,数据片段在后台按照一定的规则进行合并。相比在插入时不断修改(重写)已存储的数据,这种策略会高效很多。 主要特点 存储的数据按主键排序。这使得您能够创建一个小型的稀疏索引来加快数据检索。 如果指定了分区键的话,可以使用分区。在相同数据集和相同结果集的情况下ClickHouse中某些带分区的…

2023年 12月 26日 0条评论 1192点热度 1人点赞 张飞的猪 阅读全文

目前ClickHouse的表引擎主要有下面四个系列,合并树家族、日志引擎系列、集成的表引擎和其他特殊的引擎。 合并树家族 Clickhouse中最强大的表引擎当属MergeTree(合并树)引擎及该系列(MergeTree)中的其他引擎。 MergeTree系列的引擎被设计用于插入极大量的数据到一张表当中。数据可以以数据片段的形式一个接着一个的快速写入,数据片段在后台按照一定的规则进行合并。相比在插入时不断修改(重写)已存储的数据,这种策略会高效很多。 主要特点 存储的数据按主键排序。这使得您能够创建一个小型的稀疏…

2023年 12月 11日 0条评论 997点热度 0人点赞 张飞的猪 阅读全文

这里会介绍ClickHouse几种数据库引擎,已经对应的特点和应用的场景。数据库引擎允许您处理数据表。默认情况下,ClickHouse使用Atomic数据库引擎。它提供了可配置的table engines和SQL dialect。 目前的数据库引擎: MySQL MaterializeMySQL Lazy Atomic PostgreSQL MaterializedPostgreSQL Replicated SQLite Atomic 支持非阻塞的DROP TABLE和RENAME TABLE查询和原子的EXCHA…

2023年 12月 11日 0条评论 1418点热度 0人点赞 张飞的猪 阅读全文

当前服务器上创建表(单节点) 创建新表具有几种种语法形式,具体取决于用例。默认情况下,仅在当前服务器上创建表。分布式DDL查询作为子句实现,该子句另外描述。 语法形式 使用显式架构 CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster] ( name1 [type1] [NULL|NOT NULL] [DEFAULT|MATERIALIZED|EPHEMERAL|ALIAS expr1] [compression_codec] [TTL e…

2023年 12月 11日 0条评论 1352点热度 1人点赞 张飞的猪 阅读全文

ClickHouse属于分析型数据库,ClickHouse提供了许多数据类型,它们可以划分为基础类型、复合类型和特殊类型。其中基础类型使ClickHouse具备了描述数据的基本能力,而另外两种类型则使ClickHouse的数据表达能力更加丰富立体。 基础类型 基础类型只有数值、字符串和时间三种类型,没有Boolean类型,但可以使用整型的0或1替代。 数值类型 数值类型分为整数、浮点数和定点数三类,接下来分别进行说明。 Int 在普遍观念中,常用Tinyint、Smallint、Int和Bigint指代整数的不同取…

2023年 12月 11日 0条评论 1428点热度 0人点赞 张飞的猪 阅读全文

ClickHouse集群的搭建和部署和单机的部署是类似的,主要在于配置的不一致,如果需要了解ClickHouse单机的安装设部署,可以看看这篇文章,ClickHouse(03)ClickHouse怎么安装和部署。 ClickHouse集群部署流程大概如下: 1. 环境准备 2. 在每台机器上安装单机版ClickHouse 3. config.xml配置 4. Zookeeper配置 5. 进入ClickHouse测试 环境准备 下载安装包 按照ClickHouse(03)ClickHouse怎么安装和部署中的介绍下…

2023年 12月 11日 0条评论 1263点热度 0人点赞 张飞的猪 阅读全文

本文会介绍如何安装和部署ClickHouse,官方推荐的几种安装模式,以及安装之后如何启动,ClickHouse集群如何配置等。 简单来说,ClickHouse的搭建流程如下: 环境检查,环境依赖安装 在对应的服务上下载安装Click House 配置config.xml和user.xml,如果搭建Click House集群,还要配置Host文件和FQDN:(Fully Qualified Domain Name)全限定域名 启动server 连接client 这里先介绍单机的Click House的搭建和启动,下…

2023年 12月 11日 1条评论 1673点热度 1人点赞 张飞的猪 阅读全文

ClickHouse核心架构设计是怎么样的?ClickHouse核心架构模块分为两个部分:ClickHouse执行过程架构和ClickHouse数据存储架构,下面分别详细介绍。 ClickHouse执行过程架构 总的来说,结合目前搜集到的一些资料,可以看到目前ClickHouse核心架构由下图构成,主要的抽象模块是Column、DataType、Block、Functions、Storage、Parser与Interpreter。 简单来说,就是一条sql,会经由Parser与Interpreter,解析和执行,通…

2023年 12月 11日 1条评论 1600点热度 2人点赞 张飞的猪 阅读全文

ClickHouse的由来 ClickHouse是什么数据库?ClickHouse速度有多快?应用场景是怎么样的?ClickHouse是关系型数据库吗?ClickHouse目前是很火爆的一款面向OLAP的数据,可以提供秒级的大数据查询。 Google于2003~2006年相继发表了三篇论文“Google File System”“Google MapReduce”和“Google Bigtable”,将大数据的处理技术带进了大众视野。2006年开源项目Hadoop的出现,标志着大数据技术普及的开始,大数据技术真正开…

2023年 12月 11日 1条评论 1994点热度 3人点赞 张飞的猪 阅读全文

从事数仓工作,在工作学习过程也看了很多数据仓库方面的数据,此处整理了数仓中经典的,或者值得阅读的书籍,推荐给大家一下,希望能帮助到大家。建议收藏起来,后续有新的书籍清单会更新到这里。 书籍推荐 《数据仓库工具箱(第3版)——维度建模权威指南》 本书会介绍基本知识,然后逐个讨论具体实例内容,最后进行综合总体分析,在内容的结构方面很有特色。本书涉及的行业较多,但这些内容从不同角度体现了数据仓库的各个方面,因而对于完整的学习与掌握数据仓库知识显得十分必要。 这本书是数据维度建模的鼻祖,从这个意义上讲,就挺有了解的意义,当…

2023年 3月 28日 0条评论 1361点热度 6人点赞 张飞的猪 阅读全文