数仓模型设计详细讲解
前言
今天给大家分享下数仓中的模型设计,一个好的数仓项目首先看一下它的架构以及他所用到的模型,它们使用的模型也都是非常巧妙的,好了,我们话不说到直接开始。
一、维度建模基本概念
维度模型是数据仓库领域大师Ralph Kima数仓ll所倡导,他的《数据仓库工具箱》,是数据仓库工程领域最流行的数仓建模经典。维度建模以分析决策的需求出发构建模型,构建的数据模型为分析需求服务,因此它重点解决用户如何更快速完成分析需求,同时还有较好的大规模复杂查询的响应性模型能。
维度建模是专门应用于分析型数据库、数据仓库、数据集市建模的方法。数据集市可以理解为是一种小型数据仓库。
1.1 事实表
发生在现实世界中的操作型事件,其所产生的可度量数值,存储在事实表中。从最低的粒度级别来看,事实表行对应一个度设计量事件,反之亦然。
事实表表示对分析主题的度量。比如一次购买行为我们就可以理解为是一个事实。
图中的订单表就是一个事实表,可以理解他就是在现实中发生的一次操作型事件,每完成一个订单,就会在订单中增加一条记录。
事实表的特征详细:表里没有存放实际的内容,他是一堆主键的集合,这些ID分别能对应到维度表中的一条记录。事实表包含了与各维度表相关联的外键,可与维度表关联。事实表的度量通常是数值类型(条/个/次),且记录数会不断增加,表数据规模迅速增长。
1.2讲解 维度表
维度表示要对数据进行分析时所用的一个量,比如你要分析产品销售情况, 你可以选择按类别进行分析,或按区域分析。这样的按..分析就构成一个维度。上图中的用户表、商家表、时间表这些都属于维度表。这些表都有一个唯一的主键,然后在表数仓中存放了详细的数据信息。
例如:交易金额分析分析
男性用户的订单金额、联想商品的订单金额、第一季度的订单金额、手机的订单金额、家里下单的订单金额
例如:学生分析
姓张的同学有多少、男性的同学有多少、江苏的同学有多少、身高小于1模型70cm的同学有多少、年龄小于23岁的同学有多少。
每个维度表都包含单一的主键列。维度表的主键可以作为与之关联的任何事实表的外键,当然,维度表行的描述环境应与事实表行完全对应。维度表通常比较宽,是扁平型非规范表,包含大量的设计低粒度的文本属性。
总的说来,在数据仓库中不需要严格遵守规范化设计原则。因为数据仓库的主导功能就是面向分析,以查询为主,不涉及数据更新操作。
事实表的设计是以能够正确记录历史信息为准则。
维度表的设计是以能够以合适的角度来聚详细合主题内容为准则。
二、维度建模三种模式
2.1 星型模型
星形模式(Star Schema)是最常用的维度建模方式。星型模式是以事实表为中心,所有的维度表直接连接在事实表上,像星星一样。
星形模式的维度建模由一个事实表和一组维表讲解成,且具有以下特点:
维表只和事实表关联,维表之间没有关联; 每个维表主键为单列,且该主键放置在事实表中,作为两边连接的外键; 以事实表为核心,维度表围绕核心呈星形分布
2.2 雪花模式
雪花模式(Snowflake Schema)数仓是对星形模式的扩展。雪花模式的维度表可以拥有其他维度表的,虽然这种模型相比星型更规范一些,但是由于这种模型不太容易理解,维护成本比较高,而且性能方面需要关联多层维表,性能也比星型模型要低。所以一般不是很常用。
2.模型3 星座模式
星座模式是星型模式延伸而来,星型模式是基于一张事实表的,而星座模式是基于多张事实表的,而且共享维度信息。
前面介绍的两种维度建模方法都是多维表对应单事实表,但在很多时候维度空间内的事实表不止一个,而一个维表也可能设计被多个事实表用到。在业务发展后期,绝大部分维度建模都采用的是星座模式。
总结
好了本篇文章就分享到这里了,本篇文章主要讲解了维度模型三种模式,在设计数仓的时候尽量将表设计为星星模型和雪花模型这样的话我们在实现功能的时候就比较简详细单,原因是星星模型和雪花模型架构基本上是一对多的。信自己,努力和汗水总会能得到回报的。我是大数据老哥,我们下期见~~~。
-
Shopify 总裁:AI 是互联网以来的最大变革!流量激增 7 倍,订单飙升 11 倍,全力铺设“AI 代理商业”轨道!谷歌 AI 模型每月处理量突破1.3万亿代币,计算负载激增引环保持续争议云计算开发:Python3数学函数log10()方法详解标签: 上海公安 喜茶 美团 净网行动《幻兽帕鲁》卷爆云厂商 服务器价格低至26元/月OpenAI 为 ChatGPT 推出智能记忆清理功能,Plus 用户率先体验标签: 腾讯 田永龙 OpenAI VLM神经辐射场基于点,训练速度提升30倍,渲染质量超过NeRF宾州州立大学推出首个人工智能工程学位,抢占教育先机终于!这个强大的「开源图像识别系统」上线了!
- ·螃蟹运输能活多久
- ·标签: 米哈游 非法剧透 侵犯著作权 游戏测试包
- ·苹果App Store新规12 月 8 日起实行,规范开发者的隐私信披义务
- ·Meta发布支持128种语言的新语音模型:指向元宇宙跨语种交流
- ·标签: 银发经济 淘宝 抖音 QuestMobile
- ·标签: MStar 易鑫 BAI资本 Grupo Fórmula
- ·标签: 天翼视联 中国电信 海康威视 视联网
- ·濡備綍璁捐�鍙��鍖栨惌寤哄钩鍙扮殑缁勪欢鍟嗗簵锛�
- ·标签: 招商银行 2025年报 不良贷款率 拨备覆盖率
- ·标签: 市场监管总局 广告监管 提示性用语 绝对化用语
- ·云计算核心技术Docker教程:启用IPv6支持
- ·社交网络Parler起诉亚马逊因“政治敌意”终止为其提供托管服务
- ·微软 Copilot 现已入驻三星电视,免费帮你找片、提建议
- ·阿里CEO吴泳铭:未来五年,云和AI商业化年收入突破1000亿美元
- ·谷歌限制广告追踪保护隐私 力度没有苹果大
- ·标签: 微信 微短剧 珊瑚安全 广电总局
