网站漂浮广告代码网站是灰色系的网站

当前位置： 首页 > news >正文

网站漂浮广告代码,网站是灰色系的网站,建筑论坛,在线app制作平台1. 模型的复用率你们是怎么做的#xff1f; 简单直白的说就是你的模型复用率如何#xff0c;在业务方是否认可该模型#xff0c;也是衡量模型建设的一个标准#xff0c;复用率数#xff1a;数仓模型涉及的核心是追求模型的复用和共享#xff0c;引用系数越高#xff0c;…1. 模型的复用率你们是怎么做的 简单直白的说就是你的模型复用率如何在业务方是否认可该模型也是衡量模型建设的一个标准复用率数数仓模型涉及的核心是追求模型的复用和共享引用系数越高说明数仓的复用性越好 「用模型引用系数作为指标衡量数据中台模型设计的复用度。引用系数越高说明数仓的复用性越好。 模型引用系数一个模型被读取直接产出下游模型的平均数量」 通过数据血缘图评估模型设计
借助元数据中心的数据血缘图我们能够直观地评判数仓模型的设计优劣。一个欠佳的模型设计往往呈现出自下而上的单一线条状这意味着数据的流向极为单一缺乏应有的复用和共享。 与之相反理想的模型设计应是交织的发散型结构。在这种结构下一个模型能够被多个下游模型引用从而形成复杂的网络关系。比如一张 DWD 层表被多张 DWS 层表引用这充分体现了数据的复用和共享。这样的设计能够让数据在不同的业务场景中得到充分利用进而提高数据的价值。同时当底层数据发生变化时只需在少数关键节点进行调整就可以影响到多个下游业务大大降低了维护的工作量。 以模型引用系数衡量复用度
复用度我们引入了模型引用系数这一重要指标。模型引用系数指的是一个模型被读取后直接产出下游模型的平均数量。 以 DWD 层表为例如果一张 DWD 层表被 5 张 DWS 层表引用那么这张 DWD 层表的引用系数就是 5。通过计算所有有下游表的 DWD 层表的引用系数的平均值我们可以得到 DWD 层表平均模型引用系数。一般来说这个系数低于 2 被认为比较差而 3 以上则相对比较好这是根据经验得出的判断标准 DWD完善度与复用性的关系
DWD 层作为数据仓库的重要层次其完善度对于整个数仓的性能和复用性至关重要。通常情况下我们可以通过观察 ODS 层有多少表被 DWS/ADS/DM 层引用来衡量 DWD 层是否完善 DWS/ADS/DM 层完善度对复用性的影响
DWS/ADS/DM 层的完善度主要考核汇总数据的完善程度。一般来说我们主要看汇总数据能直接满足多少查询需求。如果汇总数据无法满足需求使用数据的人就不得不使用明细数据甚至原始数据这会增加查询的复杂性和成本 完善度对数仓模型复用性的重要意义
完善度的数仓模型能够带来多方面的好处。首先它可以提高数据的复用性减少重复开发工作。通过在 DWD 层进行充分的数据处理和整合上层的数据使用可以更加高效地复用已有的数据资产。其次完善的汇总数据可以满足大部分查询需求提高查询速度和降低成本。最后完善度高的数仓模型能够更好地支持业务决策提供准确、及时的数据支持 2. 数据去重的常见方法有哪些 数据去重是提升数据质量的重要环节常见的去重方法包括 主键去重为数据表设定唯一标识符作为主键数据库层面自动阻止重复数据的插入。 哈希技术利用哈希函数计算数据行的唯一哈希值相同数据产生相同的哈希值从而快速识别并移除重复项。 排序法先对数据集进行排序然后遍历数据比较相邻记录移除重复行。此方法适用于数据量不大或内存足够大的情况。 distinct查询在SQL查询中使用DISTINCT关键字筛选出唯一的记录。 外部键关联在关联表之间通过外键约束确保从属记录的唯一性间接实现去重。 数据清洗工具利用专门的数据清洗软件或库如Python的pandas库内置去重功能简化操作。 指纹技术对复杂数据结构如文档、图像使用内容指纹如MD5、SHA进行比较识别重复内容。 3. 缓慢变化维的设计 三种直接覆盖增加新行增加心属性列 Type 1:覆盖直接用新值代替旧值。 Type 2:增加新行。将当前行的状态设置为off并设置一个endtime时间戳将当前时间标记上。 同时新增1行将其状态标记为on设置begintime时间戳为上一个记录的endtime1。 Type 3:增加新列给表增加一个新列来存储新值同时保留原来的值不变。 4. 拉链表使用场景和实现方式 拉链表使用场景需要查看历史某一时间节点的状态同时考虑到存储空间。 实现方式 首先是拉链表dw_order_his的设置有start_date和end_date两个字段 其次在ods层创建一个ods_order_update表储存当变化数据包括insert和update的数据 源表order ods_order_update表和dw_order_his表的交集进行封链操作end_datecurrent_date ods_oder_update数据插入到his表中对于记录的end_date9999-12-31,start_datecurrent_date 5. 星型模型和雪花模型区别 星形模型(Star Schema): 1.事实被维度所包围且维度没有被新的表连接 2.星形模型是一个比较折中的的建模方式(BIAPPS中都是用的是星形的建模方式) 雪花模型(Snowflake Schema): 1.事实表被多个维表或一个或多个层次所包围 2.雪花模型一般在处理大的且相对静态的层次的时候使用 根据事实表和维度表的关系又可将常见的模型分为星型模型和雪花型模型。 星形模型当所有维度表连接到事实表上的时候整个图就像一个星星故称之为星型模型。星型架构是一种非正规化的结构多维数据集的每一个维度都直接与事实表相连不存在渐变维度所以数据有一定冗余。因为有冗余所以很多统计不需要做外部的关联查询因此一般情况下效率比雪花模型高。 雪花模型当有多个维度表没有直接连接到事实表上而是通过其他维度表连接到事实表上时其图形就像雪花故称雪花模型。雪花模型的优点是减少了数据冗余所以一般情况下查询需要关联其他表。在冗余可接受的前提下使用星型模型。 星型模型和雪花模型的区别在于维度表是直接连接到事实表还是其他维度表。 6. 你们公司的数仓分层每一层是怎么处理数据的 数据仓库一般分为三层自上而下分别为数据贴源层ODSOperation Data Store、数据公共层CDMCommon Data Model和数据应用层ADSApplication Data Service。 逻辑分层架构 分层的好处 清晰数据结构每一个数据分层都有它的作用域这样我们在使用表的时候能更方便地定位和理解。数据血缘追踪简单来讲可以这样理解我们最终给业务呈现的是一张能直接使用的张业务表但是它的来源有很多如果有一张来源表出问题了我们希望能够快速准确地定位到问题并清楚它的危害范围。减少重复开发规范数据分层开发一些通用的中间层数据能够减少极大的重复计算。把复杂问题简单化将一个复杂的任务分解成多个步骤来完成每一层只处理单一的步骤比较简单和容易理解。而且便于维护数据的准确性当数据出现问题之后可以不用修复所有的数据只需要从有问题的步骤开始修复。 7. 什么是事实表什么是维表 事实表Fact Table是指存储有事实记录的表如系统日志、销售记录等事实表的记录在不断地动态增长所以它的体积通常远大于其他表。 事实表作为数据仓库建模的核心需要根据业务过程来设计包含了引用的维度和业务过程有关的度量。 可加最灵活最有用的事实是完全可加可加性度量可以按照与事实表关联的任意维度汇总。比如消费总金额 半可加半可加度量可以对某些维度汇总但不能对所有维度汇总。差额是常见的半可加事实除了时间维度外他们可以跨所有维度进行操作。(比如每天的余额加起来毫无意义) 不可加一些度量是完全不可加的例如比率。对非可加事实一种好的方法是分解为可加的组件来实现聚集 维度表Dimension Table或维表有时也称查找表Lookup Table是与事实表相对应的一种表它保存了维度的属性值可以跟事实表做关联相当于将事实表上经常重复出现的属性抽取、规范出来用一张表进行管理。常见的维度表有日期表存储与日期对应的周、月、季度等的属性、地点表包含国家、省州、城市等属性等。维度是维度建模的基础和灵魂 使用维度表有诸多好处具体如下 缩小了事实表的大小。便于维度的管理和维护增加、删除和修改维度的属性不必对事实表的大量记录进行改动。维度表可以为多个事实表重用以减少重复工作。 下钻是商业用户分析数据的最基本的方法。下钻仅需要在查询上增加一个行头指针新行的头指针是一个维度属性附加了sql语言的group by表达式属性可以来自任何与查询使用的事实表关联的维度下钻不需要预先存在层次的定义或者是下钻路径。 有时维度除了主键外没有其他内容例如当某一发票包含多个数据项时数据项事实行继承了发票的所有描述性维度外键发票除了外键无其他项但发票数量仍然是在此数据项级别的合法维度键。这种退化维度被放入事实表中清楚的表明没有关联的维度表退化维度常见于交易和累计快照事实表中 8. 了解onedata吗说说你的理解 于前期缺少规划随着集团业务发展暴露的问题越来越多给数据治理工作带来了很大的挑战在数据仓库建设过程中主要发现了以下几个问题 缺乏统一的标准如开发规范、指标口径等。缺乏统一数据质量监控如字段数据不完整和不准确数据发散等。业务知识体系混乱导致数据开发人员开发成本增加。数据架构不合理层级之间分工不明显数据流向混乱。缺失统一维度和指标管理。 二、目标 基于公司现有的数据平台完善数据体系架构、数据规范、模型标准和开发模式从而驱动业务快速发展高人力成本、数据错误、浪费资源、杂乱无章、效率低下这些经常出现的痛点OneData都能轻松解决 1.核心思想 从设计开发和使用上保障规范和统一实现数据资产全链路管理提供标准的数据输出包含数据规范定义数据模型设计规范ETL规范 2.核心特点 3.策略