首先说明一下,本内容学习笔记是总结于哔哩哔哩平台人月聊IT 何老师的视频。有想详细学习的可以看他的视频,会受益匪浅!老师有本书《SOA与大数据企业私有云平台的规划和建设》,我后面也准备买了学习一下。
一、数据架构规划内容
1、数据主题分析、概念模型(ER)、逻辑模型、物理模型;
2、结合CRUD分析去考虑数据的聚合;
3、结合CRUD分析去考虑如何识别分析主数据;
4、从OLTP过渡到OLAP的数据建模
二、数据架构分析的最核心的一条主线
数据主题域分析、概念模型(ER)、逻辑模型、物理模型。
数据主题域分析。可以理解成业务价值链的业务域(比如,在任何一个企业会有人力资源、市场营销、研发、供应链等,每一个业务域里面,需要分析它核心的业务对象或者数据对象,如在人力资源里面,有人员、有组织;在市场营销里面有客户、有订单;在研发里面有BOM 、有物料;在供应链里面有订单、有合同数据格式有哪几种,这样就完成一个简单的数据主题域的分析)。
概念模型。类似于传统IT软件开发里面的业务对象建模,类似于ER的实体关系图。在概念模型阶段,需要识别出核心业务对象和业务对象之间的关系。(比如在供应链,会识别出关键的有项目对象、合同对象、订单对象、供应商对象等,项目和合同之间可能是一对多的关系,合同和订单可能又是一对多的关系,到这个阶段概念模型就ok了)。
逻辑模型。从概念模型到逻辑模型,一般需要拆分到具体的数据表的颗粒度。(比如,对于采购订单,在概念模型的时候就是一个对象,到了逻辑模型阶段,就需要拆分出采购订单实际包括采购订单头、采购订单明细行、采购订单分配行、采购订单的发运行,形成一个完整的采购订单的四层表结构)。
物理模型。需要对每一个库表,每一个字段、每个字段的类型、字段的约束进行详细的设计。物理模型设计完成后,完全可以支持我们IT系统的开发和建设。
三、数据架构梳理的第二条主线
结合CRUD分析去考虑数据的聚合。通过流程分析和CRUD矩阵分析,了解每一个数据对象和业务功能之间的耦合关系,梳理完耦合关系后,结合上面再讲应用架构(包含合同系统、采购系统、物流系统等,其解决了功能的聚合,但是没有解决数据的聚合),进一步分析哪一些数据会聚合到一个大的数据库里面,哪一些数据会聚合到采购系统的数据库里面,每一个数据对象都必须找到它实际的owner究竟是哪一个IT系统或者应用系统。
主数据的规划和建设。通过CRUD分析去做主数据的识别,识别完成后数据格式有哪几种,做详细的主数据的分析和主数据的建模,这是独立的另外一条线就叫主数据的规划和建设。
OLTP过渡OLAP的数据建模,从传统的IT业务系统到建设相应的BI系统、数据中台、决策支持分析系统。到了OLAP阶段,需要看相应的业务系统数据,主数据,如何去采集和集成数据,形成统一的ODS库,包括ods库建成后如何再结合数据的建模形成上层的数据仓库,方便做更上层的数据的聚合分析、数据的维度分析。
四、名词解释
ER:Entity-relationship model 实体关系模型,是概念数据模型的高层描述所使用的数据模型或模式图。
BOM: Bill of Material 物料清单。也就是以数据格式来描述产品结构的文件,是计算机可以识别的产品结构数据文件。
CRUD矩阵分析:是一种用于寻找遗漏需求的方法,它将系统行为与数据实体联系起来,确保你清楚每个数据项在何处及如何被创建、读取、修改和删除。CRUD是创建(Create)、读取(Read)、修改(Update)和删除(Delete)的缩写。
OLTP:On-Line Transaction Processing联机事务处理过程,也称为面向交易的处理过程,其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理,并在很短的时间内给出处理结果,是对用户操作快速响应的方式之一。它所存储的数据被称为操作数据或者业务数据。
OLAP:Online Analytical Processing联机分析处理。使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互的存取中创网,从而获得对数据更深入了解的一类软件技术。