体系建设四阶段,1-3-3-3十步法
既参考了国内外数据治理最佳实践,也对过去17年典型案例项目的实践经验进行了提炼和总结,遵循“共建、共治、共用、共安”原则,从搭建一体化数据治理与服务平台入手,同时开展数据现状盘点及体系编制工作,通过以用代管、以管带安的方法,基于一体化数据治理与服务平台实施数据管和安的工作,促进数据合规、安全使用,实现了数据实体、标准与规范、组织和人、及服务的融合。在交换、汇聚、关联、融合、共享等的数据流通过程中将原始数据转化成数据资源,让数据产生价值。这过程我们称为“体系建设四阶段,1333十步法”。
第一阶段、搭建平台
第1步.搭平台、数联网
一体化数据治理与服务平台是功能全面且融通,无坑“平”台,从数据治理→建立业务模型(含数据标准、业务规则)→生成数据汇集、融合、质检、脱敏、交换共享等数据服务,做相应数据处理→可视化数据运维的全面的功能。
1) 提供数据梳理工具及模板,方便业务人员敏捷开展数据梳理活动。
2) 提供可视化数据管理,建立完整的包含数据标准、安全、质量、规则、确权、标签、来源等的数据模型。
3) 基于数据模型定义的数据标准、安全、业务规则生成数据汇聚/交换/加工/质量/脱敏/共享等数据服务,实现业务规则与数据服务深度融合。
4) 可视化数据运维,全景式展示业务应用涉及数据实体流转、关键数据项变化、模型、质量、安全、标准、来源、确权等;能查看数据流转血缘、运行状态查看、运行操作、数据对账、明细日志等。提供包含数据架构、质量、安全等的数据运维报告。
5) 建立数据安全开放体系,选择数据资源目录中的相关数据实体和数据项生成数据开放共享目录,通过数据门户开放数据资源;根据用户申请的数据实体和数据项生成共享数据服务,通过安全数据服务流程管理机制,实现数据开放共享的安全管理。
基于插座式架构的一体化数据治理与服务平台支持分布式部署模式,集团、区域、厂侧共建一体化数据治理与服务平台,可将海量、多源、异地、异构数据联接在一起,形成数联网,实现全集团数据层面的“共建、共治、共用、共安”。
第二阶段、数据咨询
第2步.拆目标,画蓝图
1) 按照客户需求拆解任务目标,建议按照业务条线进行拆解,采用周期循环迭代的方式按节奏推进。
2) 根据目标拆解任务,绘制项目蓝图,明确时间节点。
第3步.盘数据、理现状
1) 通过原始数据盘点,梳理集团公司信息系统的数据模型、数据分布、数据集成等数据现状。
2) 依据集团公司业务和数据现状,划分数据主题域。
3) 基于业务流程,梳理数据实体信息,编制集团原始数据目录。
第4步.认权责、建制度
1) 提出数据治理组织方案,明确各方职责与分工。
2) 编制集团公司数据治理的制度政策文件,明确数据认责机制。
3) 优化数据治理流程,保障数据治理工作正常运行。
第三阶段、数据治理
第5步.定标准、导规则
1) 标准管理,定义数据标准,明确数据术语、数据标准或者参考数据、定义标准数据元、定义指标等。
2) 安全管理,定义数据安全,定义安全分级分类、定义脱敏项及相应的安全脱敏策略等。
3) 规则管理,可以根据数据实体模型中的的标准、安全定义,导出数据质检、清洗、转换、脱敏等处理的业务规则模型;也可以根据具体的业务特点定义业务规则模型。
第6步.提治理、促安全
l 数据落标处理
1) 数据落标处理,定义数据落标处理服务,引入该数据标准的清洗规则、转换规则,实现对数据库、表、文件、接口等的数据落标处理,并记录下不满足条件的问题数据。
2) 问题数据处理,查看根据问题数据清单,根据数据确权实现问题数据派活,方便数据操作者修改问题数据。
3) 持续增量落标,提供增量的数据落标服务,根据项目的不同特点,选择不同的数据落标处理服务。
l 数据质量处理
1) 数据质检处理,定义数据质量检测服务,引入数据质量检测规则,实现对数据库、表、文件、接口等的数据质检处理。
2) 问题数据处理,生成问题数据清单,可以查看具体问题数据,并根据数据确权实现问题数据派活,方便数据操作者修改问题数据。
3) 数据质量报告及数据质量评估,生成数据质量报告,实现对业务部门、业务系统、业务库表等的质量评估和考核。
4) 持续提升数据质量,提供增量的数据质检服务,持续实现数据质量的检测、问题数据处理、数据质量报告和评估及考核。
l 数据安全处理
1) 数据脱敏处理,定义数据脱敏服务,引入数据脱敏规则,实现对数据库、表、文件、接口等的数据脱敏处理。
2) 数据安全共享管理,根据数据实体的安全定义,对数据服务、数据授权
3) 安全审计。
第7步.建模型、接数据
l 数据建模
1) 建立数据实体的数据模型,根据数据实体的结构、约束关系等建立包含编目、安全、标准、来源、确权、标签、质量、规则八个维度的数据模型。
2) 逻辑模型管理,根据数据实体模型,生成逻辑模型,可以将逻辑模型物理化到不同的数据库中。
l 数据汇集
1) 数据汇集处理,定义数据汇集服务,根据数据实体的数据来源,引入该数据汇集服务的映射规则、清洗规则、转换规则等,实现对数据库、表、文件、接口等的数据汇集处理。
l 数据交换协同
1) 数据交换处理,定义数据交换服务,引入该数据交换服务的清洗规则、转换规则、路由规则,实现对数据库、表、文件、接口等的数据交换处理。
2) 数据协同处理,基于业务流程或应用构建业务链全景数据视图,明确数据实体、来源、处理规则,数据变化关系等、生成处理运行任务,实现业务流、数据流、处理流三流合一,通过数据流转运行分析,优化业务流程。
第四阶段、利用数据
第8步.上门户、通服务
l 数据门户
1) 选择数据资源目录中的相关数据实体和数据项生成数据开放共享目录,通过数据门户开放数据资源。
2) 根据用户申请的数据实体和数据项生成共享数据服务,通过安全数据服务流程管理机制,实现数据开放共享的安全管理。
3) 数据防扩散,采用隐式计算和数据防扩散机制。
l 数据服务总线
1) 数据共享处理,定义数据共享服务,根据数据实体的数据来源,引入该数据汇集服务的映射规则、清洗规则、转换规则、脱敏规则等,实现对数据库、表、文件、接口等的数据共享处理。
2) 授权和访问控制,根据数据的安全定义,对共享单位和用户授权。
第9步.业数融、生图谱
l 业数融合
1) 基于业务流程或应用构建业务链全景数据视图,形成业务流程的数据BOM,明确数据实体、来源、处理规则,数据变化关系等、生成处理运行任务,实现业务流、数据流、处理流三流合一,通过数据流转运行分析,优化业务流程
2) 根据实体模型关键数据项在不同部门、信息系统间流转、变化情况生成业务链全景数据视图,全景式展示业务应用涉及数据实体流转、关键数据项变化、模型、质量、安全、标准、来源、确权等,形成跨系统、跨部门、跨层级等闭环的业务流程,实现业务流、数据流、信息流的深度融合,完成数据资产到生产要素的转变,提升数据价值。
l 数据加工分析
1) 根据业务逻辑或数据分析优化关系建立加工分析模型,能够以“一张图”的方式直观的展现数据来源(数据源有可能是异构的、异地的、或通过多方安全计算处理后同步过来的)、经过数据汇聚、交换、加工、质检、隐私计算等处理后形成的分析处理结果,并能够展示相应物理实体表的模型、数据的血缘关系等信息。
l 数据图谱
1) 通过图谱建模可视化拖拽的方式建立实体表间的关联关系,并能够自动生成图谱数据处理服务,通过手动或定时运行将数据按照图谱关系装载至图数据库中。
2) 图谱关系及数据装载完成后,通过平台可视化界面以“所见即所得”的方式进行数据图谱展示,以量化的方式展示数据间的关系及相关数据内容,为数据的优化分析、价值链的优化提升提供量化依据。
第10步.数驱动、助业务
按照数据驱动方法论,循环迭代,持续提升。
1) 了解数据及其关系;
2) 数据建模和治理处理,关联原始数据,形成数据资源;
3) 根据业务逻辑打通数据实体关系;
4) 数据赋能(业务流与数据流融合);
5) 持续提升、优化系统。