新时代工业化发展的必由之路，工业数字化转型中的大数据管理和数据控制

随着数据资源的爆发式增长，企业面临着数据标准不一致、数据信息分散、数据质量参差不齐、开发维护困难等问题。 难以满足实时分析和决策的高要求。 因此，数据治理对于工业互联网的发展至关重要。

01、数据治理发展现状

1.1 数据治理相关概念

数据治理是组织中数据使用和维护的管理行为。 其本质是指导、评估和监督数据的管理和利用。 通过制定数据标准体系，提高数据质量，为组织提供持续创新的数据服务。 提高数据的价值密度。 数据治理内容主要包括元数据管理、主数据管理、数据标准管理、数据质量管理、数据生命周期管理、数据组织、数据安全和数据服务等模块。 不同模块功能清晰、相互协调，共同打造统一调度、服务精准、安全可用的信息共享服务体系。

1.2 数据治理的历史

数据治理的发展历史可以分为三个阶段。 第一阶段是早期探索阶段。 1988年麻省理工学院推出的全面数据质量管理计划形成了数据治理的雏形。 同年，国际数据管理组织协会（DAMA）成立。 2002年，数据治理的概念在学术界出现。 美国两位学者根据两家公司的实践成果提出了数据治理的研究方向，拉开了数据治理在企业管理中的帷幕。 第二阶段是理论研究阶段。 2003年，国际数据治理研究所成立，主要研究数据治理的理论框架，并与国际标准化组织合作定义数据治理。 2009年，DAMA发布了数据管理知识体系指南，基本确定了数据治理的理论框架。 第三阶段是广泛接受和应用阶段。 随着数据仓库的建设，数据治理的理念在国内逐渐开始被接受，并于2015年提出了国际标准研究报告《数据治理白皮书》。

2020年以来，数据治理在公共管理、科学研究、工商领域得到广泛应用。 以数据为核心的“互联网+”体系日益彰显数据治理的价值。 为了进一步推动数据治理的发展，美国和欧盟围绕数据使用和保护公共政策颁布了法规。 我国也相继出台《中国制造2025》、《关于深化“互联网+先进制造业”发展工业互联网的指导意见》等相关政策推动工业互联网发展，进一步体现了工业数据的必要性治理。

1.3 行业数据治理探索

工业生产制造主要包括设备故障预警、异常实时报警、异常回溯、产品稳定性和生产效率优化等业务场景。 随着智能制造、工业互联网等战略政策的深入推进，工业企业积累了大量数据，为不同业务场景的数据分析提供了优质的数据接口，工业数据治理成为核心问题。 本文将以工业数据为核心，以数据治理为手段，以业务应用为目的，构建工业生产制造的数据治理体系，并通过案例实践验证数据治理的有效性。

02、工业数据治理系统

2.1 行业数据格局

2.1.1 行业数据来源

工业数据可分为运营技术数据（OT）和信息技术数据（IT）。 OT数据是工业数据的主要部分，来源于工业生产机械设备、自动化采集系统等，包括时间序列数据和非时间序列数据。 时间序列数据包括温度、压力、流量等数据。 非时间序列数据包括工业系统的日志数据和生产控制的经验数据。 IT数据主要包括企业资源规划（ERP）、制造执行系统（MES）等业务数据。 其中，ERP系统主要包括财务、客户关系、供应链管理等数据，MES系统位于上层ERP层和下层控制层之间，主要包括生产调度、质量管理、人员管理等数据。

2.1.2 工业数据特点

“隔离”。 工业数据来自多个流程的多个设备。 设备独立工作，进程间数据互不流动，形成“数据孤岛”。

“多模态”。 工业数据来源广泛，结构复杂。 除了工业生产中采集的温度、压力、流量等时间序列数据外，还包括检测火焰温度等的红外热像视频数据。

“强联系”。 工业数据中的关联主要包括：生产指标之间的关联，如原燃料流量、温度、压力的关联； 生产过程的关联，例如生产过程之间的工艺参数的关联； 产品设计与制造的关联性，如仿真过程与产品实际工况的关联性。

“高吞吐量”。 传感器采集的时间序列数据具有多设备、多测量点、频率高、吞吐量大、连续不间断的特点。 以工业生产设备为例，数据采样频率为10Hz，单台设备每秒产生16KB的传感器数据。 如果全部采集20台设备，每天将产生约12.87GB数据，每年约产生4.58TB数据。 ，呈现出“高通量”的特点。 数据带来巨大的存储成本，同时还存在连接不连贯、标准不一致、数据错位、“脏”数据等质量问题，无法为数据分析提供有效的接口。 如何增加数据的价值密度，提高数据挖掘的效率是当前亟待解决的问题。

2.2 工业数据治理体系研究

2.2.1 顶层框架设计

数据治理是工业数字化转型之路的关键。 数据治理的实施将有助于增加数据的价值密度，提高数据挖掘的效率，更好地服务灵活多变的业务场景，为数据分析提供有效的接口。 目前，数据治理系统的研究已经相当成熟，可以适应不同的应用场景。 本文在参考通用数据治理体系的基础上，结合数据源、数据特征、业务场景等工业数据核心要素，构建工业生产数据治理体系，如图1所示。

为了保证数据资产不丢失，源数据和分析数据在物理上是分开的。 源数据按原始格式保存存储在本地服务器，分析数据经过数据治理后存储，非必要数据归档或销毁。 数据治理体系框架包括元数据管理、主数据管理、数据标准管理、数据质量管理、数据生命周期管理、数据组织、数据安全和数据服务环节。 各个环节相互协调、相互依存，形成全方位、多层次、多角度的数据治理框架。

2.2.2 元数据管理

元数据的定义是“关于数据的数据”。 元数据反映数据交易、事件、对象和关系。 通过元数据管理，可以绘制数据地图、统一数据口径、标注数据方向、分析数据关系、进行影响分析，并深入到现场层面，方便数据追踪和回溯。

在工业领域，元数据主要包括技术元数据和业务元数据，如图2所示。技术元数据具体包括：物理资源元数据（服务器、操作系统等）、数据源元数据（网关地址等）和业务元数据。 、存储元数据（指标描述、数据结构、存储属性、管理属性等）、共享元数据（接口模式、格式等）； 业务元数据具体包括：模型元数据（特征工程、评估标准等）、分析元数据（业务流程、业务规则等）。 基于工业元数据管理，可以构建元模型，自动采集元数据，实现企业信息资产梳理、数据地图、数据谱系分析等功能。

2.2.3 主数据管理

主数据是指满足跨部门、跨业务协作需求、在各业务部门复用的系统共享数据，如客户、供应商、资产、产品、物料清单、账户等数据。 工业主数据管理流程由业务治理、标准治理和质量治理组成，如图3所示。

在工业制造领域，主数据与物联网数据结合可以满足不同的业务场景需求。 例如，如果您想了解或预测物料的库存状态，以提高生产调度效率，可以将原材料消耗的传感器数据与物料清单的主数据进行关联和分析，以感知物料的库存状态。 因此，通过将高价值、共享性高、相对稳定的主数据与物联网数据关联起来，结合机器学习、深度学习等算法，可以实时评估企业的生产经营情况，做出有针对性的调整。

2.2.4 数据标准管理

数据标准管理的目标是设计标准体系，包括数据质量标准、数据运营标准、数据应用标准，形成循环共享的信息平台。 数据标准主要由业务定义、技术定义和管理信息三部分组成。 业务定义包括业务、名称、接口等的定义。技术定义包括数据类型、数据结构等的定义，管理信息包括所有者和管理者。 等的定义如图4所示。

在工业制造领域，大数据标准一般以行业标准为基础，如元数据管理标准（ISO-11179、CWM、DCMI）、数据质量标准（ISO-8000、ISO-25012）和数据安全标准（ISO -27001），根据工业数据的特点对数据进行标准化，一般包括数据格式、数据质量、数据语义、编码规则、字典值等，减少数据孤岛、流通不畅、应用繁琐等问题的发生。

2.2.5 数据质量管理

数据质量管理是工业数据治理的关键，也是数据应用的前提。 为企业风险控制、分析决策、生产运营提供更加准确、优质的数据，提高工业数据分析效率。 工业数据质量管理如图5所示。

传统的质量评估体系过于复杂。 结合工业数据和业务场景，基于完整性、准确性、标准化、唯一性、一致性、相关性、可追溯性等，构建合理的数据质量评估体系，并根据工业实际生产情况，细化质量评估体系：

(1)生产控制数据：如果生产控制指标不完整或不一致，或导致控制异常、控制不及时等，因此应优先考虑生产控制指标的数据质量管理，以保证生产过程的正常运行。

（2）传感器数据：传感器数据监控生产过程的运行情况，可以实时感知生产异常，并及时优化调整。 因此，有必要提高传感器数据访问的及时性和一致性。

(3)故障记录数据：为了保证生产设备稳定运行，需要对设备故障记录进行分析和诊断。 因此，需要保证设备故障记录数据的可靠性和可追溯性。

(4)库存物流数据：库存物流管理是生产、计划和控制的基础。 通过保证库存物流数据的及时性和完整性，可以优化生产周期，保证生产的良性循环。

2.2.6 数据生命周期管理

采用科学的数据生命周期管理，可以提高系统运行效率，大幅降低数据存储成本，更好地服务客户需求。 数据生命周期包括三个主要阶段：上线阶段、归档阶段和销毁阶段，如图6所示。

本文对工业领域各种应用系统的数据进行提炼和分类，并在数据生命周期的各个阶段制定有效的管理策略。 首先，按照产品线划分眼镜行业应用体系，确定数据类别，明确数据有效期，建立完整的数据有效期管理工作规范体系。 然后，对于长有效期的数据，在有效期结束后使用低成本的存储介质进行保存，并采用在线和离线的方式逐步将数据存档。 最后，销毁冗余数据以节省数据存储资源。 可见，数据生命周期管理可以极大地提高高价值数据的查询效率，同时降低高价存储介质的采购成本。

2.2.7 数据组织

数据组织的目的是根据数据应用需求，采用统一标准、标准化流程分类，构建数据资源库，进一步强化大数据内部关联性。 数据组织主要包括原始库、知识库、主题库等。

(1)原始库：原始库存储原始业务场景数据。 工业原始数据主要包括设备监控数据、生产过程记录、产品检验数据、生产异常数据、生产运行数据等。

（2）知识库：知识库是指工业领域的业务经验数据和规则和方法的集合，包括数据访问、处理、服务以及工业通用模型涉及的基于知识的数据和规则和方法。 行业知识库主要包括原材料特性、设备参数、产品设计、生产原理、行业趋势等。

(3)主题数据库：主题数据库根据分析和服务的目的将原始数据和资源数据划分，形成不同主题的数据集合。 工业数据主题数据库主要包括人员主题数据库、设备主题数据库、原材料主题数据库、生产方法数据库、生产环境数据库等。

2.2.8 数据安全

工业生产中的重要敏感数据大多集中在应用系统中，如原材料配方、控制策略等工艺参数数据，以及客户信息、生产计划、资产信息等生产运营数据。 敏感数据泄露对企业的影响是不可逆转的。 ，凸显数据安全在数据治理过程中的重要性。 数据安全包括以下三点：

(1)数据存储安全：包括存储数据的物理安全和系统安全。 数据存储安全主要通过安全硬件的采购来保证。

（2）数据传输安全：包括数据加密和数据网络安全控制，由专业数据安全厂商提供技术支持。

（3）数据使用安全：基于业务系统层面，建立完善的数据安全管理体系和审核机制。 严格管理生产、研发测试过程中使用的各类敏感数据。

2.2.9 数据服务

数据治理是为了更好地利用数据，是数据应用的基础。 根据工业领域的业务需求，大致分为应用支撑、工具应用和业务应用三个方向。 应用支撑服务包括知识图谱构建、数据服务总线和服务管理； 工具应用服务包括生产查询检索服务、模型分析服务和数据管理服务； 业务应用服务包括产品追溯、异常预警和可视化画面等服务类型。 通过海量数据的集中、整合、挖掘和共享，结合全方位、多层次的数据服务体系，增强异常处理的实时性、前瞻性，推动行业向信息化、智能化迈进。

03、工业数字化中的数据治理实践

本文以工业数据治理体系为基础，以光纤生产为背景，探讨工业数据治理在光纤生产领域的应用实践。 采用大数据分布式架构来收集、清洗和存储数据。 构建数据图谱并进行数据谱系分析，利用智能算法实现数据对位、生产异常自动识别和预警。 对比数据治理前后产品数据分析的优化效果，并搭建数字大屏，直观呈现数据治理结果。 最后总结了数据治理给光纤生产带来的产品质量和效率的提升。

3.1 数据图

数据地图的构建属于数据治理中的元数据管理环节。 光纤行业数据来源广泛、数量大、分散度高。 传统的数据管理方法查找数据的成本更高。 通过大数据采集和存储技术，跟踪从上游光纤预制棒到下游光缆各个生产环节的原材料、工况、质量等相关数据，可以实现数据串联，打通数据孤岛。 数据图如图7所示。

经过数据治理，分析人员在对成品光缆进行质量分析时，可以利用数据图谱进行数据沿袭分析，追踪数据来源并分析任务依赖关系，轻松溯源到光纤拉丝和光纤预制棒生产环节。上游生产。 数据不局限于当前的生产环节，从而获得更有价值的分析结果。

3.2 数据对齐

数据对齐是数据治理中数据质量管理的一部分。 以光纤预制棒的制造为例，由于预制棒在生产过程中经历了多次变形，因此后来的预制棒测试数据无法与早期传感器记录的生产数据相对应。 为了进行后续的质量分析和判断工作，需要将测试数据与生产数据进行对齐。

通过记录瓶坯生产过程中的棒尺寸数据等数据，并利用膨胀点映射等智能算法对瓶坯的收缩和拉伸过程进行建模和还原，可以实现每个测试点与生产时间段的对应关系。 在提高数据质量、丰富数据体量的同时，为后续的人工智能建模和分析奠定了良好的基础。

3.3 异常识别与预警

传统的异常报警机制存在报警模型单一、人工识别工作量大、人工标注效率低、错标漏标率高等缺点。 光纤行业常见的异常类型包括脉冲型异常、阶跃型异常和模式异常。 基于大量数据，利用时间差分特征和时间窗统计特征构建的时间序列异常识别模型，可以实现复杂环境下的异常报警需求。 同时大大提高了历史异常识别的效率。 最初需要几天时间来收集和整理数据，然后手动标记异常。 通过数据治理整合异常识别模型后，只需几分钟即可完成历史异常识别过程。 异常现象的识别和分析。

3.4 数据分析周期优化

在光纤行业，产品质量的数据分析是生产过程中的重要环节。 需要通过分析不断确定工艺参数的调整方向，以提高生产质量，保证生产稳定性。

在实施数据治理之前，数据分析周期长、工作量大、分析的数据量相对有限。 实施数据治理后，用云端采集和在线分析来替代以前的人工采集和离线分析方法。 这保证了数据的准确性和完整性，并大大减少了分析师花在繁琐的数据预处理任务上的时间。 数据治理前后对比如表1所示。

云端采集和在线分析方式，避免数据二次传输。 同时，可以利用服务器资源，通过定制的数据分析工具产生分析结果，有效提高数据分析的效率。 数据分析周期由原来的3天缩短至7天。 现在数据当天生成，分析结果当天生成。 未来将实现采集即服务、分析即服务的分析模型，保证高质量的数据，实现毫秒级的数据分析反馈。

3.5数字大屏

数据治理工作以可视化方式展示，直观反映数据治理成果，提供企业运营、生产状况、产品画像等专题大展示，真实呈现光纤行业生产经营状况时间，如图9所示。

企业运营大屏显示光杆、光纤、光缆的原材料、生产、检验、仓储、销售等关键环节信息。

生产状态大屏根据产量、良率、稳定性、资源消耗等因素综合因素，通过分析模型对生产线进行评分，直观显示生产线的整体情况。

产品画像大屏根据历史生产数据和质量检测数据构建产品画像，以质量数据为导向，追溯生产数据，定量展示产品质量差异原因。

3.6 产品质量和效率提升

目前，企业在光纤预制棒和光纤拉制方面已在多方面进行了改进，如表2所示。其中，在光纤预制棒阶段，生产过程中内部形成杂质和气泡，将严重影响光纤预制棒的质量。随后的光纤拉制过程。 经过数据管理，数据质量得到了提高。 通过数据分析和建模，不断优化生产流程，有效降低预制棒的气泡缺陷率，提高光纤预制棒的均匀性和重复性，大幅提高良率，达到生产门槛。 ; 在光纤拉丝阶段，拉丝速度、断塔、报警反馈等业务痛点得到显着改善，拉丝良率得到有效提升。

04、综上所述

本文介绍了数据治理的发展现状，分析了行业数据的特点，构建了面向行业的数据治理体系，并基于数据治理应用案例验证了数据治理的有效性。 以光纤生产为背景，应用案例表明，该工业数据治理系统作为工业数字化转型的支撑点，可以极大简化数据管理流程，减少人工工作量，增加数据价值密度，提高数据挖掘效率，为不同的企业提供服务。 分析场景提供优质数据接口，有效推动企业数字化、智能化发展。