基于数据驱动的数字孪生仿真方法技术

本发明专利技术涉及数字孪生、实时仿真技术领域，尤其为基于数据驱动的数字孪生仿真方法，包括如下步骤：客户端连接服务端；通过消息中间件获取数据源，历史/排产数据通过接口查询数据库；对获取的数据进行缓冲；通过批对齐模式形成数据流；将数据流以固定心跳推送给前端，驱动ue4模型做呈现。本发明专利技术采用时序数据库，吞吐量高，写入、查询速度快，节省存储空间，具有提供丰富的聚合运算，有利于数据的统计分析。兼容自由模式，引出批对齐模式。对数据进行分段处理，再通过差值处理预测数据，可以提高模型驱动的平滑度，对数据做出更为准确的预测。选型Websocket应用层协议，大幅度减轻客户端压力，提高动画流畅度。提高动画流畅度。提高动画流畅度。

【技术实现步骤摘要】
基于数据驱动的数字孪生仿真方法


[0001]本专利技术涉及数字孪生、实时仿真
，尤其是基于数据驱动的数字孪生仿真方法。

技术介绍

[0002]随着人工智能、大数据等领域的成熟及发展，各行业中小型企业开始依赖于数字孪生技术向数字化转型升级，尤其在工业制造方向上产生深远影响。数字孪生可以整合人工智能、软件分析、机器学习数据等来为产品构建虚实融合的数字孪生模型，并且提供物体变化和模型变化的数据。虚拟模型可以通过数据了解物理行为的状态，并进行估计和分析其动态变化过程，最终驱动ue4（Unreal Engine 4，虚幻引擎4）进行模型动态呈现。
[0003]现有技术中在一些如港口、机场、工厂等较复杂的场景下的设备在工作期间，会持续不断产生实时数据。随着时间推移，这些数据积累起来将会是海量的，数据库层面会产生瓶颈。使用传统关系型数据库mysql作为存储会存在诸多问题。比如，写入的吞吐量低，不能满足时序数据百万级写入压力；数据结构压缩不佳，需要占用大量机器资源；查询性能差，难以满足用户需求；维护成本高，需要人工分库分表。
[0004]此外，在数据呈现表现上，绝大多数软件系统针对数据的处理方案都为实时推送（这里称之为自由模式）。这种方式虽然符合实际情况，但是因为不同设备产生数据及频率不一样，模型动态呈现不同步，降级了用户体验。
[0005]最后，就是数据的交互方式，前端Ajax轮训后端接口将会给客户端增加压力，针对实时数据场景，哪怕是后端没有产生新数据，客户端仍然需要发送请求，增加了CPU开销和内存占用。

技术实现思路

[0006]本专利技术的目的是通过提出基于数据驱动的数字孪生仿真方法，以解决上述
技术介绍
中提出的缺陷。
[0007]本专利技术采用的技术方案如下：提供基于数据驱动的数字孪生仿真方法，包括如下步骤：S1.1：客户端连接服务端；S1.2：通过消息中间件获取数据源，历史/排产数据通过接口查询数据库；S1.3：对获取的数据进行缓冲；S1.4：通过批对齐模式形成数据流；S1.5：将数据流以固定心跳推送给前端，驱动ue4模型做呈现。
[0008]作为本专利技术的一种优选技术方案：所述S1.1中，服务端记录连接时间作为基准时钟，并启动定时任务。
[0009]作为本专利技术的一种优选技术方案：所述S1.2中，数据库采用吞吐量高、且进行压缩存储的时序数据库。
[0010]作为本专利技术的一种优选技术方案：所述S1.3中，将所述S1.1中获取的数据源加入一个有界队列中，新数据加入到队尾，旧数据从队头删除，队列内始终保持固定大小数据量。
[0011]作为本专利技术的一种优选技术方案：所述S1.4中，兼容自由模式进行数据处理。
[0012]作为本专利技术的一种优选技术方案：所述S1.4中，批对齐模式将各个设备上报的数据载入到自己缓冲队列中，并将新上报的实时/历史数据更新到缓冲队列，以基准时钟为起点，固定推送帧率作为批对齐标准，对于采集频率跨度大的设备上报的数据，通过差值处理来预测数据，形成一股标准的数据流。
[0013]作为本专利技术的一种优选技术方案：所述差值处理过程中，对获取的数据流进行分段处理获取分段的数据流，分段步骤如下：对于获取的数据流片段 ，其中，和为源时间序列数据中的序号，分别代表该片段的起点和终点序号，计算段内数据的协方差矩阵：其中，为段内数据的均值，为段内第个数据，为对计算结果的转置，对协方差矩阵进行SVD分解：；对于片段，计算如下：计算如下：其中，为段内第个数据的转置，是前p个最大主元对应的特征列向量组成的矩阵，为的转置，是个数据在前p个最大的主元的低维空间投影的均方误差；为基于Q指标的误差；对于分为c段的方案，基于Q指标的总误差为隔断目标函数值之和：其中，为对于方案的基于Q指标的总误差。
[0014]作为本专利技术的一种优选技术方案：所述分段步骤中，通过迭代法进行寻优，步骤如下：S2.1：给定时间序列，设定一个滑动窗口起始点处于序列起始点位置；S2.2：依次从中截取长度为的一端数据，对进行分段，直至窗口终点与时间序列终点重合；
S2.3：从S中所有分段中找最大的段，该段的长度为；遍历中所有位置，寻找位置使得最小；将段在位置k分为两个段：和；直至满足终止条件。
[0015]作为本专利技术的一种优选技术方案：所述差值处理步骤中，通过对数据流中的多维特征变量时间序列按照所属类别进行分段，使得段内数据相关性结构一致，再进行差值处理，实现对数据的准确预测。
[0016]作为本专利技术的一种优选技术方案：所述S1.5中通过Websocket应用层协议将形成标准的数据流主动推送给ue4驱动模型。
[0017]本专利技术提供的基于数据驱动的数字孪生仿真方法，与现有技术相比，其有益效果有：1、数据库层面，采用时序数据库TimescaleDB代替关系型数据库mysql。选用时序库的原因，是因为其吞吐量超高，每秒钟写入达到千万，查询更是达到上亿的吞吐量，在存储上合理的选择了压缩算法，提高数据压缩比，节省了存储空间。此外，TimescaleDB是最接近与关系型数据库的时序数据库，在sql语法上极为相似，有提供丰富的聚合运算，有利于数据的统计分析。
[0018]2、数据处理层面，在向上兼容了自由模式，并在次基础之上，引出了批对齐模式。批对齐模式是一种将各个设备一定数量的数据load到自己缓冲队列中，并将新上报的实时/历史数据更新到缓冲队列，以基准时钟为起点，固定推送帧率作为批对齐标准，最终形成一股标准的数据流，以固定心跳推送给前端，驱动ue4模型做呈现。
[0019]3、数据处理层面，对于一些采集频率跨度较大设备上报的数据，通过对数据分段处理，再通过差值处理预测数据，可以提高模型驱动的平滑度，对数据做出更为准确的预测。
[0020]4、驱动ue4层面，摒弃通过前端做Ajax轮训后端接口方式，选型Websocket应用层协议，后端将形成标准的数据流主动推送给前端做呈现。这种方式很大限度减轻客户端压力，提高动画流畅度。
附图说明
[0021]图1为本专利技术优选实施例的方法流程图。
[0022]图2为本专利技术优选实施例中基准时钟（心跳）选择图。
[0023]图3为本专利技术优选实施例中缓冲队列数据结构图。
[0024]图4为本专利技术优选实施例中批对齐模式概念图。
具体实施方式
[0025]需要说明的是，在不冲突的情况下，本实施例中的实施例及实施例中的特征可以相互组合，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0026]参照图1，本专利技术优选实施例提供了基于数据驱动的数字孪生仿真方法，包括如下步骤：S1.1：客户端连接服务端；S1.2：通过消息中间件获取数据源，历史/排产数据通过接口查询数据库；S1.本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于数据驱动的数字孪生仿真方法，其特征在于：包括如下步骤：S1.1：客户端连接服务端；S1.2：通过消息中间件获取数据源，历史/排产数据通过接口查询数据库；S1.3：对获取的数据进行缓冲；S1.4：通过批对齐模式形成数据流；S1.5：将数据流以固定心跳推送给前端，驱动ue4模型做呈现。2.根据权利要求1所述的基于数据驱动的数字孪生仿真方法，其特征在于：所述S1.1中，服务端记录连接时间作为基准时钟，并启动定时任务。3.根据权利要求1所述的基于数据驱动的数字孪生仿真方法，其特征在于：所述S1.2中，数据库采用吞吐量高、且进行压缩存储的时序数据库。4.根据权利要求1所述的基于数据驱动的数字孪生仿真方法，其特征在于：所述S1.3中，将所述S1.1中获取的数据源加入一个有界队列中，新数据加入到队尾，旧数据从队头删除，队列内始终保持固定大小数据量。5.根据权利要求1所述的基于数据驱动的数字孪生仿真方法，其特征在于：所述S1.4中，兼容自由模式进行数据处理。6.根据权利要求5所述的基于数据驱动的数字孪生仿真方法，其特征在于：所述S1.4中，批对齐模式将各个设备上报的数据载入到自己缓冲队列中，并将新上报的实时/历史数据更新到缓冲队列，以基准时钟为起点，固定推送帧率作为批对齐标准，对于采集频率跨度大的设备上报的数据，通过差值处理来预测数据，形成一股标准的数据流。7.根据权利要求6所述的基于数据驱动的数字孪生仿真方法，其特征在于：所述差值处理过程中，对获取的数据流进行分段处理获取分段的数据流...

【专利技术属性】
技术研发人员：范柘，
申请(专利权)人：无锡顶视科技有限公司，
类型：发明
国别省市：