数字孪生驱动的实时渲染方法、系统和计算机可读介质技术方案

本发明专利技术公开了数字孪生驱动的实时渲染方法、系统和计算机可读介质。通过利用数字孪生技术，针对不同产线工艺的差异化需求，实时动态获取正在被观察的工序过程的工艺参数、渲染参数以及其他相关信息参数，通过相似性计算推送并提取最相近的典型工艺知识，从而精准快速地将对应工艺的物理特征用PBR实时渲染方法予以快速渲染呈现到数字孪生系统中的数字化模型上，使数字孪生系统的数字化模型在各个工序的运维过程中可以更加逼真准确地动态可视化地表征各种工艺特征，也更加贴近实物设备和在制品在物理空间中的真实形态，辅助进行各类工艺的工序流程控制；同时也可以作为工艺相关视觉检测等领域的高逼真基准参考，辅助提高其识别精度和准确性。

【技术实现步骤摘要】
数字孪生驱动的实时渲染方法、系统和计算机可读介质
本专利技术涉及图像渲染
，尤其涉及数字孪生驱动的实时渲染方法、系统和计算机可读介质。
技术介绍
渲染是指将三维场景中的模型，按照设定好的环境、灯光、材质及渲染参数，二维投影成数字图像的过程。随着数字孪生技术的发展，需要渲染的场景规模在不断增大的同时也变得更加复杂，对渲染效果与正式场景的相似程度以及对于工艺特征的表征准确程度提出了更高的要求。与此同时，3D计算机图形学也得到了迅速的发展，特别是近些年来，在GPU半导体工艺和各种3D应用的推动下，图形学中的一个重要分支--实时图形学发展尤为迅速。因此，实时渲染技术得到了广泛应用。其中，基于物理的渲染方法(Physically-BasedRendering,PBR)是近年来广泛使用的一种实时渲染方法，与之对应的材质体系被称为PBR材质体系，该PBR材质体系包括basecolor,metallic,roughness,specular等参数。典型工艺是指企业为了生产典型零件而制定的较为普遍的工艺，只需要对典型工艺路线进行部分修改，就能够生产与典型零件相近的零件，从而提高企业的生产效率，但实际生产中却存在着工艺路线过多和典型工艺提取不够精确的问题。为了实现在渲染引擎中实现实时渲染，常规的方案包括：(1)直接使用布林-冯光照着色模型对数字化模型进行实时渲染，从而在大致的效果上表达这个材质在近物理PBR渲染中的表现形态，从而更加贴近实物设备和在制品在物理空间中的真实形态。这种渲染方法存在的问题是，由于材质表面只有漫反射效果，材质的表现力非常差，导致渲染效果表现不佳；(2)目前对于PBR材质渲染的各项相关参数只能通过人工调整或者绘制对应参数的贴图进行调整，使实时渲染效果与实物设备和在制品在物理空间中的真实形态尽可能的逼近，这种渲染方法存在的问题是，操作较为复杂，需要大量的人工操作或者专业的贴图绘制人员，无法从工艺知识库中实时获取到相关参数进行动态绘制，并且得到的渲染结果也并不能在效果上完全的与实物设备和在制品在物理空间中的真实形态对应上；(3)使用烘焙的方法，将物体受到的光照信息预先烘焙到固定的位置上，从而跳过实时渲染所需的材质参数的限制，直接将最终结果预计算好，保存在烘焙贴图上，最终在实时渲染展示的时候，直接从这张烘焙贴图中读取所需的数据进行展示。这种烘焙方法的缺陷是，使用成本高，非常耗时，并且生成的烘焙贴图受场景的光照条件以及物体位置的限制，一旦场景灯光的位置、方向或是强度，物体位置发生移动或是旋转，或是材质属性发生改变，烘焙贴图就失去了物理真实的意义，需要重新进行烘焙，才能展现出具有物理意义的道染结果。
技术实现思路
本专利技术的目的在于提出数字孪生驱动的实时渲染方法、系统和计算机可读介质，以解决上述问题。为达此目的，本专利技术采用以下技术方案：数字孪生驱动的实时渲染方法，包括以下步骤：S1：建立工艺特征模型，所述工艺特征模型用于存储各种经典工艺的加工特征信息、工艺渲染信息和工艺设计背景信息，然后利用图数据库技术对工艺特征模型进行储存归纳，形成工艺知识图谱网络；S2：MES系统订单投放，基于数字孪生技术，实时获取生产线的工艺信息数据，并进行数据整合和清洗分析，建立管控系统的数据库，管控系统的数据库用于实时动态地存储经数据整合和清洗分析的工艺信息数据；S3：管控系统的数据库从工艺信息数据提取出实时的工艺加工特征信息、工艺渲染信息和工艺设计背景信息进行工艺相似性计算，从工艺知识图谱网络之中选定最相近的工艺对象实体；S4：在三维近物理虚拟仿真设计的开放式信息集成平台上，将正在或者即将进行加工的在制品数字化模型的加工表面独立分割成为一个三维网格对象，并根据生产线的工艺信息数据，得到加工刀具的运行路线以及加工位置，实时动态地将三维网格对象进行UV展开，然后对已经展开的UV图的各个加工区域进行参数化；S5：通过管控系统的数据库获取在制品上正在进行的工艺的进度、加工刀具的种类位置速度，实时动态地从选定最相近的工艺对象实体之中获取对应工艺进度的表面形状、颜色、粗糙度、光泽度信息，同时获取场景中各个光源的光照信息、环境参数以及标准离线渲染效果图，进行实时PBR渲染，得到各个工艺区域的实时渲染图；S6：将各个工艺区域的实时渲染图与工艺特征模型中储存的对应标准工艺离线渲染图一起输入SSIM算法之中进行相似度匹配，同时将该SSIM算法表达式作为粒子群算法的适应度函数表达式，迭代执行实时渲染操作、SSIM算法的相似度匹配操作以及粒子群算法操作，以进行渲染效果的比对验证和渲染参数的迭代优化，得到对应工艺的实时渲染和离线渲染图之间的匹配度；S7：实时对比在迭代过程中该工艺的实时渲染图和储存在工艺特征模型中的离线渲染图之间的匹配度，选出匹配度最大的渲染参数作为目前状态下该工艺的最优PBR渲染参数，将最优PBR渲染参数上传到管控系统之中的数据库之中进行存储，并更新工艺特征模型中对应工艺的PBR渲染参数数据；结合最相近的工艺对象实体，利用后处理Post-Processing的方式，向渲染引擎提交多次针对在制品的数字化模型的渲染信息，最终该工艺区域用最优PBR渲染参数将在制品数字化模型在直接光照条件下的工艺加工特征以近物理的方式渲染表征出来；S8：向第三方开源预渲染库传入间接光照参数，实时将环境光照渲染成辐照度图作为环境贴图传入渲染引擎的着色器，再利用双向反射率分布函数在环境贴图上进行像素级遍历并计算对应的间接光照计算因子，将间接光照计算因子与对应的PBR渲染参数进行向量乘法计算，得到在制品数字化模型上反映出其所处环境的变化效果；S9：将步骤S7得到的直接光照结果和步骤S8得到的间接光照结果进行向量加法计算，得到实时PBR渲染加工工艺效果。进一步，所述步骤S1中，建立工艺特征模型的过程为：S11：收集经典工艺相关知识，形成工艺知识库；S12：归纳各种工艺的加工特征、工艺渲染信息以及工艺设计背景，形成以工艺特征向量为基础储存各种信息的工艺特征模型＝{PC，PDB，PRI}，其中PC代表工艺加工特征；PDB代表工艺设计背景信息；PRI代表工艺渲染信息。进一步，所述步骤S3的过程为：S31：从管控系统的数据库中提取的工艺特征信息、工艺渲染信息以及工艺设计背景信息，并以特征向量的形式组织起来；S32：按照离散化时间为单位组织形成工艺相似性表格，纵列为从特征向量组织中的各项工艺信息属性，横行为工艺知识图谱网络中的各个工艺对象实体；S33：利用余弦相似性公式，计算出各项工艺信息属性与工艺知识图谱网络中各个工艺对象实体对应的工艺信息属性匹配度，完成工艺相似性表格；S34：通过加权均值计算得到各个工艺对象实体与正在进行的工艺之间的相似度，相似度最高的工艺对象实体选定为最相近的工艺对象实体。进一步，所述余弦相似性公式为：公式(1)中，为实时从管控系统的数据库中获取到的工艺信息属性向量；为工本文档来自技高网...

【技术保护点】
1.数字孪生驱动的实时渲染方法，其特征在于：包括以下步骤：/nS1：建立工艺特征模型，所述工艺特征模型用于存储各种经典工艺的加工特征信息、工艺渲染信息和工艺设计背景信息，然后利用图数据库技术对工艺特征模型进行储存归纳，形成工艺知识图谱网络；/nS2：MES系统订单投放，基于数字孪生技术，实时获取生产线的工艺信息数据，并进行数据整合和清洗分析，建立管控系统的数据库，管控系统的数据库用于实时动态地存储经数据整合和清洗分析的工艺信息数据；/nS3：管控系统的数据库从工艺信息数据提取出实时的工艺加工特征信息、工艺渲染信息和工艺设计背景信息进行工艺相似性计算，从工艺知识图谱网络之中选定最相近的工艺对象实体；/nS4：在三维近物理虚拟仿真设计的开放式信息集成平台上，将正在或者即将进行加工的在制品数字化模型的加工表面独立分割成为一个三维网格对象，并根据生产线的工艺信息数据，得到加工刀具的运行路线以及加工位置，实时动态地将三维网格对象进行UV展开，然后对已经展开的UV图的各个加工区域进行参数化；/nS5：通过管控系统的数据库获取在制品上正在进行的工艺的进度、加工刀具的种类位置速度，实时动态地从选定最相近的工艺对象实体之中获取对应工艺进度的表面形状、颜色、粗糙度、光泽度信息，同时获取场景中各个光源的光照信息、环境参数以及标准离线渲染效果图，进行实时PBR渲染，得到各个工艺区域的实时渲染图；/nS6：将各个工艺区域的实时渲染图与工艺特征模型中储存的对应标准工艺离线渲染图一起输入SSIM算法之中进行相似度匹配，同时将该SSIM算法表达式作为粒子群算法的适应度函数表达式，迭代执行实时渲染操作、SSIM算法的相似度匹配操作以及粒子群算法操作，以进行渲染效果的比对验证和渲染参数的迭代优化，得到对应工艺的实时渲染和离线渲染图之间的匹配度；/nS7：实时对比在迭代过程中该工艺的实时渲染图和储存在工艺特征模型中的离线渲染图之间的匹配度，选出匹配度最大的渲染参数作为目前状态下该工艺的最优PBR渲染参数，将最优PBR渲染参数上传到管控系统之中的数据库之中进行存储，并更新工艺特征模型中对应工艺的PBR渲染参数数据；结合最相近的工艺对象实体，利用后处理Post-Processing的方式，向渲染引擎提交多次针对在制品的数字化模型的渲染信息，最终该工艺区域用最优PBR渲染参数将在制品数字化模型在直接光照条件下的工艺加工特征以近物理的方式渲染表征出来；/nS8：向第三方开源预渲染库传入间接光照参数，实时将环境光照渲染成辐照度图作为环境贴图传入渲染引擎的着色器，再利用双向反射率分布函数在环境贴图上进行像素级遍历并计算对应的间接光照计算因子，将间接光照计算因子与对应的PBR渲染参数进行向量乘法计算，得到在制品数字化模型上反映出其所处环境的变化效果；/nS9：将步骤S7得到的直接光照结果和步骤S8得到的间接光照结果进行向量加法计算，得到实时PBR渲染加工工艺效果。/n...

【技术特征摘要】
1.数字孪生驱动的实时渲染方法，其特征在于：包括以下步骤：
S1：建立工艺特征模型，所述工艺特征模型用于存储各种经典工艺的加工特征信息、工艺渲染信息和工艺设计背景信息，然后利用图数据库技术对工艺特征模型进行储存归纳，形成工艺知识图谱网络；
S2：MES系统订单投放，基于数字孪生技术，实时获取生产线的工艺信息数据，并进行数据整合和清洗分析，建立管控系统的数据库，管控系统的数据库用于实时动态地存储经数据整合和清洗分析的工艺信息数据；
S3：管控系统的数据库从工艺信息数据提取出实时的工艺加工特征信息、工艺渲染信息和工艺设计背景信息进行工艺相似性计算，从工艺知识图谱网络之中选定最相近的工艺对象实体；
S4：在三维近物理虚拟仿真设计的开放式信息集成平台上，将正在或者即将进行加工的在制品数字化模型的加工表面独立分割成为一个三维网格对象，并根据生产线的工艺信息数据，得到加工刀具的运行路线以及加工位置，实时动态地将三维网格对象进行UV展开，然后对已经展开的UV图的各个加工区域进行参数化；
S5：通过管控系统的数据库获取在制品上正在进行的工艺的进度、加工刀具的种类位置速度，实时动态地从选定最相近的工艺对象实体之中获取对应工艺进度的表面形状、颜色、粗糙度、光泽度信息，同时获取场景中各个光源的光照信息、环境参数以及标准离线渲染效果图，进行实时PBR渲染，得到各个工艺区域的实时渲染图；
S6：将各个工艺区域的实时渲染图与工艺特征模型中储存的对应标准工艺离线渲染图一起输入SSIM算法之中进行相似度匹配，同时将该SSIM算法表达式作为粒子群算法的适应度函数表达式，迭代执行实时渲染操作、SSIM算法的相似度匹配操作以及粒子群算法操作，以进行渲染效果的比对验证和渲染参数的迭代优化，得到对应工艺的实时渲染和离线渲染图之间的匹配度；
S7：实时对比在迭代过程中该工艺的实时渲染图和储存在工艺特征模型中的离线渲染图之间的匹配度，选出匹配度最大的渲染参数作为目前状态下该工艺的最优PBR渲染参数，将最优PBR渲染参数上传到管控系统之中的数据库之中进行存储，并更新工艺特征模型中对应工艺的PBR渲染参数数据；结合最相近的工艺对象实体，利用后处理Post-Processing的方式，向渲染引擎提交多次针对在制品的数字化模型的渲染信息，最终该工艺区域用最优PBR渲染参数将在制品数字化模型在直接光照条件下的工艺加工特征以近物理的方式渲染表征出来；
S8：向第三方开源预渲染库传入间接光照参数，实时将环境光照渲染成辐照度图作为环境贴图传入渲染引擎的着色器，再利用双向反射率分布函数在环境贴图上进行像素级遍历并计算对应的间接光照计算因子，将间接光照计算因子与对应的PBR渲染参数进行向量乘法计算，得到在制品数字化模型上反映出其所处环境的变化效果；
S9：将步骤S7得到的直接光照结果和步骤S8得到的间接光照结果进行向量加法计算，得到实时PBR渲染加工工艺效果。


2.根据权利要求1所述的数字孪生驱动的实时渲染方法，其特征在于，所述步骤S1中，建立工艺特征模型的过程为：
S11：收集经典工艺相关知识，形成工艺知识库；
S12：归纳各种工艺的加工特征、工艺渲染信息以及工艺设计背景，形成以工艺特征向量为基础储存各种信息的工艺特征模型＝{PC，PDB，PRI}，其中PC代表工艺加工特征；PDB代表工艺设计背景信息；PRI代表工艺渲染信息。


3.根据权利要求1所述的数字孪生驱动的实时渲染方法，其特征在于，所述步骤S3的过程为：
S31：从管控系统的数据库中提取的工艺特征信息、工艺渲染信息以及工艺设计背景信息，并以特征向量的形式组织起来；
S32：按照离散化时间为单位组织形成工艺相似性表格，纵列为从特征向量组织中的各项工艺信息属性，横行为工艺知识图谱网络中的各个工艺对象实体；
S33：利用余弦相似性公式，计算出各项工艺信息属性与工艺知识图谱网络中各个工艺对象实体对应的工艺信息属性匹配度，完成工艺相似性表格；
S34：通过加权均值计算得到各个工艺对象实体与正在进行的工艺之间的相似度，相似度最高的工艺对象实体选定为最相近的工艺对象实体。


4.根据权利要求3所述的数字孪生驱动的实时渲染方法，其特征在于，所述余弦相似性公式为：



公式(1)中，为实时从管控系统的数据库中获取到的工艺信息属性向量；为工艺知识图谱网络中的各个工艺对象实体的工艺信息属性向量；Si，j代表最终计算出的工艺信息属性匹配度；n为工艺特征模型中工艺对象实体的总数量；c＝1，2，3…n...

【专利技术属性】
技术研发人员：刘强，方洛，魏丽军，苏倩怡，张浩，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44