一种个性化模型构建方法、系统、计算机及可读存储介质技术方案

本发明专利技术提供了一种个性化模型构建方法、系统、计算机及可读存储介质，涉及云制造和逆向工程的技术领域，所述方法包括获取初始图像，对初始图像进行目标识别与裁切，以得到目标图像；获取目标图像的图像参数，对目标图像进行图像填充处理，以得到处理图像；对用户个性化数据进行编码处理，以得到个性化向量集，对处理图像进行编码处理，以得到图像向量集；建立纹理形状模型，定义光度重建损失并基于光度重建损失优化纹理形状模型，将个性化向量集与图像向量集输入优化后的纹理形状模型，输出纹理场与颜色预测值，基于纹理场与颜色预测值构建个性化模型，本发明专利技术可将用户的个性化元素融入个性化模型中，个性化模型输出耗时短、效率高、精确度高。精确度高。精确度高。

【技术实现步骤摘要】
一种个性化模型构建方法、系统、计算机及可读存储介质


[0001]本专利技术属于云制造和逆向工程的
，具体地涉及一种个性化模型构建方法、系统、计算机及可读存储介质。

技术介绍

[0002]随着当前制造智能化和生产力的提高，计算机辅助设计与制造（CAD/CAM）和快速成型（RP）已成为制造领域的热词，目前要实现产品的逆向生产方式主要有两种，第一种是根据物体形状手动创建3D模型，该方式既耗时又成本高，并且效率低、模型可扩展性差、难以融入个性化元素；第二种是通过结构光、激光扫描仪、激光测距图、医学MRI等方法对原始物理形状进行3D扫描和数据采集，这些重建过程都是高预算项目，融入个性化特征也是难以实现的。

技术实现思路

[0003]为了解决上述技术问题，本专利技术提供了一种个性化模型构建方法、系统、计算机及可读存储介质，用于解决现有技术中存在的技术问题。
[0004]第一方面，该专利技术提供以下技术方案，一种个性化模型构建方法，所述方法包括：获取初始图像，对所述初始图像进行目标识别与裁切，以得到目标图像；获取所述目标图像的图像参数，并基于所述图像参数对所述目标图像进行图像填充处理，以得到处理图像；获取用户个性化数据，使用注意力机制编码器对所述用户个性化数据进行编码处理，以得到个性化向量集，使用ResNet18网络对所述处理图像进行编码处理，以得到图像向量集；建立纹理形状模型，定义光度重建损失并基于所述光度重建损失优化所述纹理形状模型，将所述个性化向量集与所述图像向量集输入优化后的所述纹理形状模型，输出纹理场与颜色预测值，基于所述纹理场与所述颜色预测值构建个性化模型。
[0005]相比现有技术，本申请的有益效果为：本申请首先获取初始图像，对所述初始图像进行目标识别与裁切，以得到目标图像；之后获取所述目标图像的图像参数，并基于所述图像参数对所述目标图像进行图像填充处理，以得到处理图像；而后获取用户个性化数据，使用注意力机制编码器对所述用户个性化数据进行编码处理，以得到个性化向量集，使用ResNet18网络对所述处理图像进行编码处理，以得到图像向量集；最后建立纹理形状模型，定义光度重建损失并基于所述光度重建损失优化所述纹理形状模型，将所述个性化向量集与所述图像向量集输入优化后的所述纹理形状模型，输出纹理场与颜色预测值，基于所述纹理场与所述颜色预测值构建个性化模型，本专利技术可将用户的个性化元素融入最终生成的个性化模型中，同时本专利技术只需要一张图片即可完成个性化模型的输出，无需繁杂且昂贵的3D扫描等操作，且个性化模型输出耗时短、效率高，同时通过对纹理形状模型进行优化，可进一步提高个性化模型输出的精确度。
[0006]较佳的，所述获取初始图像，对所述初始图像进行目标识别与裁切，以得到目标图像的步骤包括：将所述初始图像输入YOLOv4模型中进行目标识别，输出第一目标坐标，所述第一目标坐标包括第一上坐标、第一左坐标、第一下坐标、第一右坐标；基于所述第一上坐标、所述第一左坐标、所述第一下坐标、所述第一右坐标对所述初始图像进行裁切，以得到第二上坐标、第二左坐标、第二下坐标、第二右坐标：；；；；式中，、、、为裁切坐标值。
[0007]较佳的，所述获取所述目标图像的图像参数，并基于所述图像参数对所述目标图像进行图像填充处理，以得到处理图像的步骤包括：获取所述目标图像的宽度与长度，定义所述目标图像四周的填充变量，并将填充变量初始化为预设值；计算所述目标图像四周对应的实际填充变量：；式中，表示四舍五入的取整函数，表示绝对值；判断所述目标图像的宽度与长度的大小，若，则在所述目标图像的上、下方位分别填充，若，则在所述目标图像的左、右方位分别填充。
[0008]较佳的，所述获取用户个性化数据，使用注意力机制编码器对所述个性化数据进行编码处理，以得到个性化向量集，使用ResNet18网络对所述处理图像进行编码处理，以得到图像向量集的步骤包括：获取用户个性化数据，使用注意力机制编码器对所述用户个性化数据进行编码处理，以得到个性化向量集：；式中，表示数据编号，表示数据维度；使用ResNet18网络对所述处理图像进行编码处理，以得到图像向量集：。
[0009]较佳的，所述纹理形状模型为：；
；；其中，表示模型形状，表示模型纹理场，表示三维空间点的占用概率，表示个性化向量集中的子向量，表示图像向量集中的子向量，表示网络参数，表示颜色值。
[0010]较佳的，所述定义光度重建损失并基于所述光度重建损失优化所述纹理形状模型的步骤包括：定义光度重建损失并采用多元链式求导计算光度重建损失对网络参数的梯度：；（1）；（2）式中，为纹理形状模型渲染后的图像，为真实图像，为纹理形状模型预测的像素点处的RGB值，表示像素点处的RGB值；根据所述纹理形状模型可知，计算对网络参数的梯度：；（3）；（4）其中，为相机位置至像素点的射线与等值面的交点，为微分算子，为连接与的向量；存在表面深度使得，并根据将公式（4）中的微分算子转换为：；（5）对所述纹理形状模型中的进行微分处理，输出微分结果，根据所述微分结果计算表面深度对网络参数的梯度：；（6）根据公式（6）将公式（1）转换为公式（7）：
基于公式（7）并采用梯度下降优化算法迭代更新网络参数直至收敛，以得到优化参数，基于所述优化参数优化所述纹理形状模型。
[0011]较佳的，所述将所述个性化向量集与所述图像向量集输入优化后的所述纹理形状模型，输出纹理场与颜色预测值，基于所述纹理场与所述颜色预测值构建个性化模型的步骤包括：将所述个性化向量集与所述图像向量集输入优化后的所述纹理形状模型，并通过像素点投射出一条方向为的射线，确定该射线与等值面的交点的位置，计算交点处的纹理场与颜色预测值，并基于所述纹理场与所述颜色预测值构建个性化模型。
[0012]第二方面，该专利技术提供以下技术方案，一种个性化模型构建系统，所述系统包括：裁切模块，用于获取初始图像，对所述初始图像进行目标识别与裁切，以得到目标图像；处理模块，用于获取所述目标图像的图像参数，并基于所述图像参数对所述目标图像进行图像填充处理，以得到处理图像；编码模块，用于获取用户个性化数据，使用注意力机制编码器对所述用户个性化数据进行编码处理，以得到个性化向量集，使用ResNet18网络对所述处理图像进行编码处理，以得到图像向量集；构建模块，用于建立纹理形状模型，定义光度重建损失并基于所述光度重建损失优化所述纹理形状模型，将所述个性化向量集与所述图像向量集输入优化后的所述纹理形状模型，输出纹理场与颜色预测值，基于所述纹理场与所述颜色预测值构建个性化模型。
[0013]第三方面，该专利技术提供以下技术方案，一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的个性化模型构建方法。
[0014]第四方面，该专利技术提供以下技术方案，一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的个性化模型构建方法。
附图说明
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种个性化模型构建方法，其特征在于，所述方法包括：获取初始图像，对所述初始图像进行目标识别与裁切，以得到目标图像；获取所述目标图像的图像参数，并基于所述图像参数对所述目标图像进行图像填充处理，以得到处理图像；获取用户个性化数据，使用注意力机制编码器对所述用户个性化数据进行编码处理，以得到个性化向量集，使用ResNet18网络对所述处理图像进行编码处理，以得到图像向量集；建立纹理形状模型，定义光度重建损失并基于所述光度重建损失优化所述纹理形状模型，将所述个性化向量集与所述图像向量集输入优化后的所述纹理形状模型，输出纹理场与颜色预测值，基于所述纹理场与所述颜色预测值构建个性化模型。2.根据权利要求1所述的个性化模型构建方法，其特征在于，所述获取初始图像，对所述初始图像进行目标识别与裁切，以得到目标图像的步骤包括：将所述初始图像输入YOLOv4模型中进行目标识别，输出第一目标坐标，所述第一目标坐标包括第一上坐标、第一左坐标、第一下坐标、第一右坐标；基于所述第一上坐标、所述第一左坐标、所述第一下坐标、所述第一右坐标对所述初始图像进行裁切，以得到第二上坐标、第二左坐标、第二下坐标、第二右坐标：；；；；式中，、、、为裁切坐标值。3.根据权利要求1所述的个性化模型构建方法，其特征在于，所述获取所述目标图像的图像参数，并基于所述图像参数对所述目标图像进行图像填充处理，以得到处理图像的步骤包括：获取所述目标图像的宽度与长度，定义所述目标图像四周的填充变量，并将填充变量初始化为预设值；计算所述目标图像四周对应的实际填充变量：；式中，表示四舍五入的取整函数，表示绝对值；判断所述目标图像的宽度与长度的大小，若，则在所述目标图像的上、下方位分别填充，若，则在所述目标图像的左、右方位分别填充。4.根据权利要求1所述的个性化模型构建方法，其特征在于，所述获取用户个性化数据，使用注意力机制编码器对所述个性化数据进行编码处理，以得到个性化向量集，使用ResNet18网络对所述处理图像进行编码处理，以得到图像向量集的步骤包括：
获取用户个性化数据，使用注意力机制编码器对所述用户个性化数据进行编码处理，以得到个性化向量集：；式中，表示数据编号，表示数据维度；使用ResNet18网络对所述处理图像进行编码处理，以得到图像向量集：。5.根据权利要求1所述的个性化模型构建方法，其特征在于，所述纹理形状模型为：；；；其中，表示模型形状，表示模型纹理场，表示三维空间点的占用概率，表示个性化向量集中的子向量，表示图像向量集中的子向量，表示网络参数，表示颜色值。6.根据权利要求5所述的个...

【专利技术属性】
技术研发人员：黄靛，朱小宝，王亚超，
申请(专利权)人：南昌航空大学，
类型：发明
国别省市：