一种具有自适应透光性的门窗AR方法及系统技术方案

本发明专利技术涉及人工智能技术领域，具体涉及一种具有自适应透光性的门窗AR方法及系统。该方法通过相机姿态信息获得初始AR效果。通过最优分割方案的筛选，确保最优分割图像的重叠区域都在玻璃区域内。结合最优分割图像、窗户姿态信息和玻璃材质进行分析获得第一透光性图像。对第一透光性图像进行叠加拼接，并对重叠区域分析后获得第三透光性图像。结合玻璃区域内的第三透光性图像获得最终AR效果。本发明专利技术通过分析相机与图像的姿态信息获得包含准确玻璃信息的最终AR效果。息的最终AR效果。息的最终AR效果。

【技术实现步骤摘要】
一种具有自适应透光性的门窗AR方法及系统


[0001]本专利技术涉及人工智能
，具体涉及一种具有自适应透光性的门窗AR方法及系统。

技术介绍

[0002]AR技术，即增强现实技术广泛应用于多种领域。用户可根据AR模型的展示实现多种功能。在室内装修领域中，用户可根据AR技术来挑选心仪的装修方案。通过将AR模型对齐在安装区域即可实现展示功能。但是对于门窗的AR展示目前仅通过建立门窗框架的模型来进行展示，对于门窗中的玻璃信息进行忽略或者以一种固定透明度进行展示，无法完整的展示门窗信息，无法看到对应类型的门窗安装后的实际效果。

技术实现思路

[0003]为了解决上述技术问题，本专利技术的目的在于提供一种具有自适应透光性的门窗AR方法及系统，所采用的技术方案具体如下：
[0004]本专利技术提出了一种具有自适应透光性的门窗AR方法，所述方法包括：
[0005]采集场景图像；分割所述场景图像，获得门窗安装区域图像；所述门窗安装区域图像包括门窗轮廓；获取以所述门窗轮廓为参考的相机姿态信息；获取目标门窗的三维模型，根据所述相机姿态信息建立初始AR效果；
[0006]通过多种分割方案将所述门窗安装区域图像分割为多个初始分割图像；所述初始分割图像尺寸为预设网络输入尺寸；根据所述初始AR效果获得所述门窗安装区域图像内的玻璃区域；获得每个所述玻璃区域的参考热图；所述参考热图中像素点的热力值与对应的所述玻璃区域中像素点与中心点的距离成反比例关系；根据所述初始分割图像中像素点信息获得所述门窗安装区域图像的像素点在所述分割方案中的重叠区域；所述重叠区域与所述参考热图的乘积为分割效果图像；以最大的所述分割效果图像的总体像素值与所述初始分割图像分布离散度的和对应的所述分割方案作为最优分割方案，并获得对应的最优分割图像；
[0007]获取以相机为参考的所述门窗安装区域的门窗姿态信息；将所述最优分割图像、门窗姿态信息和所述目标门窗的玻璃材质输入预先训练好的透光性推理网络中，输出第一透光性图像；将所述第一透光性图像叠加拼接，获得第二透光性图像；将所述最优分割图像对应的所述重叠区域在所述第二透光性图像中对应的区域的像素值求均值，获得第三透光性图像；
[0008]将所述玻璃区域的所述第三透光性图像和所述初始AR效果获得最终AR效果。
[0009]进一步地，所述分割所述场景图像，获得门窗安装区域图像包括：
[0010]将所述场景图像送入预先训练好的语义分割网络中，输出所述门窗安装区域图像。
[0011]进一步地，所述获取以所述门窗轮廓为参考的相机姿态信息包括：
[0012]将所述门窗轮廓的四个夹角、所述门窗轮廓的尺寸和真实门窗轮廓的长宽比送入预先训练好的全连接网络中，获得以所述门窗轮廓为参考的所述相机姿态信息。
[0013]进一步地，所述获得每个所述玻璃区域的参考热图包括：
[0014]以所述玻璃区域中心点做所述玻璃区域边缘点的连线，获得第一连线长度和第一连线角度；以所述玻璃区域中心点做所述玻璃区域内部像素点的连线，获得第二连线长度和第二连线角度；以最接近的所述第一连线角度和所述第二连线角度对应的像素点为匹配像素点对；
[0015]根据热力系数获取公式获得每个所述内部像素点的热力系数；所述热力系数获取公式包括：
[0016][0017]其中，rl为所述热力系数，DNn为所述匹配像素点对中所述内部像素点的所述第二连线距离，DBm为所述匹配像素点对中所述玻璃区域边缘点的所述第一连线距离；
[0018]获得所述玻璃区域面积与所有玻璃区域面积和的面积比值；以所述热力系数与所述面积比值的乘积作为所述内部像素点的热力值，根据所述热力值获得所述参考热图。
[0019]进一步地，所述根据所述初始分割图像中像素点信息获得所述门窗安装区域图像的像素点在所述分割方案中的重叠区域包括：
[0020]统计所述门窗安装区域图像的像素点属于不同所述初始分割图像的数量，将每个像素点对应的所述数量减一后作为该像素点的像素值，获得所述重叠区域。
[0021]进一步地，所述以最大的所述分割效果图像的总体像素值与所述初始分割图像分布离散度的和对应的所述分割方案作为最优分割方案包括：
[0022]根据所述分割效果图像中像素值的和构建分割效果评判函数；所述分割效果评判函数与所述分割效果图像中像素值的和成正比例关系；
[0023]将所述初始分割图像中心点位置进行聚类，获得多个聚类簇；以所述聚类簇的离散度作为分割位置评判函数；所述离散度与所述分割位置评判函数成正比例关系；
[0024]以所述分割效果评判函数和所述分割位置评判函数的和作为分割方案目标函数；根据多个所述分割方案不断迭代更新所述分割方案目标函数，以最大的所述分割方案目标函数对应的所述分割方案作为最优分割方案。
[0025]进一步地，所述根据所述分割效果图像中像素值的和构建分割效果评判函数包括：
[0026][0027]其中，F为所述分割效果评判函数，(K，H)为所述分割效果图的尺寸，G
i
为所述分割效果图中第i个像素点的像素值，MS为所述初始分割图像的数量，(CK，CH)为所述初始分割图像的尺寸。
[0028]进一步地，所述分割位置评判函数包括：
[0029][0030]其中，F2为所述分割位置评判函数，BG为所述聚类簇数量，DB
k
为第k个所述聚类簇内聚类中心点到其他聚类点的距离，max(DB
k
)为第k个所述聚类簇内中心点到其他聚类点的最大距离，为第k个所述聚类簇内聚类中心点到其他聚类点的平均距离，α为调整系数。
[0031]进一步地，所述获取以所述门窗轮廓为参考的相机姿态信息包括：
[0032]以所述门窗轮廓的中心点为原点，结合所述门窗轮廓的法向量构建第一空间坐标系；以相机与所述门窗轮廓的中心点的向量在所述第一空间坐标系中的姿态信息作为所述相机姿态信息；
[0033]所述获取以相机为参考的所述门窗安装区域的门窗姿态信息包括：
[0034]以相机为原点构建第二空间坐标系；以所述门窗安装区域每个像素点与相机的向量在所述第二空间坐标系中的姿态信息作为所述门窗姿态信息。
[0035]本专利技术还提出了一种具有自适应透光性的门窗AR系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现任意一项所述一种具有自适应透光性的门窗AR方法的步骤。
[0036]本专利技术具有如下有益效果：
[0037]1.本专利技术实施例通过相机姿态信息获得初始AR效果。考虑到图像采集时不同相机和相机参数获得的图像尺寸不同，通过玻璃区域内像素点的位置分割出拥有固定尺寸的最优分割图像。通过透光性推理网络推理玻璃的透光性，获得第一透光性图像。将第一透光性图像进行叠加拼接并分析叠加区域后获得第三透光性图像。通过第三透光性图像获得拥有玻璃透光性信息的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种具有自适应透光性的门窗AR方法，其特征在于，所述方法包括：采集场景图像；分割所述场景图像，获得门窗安装区域图像；所述门窗安装区域图像包括门窗轮廓；获取以所述门窗轮廓为参考的相机姿态信息；获取目标门窗的三维模型，根据所述相机姿态信息建立初始AR效果；通过多种分割方案将所述门窗安装区域图像分割为多个初始分割图像；所述初始分割图像尺寸为预设网络输入尺寸；根据所述初始AR效果获得所述门窗安装区域图像内的玻璃区域；获得每个所述玻璃区域的参考热图；所述参考热图中像素点的热力值与对应的所述玻璃区域中像素点与中心点的距离成反比例关系；根据所述初始分割图像中像素点信息获得所述门窗安装区域图像的像素点在所述分割方案中的重叠区域；所述重叠区域与所述参考热图的乘积为分割效果图像；以最大的所述分割效果图像的总体像素值与所述初始分割图像分布离散度的和对应的所述分割方案作为最优分割方案，并获得对应的最优分割图像；获取以相机为参考的所述门窗安装区域的门窗姿态信息；将所述最优分割图像、门窗姿态信息和所述目标门窗的玻璃材质输入预先训练好的透光性推理网络中，输出第一透光性图像；将所述第一透光性图像叠加拼接，获得第二透光性图像；将所述最优分割图像对应的所述重叠区域在所述第二透光性图像中对应的区域的像素值求均值，获得第三透光性图像；将所述玻璃区域的所述第三透光性图像和所述初始AR效果获得最终AR效果。2.根据权利要求1所述的一种具有自适应透光性的门窗AR方法，其特征在于，所述分割所述场景图像，获得门窗安装区域图像包括：将所述场景图像送入预先训练好的语义分割网络中，输出所述门窗安装区域图像。3.根据权利要求1所述的一种具有自适应透光性的门窗AR方法，其特征在于，所述获取以所述门窗轮廓为参考的相机姿态信息包括：将所述门窗轮廓的四个夹角、所述门窗轮廓的尺寸和真实门窗轮廓的长宽比送入预先训练好的全连接网络中，获得以所述门窗轮廓为参考的所述相机姿态信息。4.根据权利要求1所述的一种具有自适应透光性的门窗AR方法，其特征在于，所述获得每个所述玻璃区域的参考热图包括：以所述玻璃区域中心点做所述玻璃区域边缘点的连线，获得第一连线长度和第一连线角度；以所述玻璃区域中心点做所述玻璃区域内部像素点的连线，获得第二连线长度和第二连线角度；以最接近的所述第一连线角度和所述第二连线角度对应的像素点为匹配像素点对；根据热力系数获取公式获得每个所述内部像素点的热力系数；所述热力系数获取公式包括：其中，rl为所述热力系数，DNn为所述匹配像素点对中所述内部像素点的所述第二连线距离，DBm为所述匹配像素点对中所述玻璃区域边缘点的所述第一连线距离；获得所述玻璃区域面积与所有玻璃区域面积和的面积比值；以所述热力系数与所述面积比值的乘积作为所述内部像素点的热力值，根据所述热力值获得所述参考热图。
5....

【专利技术属性】
技术研发人员：刘运胜，孟陆，
申请(专利权)人：徐州大工电子科技有限公司，
类型：发明
国别省市：