【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种新视图合成与检测方法、系统、设备及存储介质。
技术介绍
1、针对例如变电站和工厂等复杂的真实场景，通过装载于无人机或推车上的摄像机大规模采集影像，经常面临因一些设备部署紧凑而在一些视角下难以拍摄影像的问题，这种视角可以定义为缺失视角。在这些复杂场景影像的后续应用中，例如设备的单体化重建，如果缺失视角过多，会造成真实图像信息缺失偏多，不利于后期应用于具有较高几何约束要求的场景重建中。
2、在现有的新视图合成任务中，通常利用单幅真实影像和多个给定位姿合成多幅新视图，合成的图像信息相比于真实的影像信息过多，容易造成场景重建质量欠佳。现有的视角选择方法主要用于为mesh模型重建纹理，考虑到任一三角面片相对于相机的可视性和是否被其他三角面片遮挡等问题，但限于从众多源影像各自的已知视角中选择最佳视角，而不会考量缺失视角，难以与现有的新视图合成任务配合。
技术实现思路
1、为了解决上述技术问题，本专利技术实施例提供了一种新视图合成与检测方法及装置，实现基于缺失视角下选择新视图进行合成，提高了图像合成效果的真实性。
2、本专利技术实施例的第一方面提供了一种新视图合成与检测方法，方法包括：
3、分别获取三维立体模型以及已知视角的第一图像集合；
4、在三维立体模型中分散地选择与第一图像集合适配的若干相机投影点，根据若干相机投影点、三维立体模型和第一图像集合确定待合成的目标位姿和条件影像；
5、根据待合成的目
6、计算第二图像集合中各个新视图的重投影中误差，根据重投影中误差预判新视图能否与第一图像集合搭配应用。
7、在第一方面的一种可能的实现方式中，在三维立体模型中分散地选择与第一图像集合适配的若干相机投影点，包括：
8、检测与第一图像集合中的若干图像一一对应的若干虚拟相机视点；
9、将各处虚拟相机视点与三维立体模型中的几何中心连接，得到对应的第一虚拟视线；
10、将各条第一虚拟视线与三维立体模型中的表面相交处确定为对应的相机投影点，其中，三维立体模型中的表面呈网状球面设置。
11、在第一方面的一种可能的实现方式中，根据若干相机投影点、三维立体模型和第一图像集合确定待合成的目标位姿和条件影像，包括：
12、在网状球面中，将未带相机投影点的网格单元选做与相机缺失视角对应的参考球面区域；
13、将参考球面区域中的至少一处位置分别选为中介球面点，将从各处中介球面点指向几何中心的方向作为对应的新视向；
14、将与参考球面区域相距不超过预设距离的相机投影点作为选中投影点，在第一图像集合中，将与各个选中投影点对应的图像选做条件影像，根据条件影像和新视向得到目标位姿。
15、在第一方面的一种可能的实现方式中，根据条件影像和新视向得到目标位姿，包括：
16、分别计算若干条件影像与几何中心之间的距离，得到多个几何距离，将多个几何距离之间的平均距离设置为新视距；
17、基于新视向，确定与几何中心之间的距离等于新视距的位置为新视点位置，将新视点位置和新视向表征为目标位姿。
18、在第一方面的一种可能的实现方式中，计算第二图像集合中各个新视图的重投影中误差，包括：
19、将第二图像集合中的多个新视图分别作为待计算新视图，确定各个待计算新视图中的图像特征点；
20、计算各个待计算新视图的图像特征点投影到三维立体模型中的位置，得到对应的投影位置；
21、将各处投影位置以及与其对应的新视点位置进行连接，得到对应的第二虚拟视线，将多条第二虚拟视线相交的多处位置分别确定为目标物方点；
22、利用各个目标物方点向各个新视点位置进行反投影，得到反投影位置，计算反投影位置和图像特征点之间的距离，得到各个待计算新视图的重投影误差，利用各个待计算新视图的重投影误差进行中误差计算，各个待计算新视图的重投影中误差。
23、本专利技术实施例的第二方面提供了一种新视图合成和检测系统，系统包括：
24、获取模块，用于分别获取三维立体模型以及已知视角的第一图像集合；
25、计算模块，用于在三维立体模型中分散地选择与第一图像集合适配的若干相机投影点，根据若干相机投影点、三维立体模型和第一图像集合确定待合成的目标位姿和条件影像；
26、合成模块，用于根据待合成的目标位姿和条件影像，得到与相机缺失视角对应的新视图，将新视图与第一图像集合组成第二图像集合；
27、评估模块，用于计算第二图像集合中各个新视图的重投影中误差，根据重投影中误差预判新视图能否与第一图像集合搭配应用。
28、在第二方面的一种可能的实现方式中，计算模块包括删除单元、估计单元、连接单元和相机投影点确定单元；
29、检测单元，用于检测与第一图像集合中的若干图像一一对应的若干虚拟相机视点；
30、连接单元，用于将各处虚拟相机视点与三维立体模型中的几何中心连接，得到对应的第一虚拟视线；
31、相机投影点确定单元，用于将各条第一虚拟视线与三维立体模型中的表面相交处确定为对应的相机投影点，其中，三维立体模型中的表面呈网状球面设置。
32、在第二方面的一种可能的实现方式中，计算模块还包括遍历单元、第一选取单元和第二选取单元；
33、遍历单元，用于在网状球面中，将未带相机投影点的网格单元选做相机缺失视角的参考球面区域；
34、第一选取单元，用于将参考球面区域中的至少一处位置分别选为中介球面点，将从各处中介球面点指向几何中心的方向作为对应的新视向；
35、第二选取单元，用于将与参考球面区域相距不超过预设距离的相机投影点作为选中投影点，在第一图像集合中，将与各个选中投影点对应的图像选做条件影像，根据条件影像和新视向得到目标位姿。
36、本专利技术实施例的第三方面提供了一种计算设备，包括：
37、存储器，用于存储计算机程序；
38、处理器，用于执行所述计算机程序时实现如第一方面的新视图合成与检测方法。
39、本专利技术实施例的第四方面提供了一种非临时性计算机可读存储介质，其上存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面的新视图合成与检测方法的步骤。
本文档来自技高网...【技术保护点】
1.一种新视图合成与检测方法，其特征在于，包括：
2.如权利要求1所述的新视图合成与检测方法，其特征在于，所述在所述三维立体模型中分散地选择与所述第一图像集合适配的若干相机投影点，包括：
3.如权利要求2所述的新视图合成与检测方法，其特征在于，所述根据所述若干相机投影点、所述三维立体模型和所述第一图像集合确定待合成的目标位姿和条件影像，包括：
4.如权利要求1-3任一项所述的新视图合成与检测方法，其特征在于，所述根据所述条件影像和所述新视向得到目标位姿，包括：
5.如权利要求4所述的新视图合成与检测方法，其特征在于，所述计算所述第二图像集合中各个所述新视图的重投影中误差，包括：
6.一种新视图合成和检测系统，其特征在于，包括：
7.如权利要求6所述的新视图合成和检测系统，其特征在于，所述计算模块包括检测单元、连接单元和相机投影点确定单元；
8.如权利要求6所述的新视图合成和检测系统，其特征在于，所述计算模块还包括遍历单元、第一选取单元和第二选取单元；
9.一种计算设备，其特征在于，包括
10.一种非临时性计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的新视图合成与检测方法。
...【技术特征摘要】
1.一种新视图合成与检测方法，其特征在于，包括：
2.如权利要求1所述的新视图合成与检测方法，其特征在于，所述在所述三维立体模型中分散地选择与所述第一图像集合适配的若干相机投影点，包括：
3.如权利要求2所述的新视图合成与检测方法，其特征在于，所述根据所述若干相机投影点、所述三维立体模型和所述第一图像集合确定待合成的目标位姿和条件影像，包括：
4.如权利要求1-3任一项所述的新视图合成与检测方法，其特征在于，所述根据所述条件影像和所述新视向得到目标位姿，包括：
5.如权利要求4所述的新视图合成与检测方法，其特征在于，所述计算所述...
【专利技术属性】
技术研发人员：陈赟，张英，李端姣，刘建明，梁永超，颜大涵，林佳润，杨可，甘焯坤，郑煜辉，陈家贤，
申请(专利权)人：广东电网有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。