数据的处理方法、装置及设备制造方法及图纸

本发明专利技术实施例提供了一种数据的处理方法、装置及设备，方法包括：获取图像数据；确定位于图像数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线；基于水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息；在至少一个平面中，根据位置信息和方向信息确定至少一个用于插入数据的数据插入位置。本实施例中的方法基于平面所对应的水平线和竖直线获取平面中像素点的位置信息和方向信息；根据位置信息和方向信息确定数据插入位置，有效地实现了在图像数据中自动寻找合适的区域来植入数据，有效地节约了人力成本，降低了图像后期处理的制作成本，并且可以在不破坏原图像主要内容、不影响视觉效果的前提下，传递其他信息内容。

【技术实现步骤摘要】
数据的处理方法、装置及设备
本专利技术涉及互联网
，尤其涉及一种数据的处理方法、装置及设备。
技术介绍
图像植入技术是指将素材(文字、图像、视频等)插入到现有图片中，保持原有透视效果，无违和感的融入原图像中进行展示。现有技术中，在获取到待植入素材和现有图片之后，一般是通过人工指定或者选择的方式在现有图片中确定待植入素材的插入位置，这样的图像植入过程不仅增加了人工成本和时间成本，增加了图像植入过程的复杂程度，并且也降低了图像植入的效率，无法实现对图像的批量处理。
技术实现思路
本专利技术实施例提供一种数据的处理方法、装置及设备，可以自动地确定用于插入数据的数据插入位置，节省了人力成本和时间成本，同时也降低了图像植入流程的复杂程度，提高了图像植入的效率，可实现对图像的批量处理。第一方面，本专利技术实施例提供一种数据的处理方法，包括：获取图像数据；确定位于所述图像数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线；基于所述水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息；在至少一个所述平面中，根据所述位置信息和方向信息确定至少一个用于插入数据的数据插入位置。如上所述的方法，确定位于所述图像数据中的至少一个平面，包括：获取所述图像数据中每个像素点的语义标签和预测法线方向；根据所述语义标签对所述图像数据中的所有像素进行分组，获得分组结果；基于所述预测法线方向获取所述分组结果中每个像素点的法线预测可信度；<br>根据所述法线预测可信度对所述分组结果进行处理，获得位于所述图像数据中的至少一个平面掩模。如上所述的方法，获取所述图像数据中每个像素点的语义标签和预测法线方向，包括：基于卷积神经网络获取数据分类系统；利用所述数据分类系统对所述图像数据进行处理，获取所述图像数据中每个像素点的语义标签和预测法线方向。如上所述的方法，基于卷积神经网络获取数据分类系统，包括：获取训练数据，所述训练数据包括以下至少之一：基于预设训练图像的像素级语义标签、基于预设训练图像的颜色深度数据、基于预设训练图像中预设像素点的预测法线方向、基于预设训练图像的任意两个像素点与相机之间的距离关系；利用所述卷积神经网络对所述训练数据进行学习训练，获得所述数据分类系统。如上所述的方法，根据所述语义标签对所述图像数据中的所有像素进行分组，获得分组结果，包括：获取所述图像数据中每个像素点的像素位置信息；根据所述语义标签、所述像素位置信息和预测法线方向对所述像素点进行聚类处理，获得分组结果。如上所述的方法，根据所述语义标签、所述像素位置信息和预测法线方向对所述像素点进行聚类处理，获得分组结果，包括：根据所述语义标签、所述像素位置信息和预测法线方向对所述像素点进行聚类处理，获得多个聚类结果；获取每个聚类结果中所包括的像素点信息；根据所述像素点信息在多个聚类结果中确定至少一个分组结果。如上所述的方法，根据所述像素点信息在多个聚类结果中确定至少一个分组结果，包括：根据所述像素点信息的大小对多个聚类结果进行排序，获得多个聚类结果的排列顺序；基于所述排列顺序，获取像素点信息之和大于预设阈值的至少一个聚类结果；将至少一个所述聚类结果确定为至少一个所述分组结果。如上所述的方法，基于所述预测法线方向获取所述分组结果中每个像素点的法线预测可信度，包括：获取所述分组结果中每个像素点所对应的实际法线方向、像素点到图像边缘的距离信息；根据所述预测法线方向、实际法线方向和距离信息确定所述分组结果中每个像素点的法线预测可信度。如上所述的方法，根据所述预测法线方向、实际法线方向和距离信息确定所述分组结果中每个像素点的法线预测可信度，包括：根据所述预测法线方向、实际法线方向以及距离信息，并利用以下公式确定所述法线预测可信度：其中，Cnormal(P)为法线预测可信度，median是计算给定集合中位数的算法，n(q)和分别是q点的实际法线方向和预测法线方向，d(p)和d(q)分别是p点到图像边缘的距离和q点到图像边缘的距离，I*为预设的法向预测数据集。如上所述的方法，在基于所述预测法线方向获取所述分组结果中每个像素点的法线预测可信度之后，所述方法还包括：获取所述分组结果中每个像素点的像素值；将每个像素点的像素值与所对应的法线预测可信度进行加权，获得加权像素信息；利用高斯分布算法和加权像素信息对分组结果进行拟合，获得所述像素点在高斯分布下的后验概率；根据所述后验概率对所述法线预测可信度进行调整。如上所述的方法，根据所述后验概率对所述法线预测可信度进行调整，包括：根据所述后验概率确定初始法线预测可信度；根据所述初始法线预测可信度、并利用以下公式对所述法线预测可信度进行调整：其中，p为像素点，为像素点p所属的平面，Cnormal(P)为像素点p的法线可信度，为所对应的初始法线预测可信度，为调整后的法线预测可信度。如上所述的方法，根据所述后验概率确定初始法线预测可信度，包括：根据所述后验概率、利用以下公式确定初始法线预测可信度：其中，η(p)为像素点p的特征信息，fP为高斯分布函数，fP(η(p))是对η(p)进行拟合所获得的多维高斯分布的后验概率信息，μP为高斯分布函数的预设期望。如上所述的方法，根据所述法线预测可信度对所述分组结果进行处理，获得位于所述图像数据中的至少一个平面掩模，包括：根据所述法线预测可信度、并利用以下公式对所述分组结果进行处理，获得第一参数Γu(P(pi))，其中，为法线预测可信度，n为分组结果的个数，pi为像素点，为像素点pi所属的平面，P(pi)为位于所述图像数据中的平面掩模；获取第二参数Γp(P(pi),P(pj))；Γp(P(pi),P(pj))＝σ(P(pi)≠P(pj))·其中，δ是陈述判断算法，如果陈述条件为真，则值为1，否则值为0；P(pi)、P(pj)分别为位于所述图像数据中的平面掩模，Φ1和Φ2分别是预设的第一高斯核和第二高斯核，pi、pj分别是指像素点p的位置，I(p)是像素点的RGB值，是像素点p的法线方向，[·]是向量拼接算子；根据所述第一参数和所述第二参数获得位于所述图像数据中的至少一个平面掩模：E(P)＝∑iΓu(P(pi))+∑i∑j<iΓp(P(pi),P(pj))；其中，E(P)为平面掩模，Γu(P(pi))为第一参数，Γp(P(pi),P(pj))为第二参数。如上所述的方法，确定位于所述图像数据中的至少一个平面在世界坐标系下的水平线和竖直线，包括：利用直线段检测算法对所述图像数据进行处理，获得一个或多个线段；根据一个或多个所述线段获得至少一个平面在世界坐标系下的水平线和竖直线。如上所述的方法，本文档来自技高网...

【技术保护点】
1.一种数据的处理方法，其特征在于，包括：/n获取图像数据；/n确定位于所述图像数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线；/n基于所述水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息；/n在至少一个所述平面中，根据所述位置信息和方向信息确定至少一个用于插入数据的数据插入位置。/n

【技术特征摘要】
1.一种数据的处理方法，其特征在于，包括：
获取图像数据；
确定位于所述图像数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线；
基于所述水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息；
在至少一个所述平面中，根据所述位置信息和方向信息确定至少一个用于插入数据的数据插入位置。


2.根据权利要求1所述的方法，其特征在于，确定位于所述图像数据中的至少一个平面，包括：
获取所述图像数据中每个像素点的语义标签和预测法线方向；
根据所述语义标签对所述图像数据中的所有像素进行分组，获得分组结果；
基于所述预测法线方向获取所述分组结果中每个像素点的法线预测可信度；
根据所述法线预测可信度对所述分组结果进行处理，获得位于所述图像数据中的至少一个平面掩模。


3.根据权利要求2所述的方法，其特征在于，获取所述图像数据中每个像素点的语义标签和预测法线方向，包括：
基于卷积神经网络获取数据分类系统；
利用所述数据分类系统对所述图像数据进行处理，获取所述图像数据中每个像素点的语义标签和预测法线方向。


4.根据权利要求3所述的方法，其特征在于，基于卷积神经网络获取数据分类系统，包括：
获取训练数据，所述训练数据包括以下至少之一：基于预设训练图像的像素级语义标签、基于预设训练图像的颜色深度数据、基于预设训练图像中预设像素点的预测法线方向、基于预设训练图像的任意两个像素点与相机之间的距离关系；
利用所述卷积神经网络对所述训练数据进行学习训练，获得所述数据分类系统。


5.根据权利要求2所述的方法，其特征在于，根据所述语义标签对所述图像数据中的所有像素进行分组，获得分组结果，包括：
获取所述图像数据中每个像素点的像素位置信息；
根据所述语义标签、所述像素位置信息和预测法线方向对所述像素点进行聚类处理，获得分组结果。


6.根据权利要求5所述的方法，其特征在于，根据所述语义标签、所述像素位置信息和预测法线方向对所述像素点进行聚类处理，获得分组结果，包括：
根据所述语义标签、所述像素位置信息和预测法线方向对所述像素点进行聚类处理，获得多个聚类结果；
获取每个聚类结果中所包括的像素点信息；
根据所述像素点信息在多个聚类结果中确定至少一个分组结果。


7.根据权利要求6所述的方法，其特征在于，根据所述像素点信息在多个聚类结果中确定至少一个分组结果，包括：
根据所述像素点信息的大小对多个聚类结果进行排序，获得多个聚类结果的排列顺序；
基于所述排列顺序，获取像素点信息之和大于预设阈值的至少一个聚类结果；
将至少一个所述聚类结果确定为至少一个所述分组结果。


8.根据权利要求2所述的方法，其特征在于，基于所述预测法线方向获取所述分组结果中每个像素点的法线预测可信度，包括：
获取所述分组结果中每个像素点所对应的实际法线方向、像素点到图像边缘的距离信息；
根据所述预测法线方向、实际法线方向和距离信息确定所述分组结果中每个像素点的法线预测可信度。


9.根据权利要求8所述的方法，其特征在于，在基于所述预测法线方向获取所述分组结果中每个像素点的法线预测可信度之后，所述方法还包括：
获取所述分组结果中每个像素点的像素值；
将每个像素点的像素值与所对应的法线预测可信度进行加权，获得加权像素信息；
利用高斯分布算法和加权像素信息对分组结果进行拟合，获得所述像素点在高斯分布下的后验概率；
根据所述后验概率对所述法线预测可信度进行调整。


10.根据权利要求9所述的方法，其特征在于，根据所述后验概率对所述法线预测可信度进行调整，包括：
根据所述后验概率确定初始法线预测可信度；
根据所述初始法线预测可信度对所述法线预测可信度进行调整。


11.根据权利要求1-10中任意一项所述的方法，其特征在于，确定位于所述图像数据中的至少一个平面在世界坐标系下的水平线和竖直线，包括：
利用直线段检测算法对所述图像数据进行处理，获得一个或多个线段；
根据一个或多个所述线段获得至少一个平面在世界坐标系下的水平线和竖直线。


12.根据权利要求11所述的方法，其特征在于，根据一个或多个所述线段获得至少一个平面在世界坐标系下的竖直线，包括：
利用暴力搜索方法针对至少一个平面中的一平面确定一竖直方向；
在一个或多个所述线段中，确定平行于所述竖直方向的所有线段，并将所述线段确定为竖直线。


13.根据权利要求11所述的方法，其特征在于，根据一个或多个所述线段获得至少一个平面在世界坐标系下的水平线，包括：
利用非线性优化方法确定一消失点，在至少一个平面中的一平面中经过所述消失点的线段数量大于或等于预设阈值；
将所述平面中任意像素点与所述消失点的直线确定为水平线。


14.根据权利要求13所述的方法，其特征在于，在根据一个或多个所述线段获得至少一个平面在世界坐标系下的水平线和竖直线之后，所述方法还包括：
在满足预设的条件下，获取相机的内参矩阵和位姿信息；
根据所述内参矩阵和位姿信息分别对所述水平线和竖直线进行参数处理，获得与所述水平线相对应的水平参数以及与所述竖直线相对应的竖直参数。


15.根据权利要求14所述的方法，其特征在于，所述预设的条件包括：
世界坐标系下，所述平面中的z坐标为0；
所述消失点是由世界坐标系下的水平线和竖直线生成的。


16.根据权利要求11所述的方法，其特征在于，基于所述水平线和竖直线获取至少一个平面中像素点的位置信息，包括：
基于所述水平线和竖直线，利用预设划窗对至少一个平面进行统计，获得所述划窗内属于该平面的像素数量占比；
根据所述像素数量占比构建向量信息；
对所述向量信息进行数据降维处理，获得至少一个平面中像素点的位置信息。


17.根据权利要求11所述的方法，其特征在于，基于所述水平线和竖直线获取至少一个平面中像素点的方向信息，包括：
基于所述水平线和竖直线，获取所述平面内各个像素处的法线向量；
将所述法线向量与预设的方向向量进行取内积处理，获得多个内积值；
根据所述内积值的大小对至少一个平面中的像素点进行计数，获得至少一个平面中像素点的方向信息。

...

【专利技术属性】
技术研发人员：梁缘，樊鲁斌，任沛然，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY