本申请提供一种三维场景重建的方法、装置、电子设备和存储介质，涉及视觉技术领域。一种三维场景重建的方法，包括：获取当前场景的第一点云数据和图像数据；确定所述第一点云数据中的第一特征点；根据第二点云数据确定候选区域，所述第二点云数据为除所述第一特征点外的所述第一点云数据；根据所述候选区域及所述图像数据对目标物体进行识别，以获取第二特征点；基于所述第一特征点和所述第二特征点对所述当前场景进行三维场景重建。根据本申请的实施例，可通过激光点云数据与二维图像数据的融合提取当前场景及目标物体的特征，实现对目标物体的精确定位。物体的精确定位。物体的精确定位。
【技术实现步骤摘要】
一种三维场景重建的方法、装置、电子设备和存储介质
[0001]本申请涉及视觉
，具体而言，涉及一种三维场景重建的方法、装置、电子设备和存储介质。
技术介绍
[0002]现阶段，物流行业对仓库的管理通常依靠单一传感器获取信息的方式，其中，激光传感器可快速获取环境的深度信息，测距精度较高，方向性好，且不易受环境可见光的影响；而视觉传感器可获得场景的色彩和纹理信息。
[0003]本申请的专利技术人发现，单独依靠激光传感器获取信息缺乏对环境的表现力度，而单独依靠视觉传感器易受光照变化的影响，并且缺少深度信息的表达，无法满足复杂场景下仓库管理的工作需求。
技术实现思路
[0004]根据本申请的一方面，提供一种三维场景重建的方法，包括：获取当前场景的第一点云数据和图像数据；确定所述第一点云数据中的第一特征点；根据所述第一点云数据确定候选区域；根据所述候选区域及所述图像数据对目标物体进行识别，以获取第二特征点；基于所述第一特征点和所述第二特征点对所述当前场景进行三维场景重建。
[0005]根据一些实施例，确定所述第一点云数据中的第一特征点，包括：获取第一数据点与所述第一数据点的任意两个邻域点确定的平面的法向量，所述第一数据点为所述第一点云数据中的任意一点；根据所述第一数据点和所述法向量确定所述第一点云数据中除所述第一数据点与所述第一数据点的任意两个邻域点以外的多个局内点；筛选所述多个局内点中的所述第一特征点。
[0006]根据一些实施例，筛选所述多个局内点中的所述第一特征点，包括：在所述多个局内点的数量大于等于第一预设阈值的情况下，获取所述多个局内点的第一数据集和第二数据集，所述第二数据集由所述第一数据集在所述平面的投影构成；计算所述第一数据集在进行坐标转换的过程中与所述第二数据集的误差；对所述误差进行迭代计算以确定所述第一特征点。
[0007]根据一些实施例，在所述获取当前场景的第一点云数据和图像数据之前，确定已知物体的形状特征、所述已知物体的尺寸特征和所述已知物体的色彩特征。
[0008]根据一些实施例，根据第一点云数据确定候选区域，包括：通过所述第一点云数据构建多个三角面片，其中所述三角面片由所述第一点云数据中邻近的任意三个点构成，并且所述三角面片的每条边至多包含在两个所述三角面片中；计算任意两个邻近的所述三角面片的法向量间的差异度；根据所述差异度的计算结果和第二预设阈值确定所述第一点云数据的多个群集；在所述群集的边界与所述已知物体的形状特征相匹配的情况下，确定所述群集为所述候选区域。
[0009]根据一些实施例，根据所述候选区域及所述图像数据对目标物体进行识别，以获
取第二特征点，包括：计算所述候选区域的实际尺寸，以与所述已知物体的尺寸特征匹配；提取所述候选区域在所述图像数据中对应的色彩信息，以与所述已知物体的色彩特征匹配；根据所述候选区域与所述已知物体的尺寸特征和所述已知物体的色彩特征的匹配结果，确定所述第二特征点。
[0010]根据一些实施例，基于所述第一特征点和所述第二特征点对所述当前场景进行三维场景重建，包括：根据所述第一特征点和所述第二特征点获取第二点云数据；基于所述第二点云数据和所述图像数据对所述当前场景进行所述三维场景重建；显示所述三维场景重建的结果。
[0011]根据本申请的一方面，提供一种三维场景重建的装置，包括：数据采集模块，用于获取当前场景的第一点云数据和图像数据，所述图像数据包括色彩信息；数据处理模块，用于获取所述第一点云数据中的第一特征点；根据所述第一点云数据确定候选区域；根据所述候选区域及所述图像数据对目标物体进行识别；基于所述第一特征点和已识别的所述目标物体对应的第二特征点进行所述当前场景的三维场景重建；显示模块，用于显示所述三维场景重建的结果。
[0012]根据一些实施例，所述数据采集模块对所述第一点云数据和所述图像数据进行采集时间配准。
[0013]根据一些实施例，获取当前场景的第一点云数据，包括：所述数据采集模块获取所述当前场景中任一数据点的距离返回值、水平扫描角和俯仰扫描角；所述数据采集模块基于所述距离返回值、所述水平扫描角和所述俯仰扫描角计算所述任一数据点的三维空间坐标；所述数据采集模块根据所述任一数据点的三维空间坐标获取所述第一点云数据。
[0014]根据本申请的一方面，提供一种云台设备，包括：车身；激光测距仪，安装于所述车身上，用于在所述车身的行进过程中获取如前述的距离返回值、水平扫描角和俯仰扫描角；摄像头，安装于所述车身上，用于在所述车身的行进过程中获取如前述的图像数据；驱动装置，驱动所述车身行进。
[0015]根据本申请的一方面，提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得一个或多个处理器实现如前述的方法。
[0016]根据本申请的一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如前述的方法。
[0017]根据本申请的实施例，可用于解决靠单一传感器进行三维场景重建过程中易出现的稳定性不足或定位精度不高的问题。本申请的技术方案将激光深度信息与二维图像数据建立融合，并提取当前场景环境及物体的特征，实现对环境中物体的精确定位
[0018]应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
[0019]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例。
[0020]图1示出根据本申请示例实施例的一种三维场景重建的方法流程图。
[0021]图2示出根据本申请示例实施例的场景平面特征提取的流程图。
[0022]图3示出根据本申请示例实施例的确定当前场景中目标物体的候选区域的流程图。
[0023]图4示出根据本申请示例实施例的当前场景中目标物体识别的流程图。
[0024]图5示出根据本申请示例实施例的一种三维场景重建装置的框图。
[0025]图6示出根据本申请示例实施例的电子设备的框图。
具体实施方式
[0026]现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本申请将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
[0027]所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有这些特定细节中的一个或更多，或者可以采用其它的方式、组元、材料、装置或操作等。在这些情况下，将不详细示出或描述公知结构、方法、装置、实现、材料或者操作。...
【技术保护点】
【技术特征摘要】
1.一种三维场景重建的方法，其特征在于，包括：获取当前场景的第一点云数据和图像数据；确定所述第一点云数据中的第一特征点；根据所述第一点云数据确定候选区域；根据所述候选区域及所述图像数据对目标物体进行识别，以获取第二特征点；基于所述第一特征点和所述第二特征点对所述当前场景进行三维场景重建。2.根据权利要求1所述的方法，其特征在于，确定所述第一点云数据中的第一特征点，包括：获取第一数据点与所述第一数据点的任意两个邻域点确定的平面的法向量，所述第一数据点为所述第一点云数据中的任意一点；根据所述第一数据点和所述法向量确定所述第一点云数据中除所述第一数据点与所述第一数据点的任意两个邻域点以外的多个局内点；筛选所述多个局内点中的所述第一特征点。3.根据权利要求2所述的方法，其特征在于，筛选所述多个局内点中的所述第一特征点，包括：在所述多个局内点的数量大于等于第一预设阈值的情况下，获取所述多个局内点的第一数据集和第二数据集，所述第二数据集由所述第一数据集在所述平面的投影构成；计算所述第一数据集在进行坐标转换的过程中与所述第二数据集的误差；对所述误差进行迭代计算以确定所述第一特征点。4.根据权利要求1所述的方法，其特征在于，在所述获取当前场景的第一点云数据和图像数据之前，确定已知物体的形状特征、所述已知卷号：220912CI物体的尺寸特征和所述已知物体的色彩特征。5.根据权利要求1所述的方法，其特征在于，根据第一点云数据确定候选区域，包括：通过所述第一点云数据构建多个三角面片，其中所述三角面片由所述第一点云数据中邻近的任意三个点构成，并且所述三角面片的每条边至多包含在两个所述三角面片中；计算任意两个邻近的所述三角面片的法向量间的差异度；根据所述差异度的计算结果和第二预设阈值确定所述第一点云数据的多个群集；在所述群集的边界与所述已知物体的形状特征相匹配的情况下，确定所述群集为所述候选区域。6.根据权利要求1所述的方法，其特征在于，根据所述候选区域及所述图像数据对目标物体进行识别，以获取第二特征点，包括：计算所述候选区域的实际尺寸，以与所述已知物体的尺寸特征匹配；提取所述候选区域在所述图像数据中对应的色彩信息，以与所述已知物体的色彩特征匹配；根据所述候选区域与所述已知物体的...
【专利技术属性】
技术研发人员：陈昌杰，陈乔，王键，王明杰，陈建华，张猛，赵宇，续杰，
申请(专利权)人：欧冶云商股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。