信息处理方法、装置、云处理设备以及计算机程序产品制造方法及图纸

本发明专利技术实施例提供一种信息处理方法、装置、云处理设备以及计算机程序产品，应用于数据处理技术领域，能够将三维重建和语义分割同时进行，既能根据RGBD数据进行三维重建，又能同时获得语义信息，在缩短了计算时间的同时还能够提高场景分割的精度。本发明专利技术实施例提供的信息处理方法，包括：获取图像采集设备采集的RGBD数据；提取所述RGBD数据中的关键帧数据并进行处理，得到几何重建数据；将所述关键帧数据中的RGB数据以及所述几何重建数据进行映射处理，得到三维重建数据；以及，对所述关键帧数据中的RGB数据进行语义分割处理，得到语义分割数据；将所述语义分割数据与所述三维重建数据进行映射处理，得到三维语义地图。

【技术实现步骤摘要】
【国外来华专利技术】信息处理方法、装置、云处理设备以及计算机程序产品
本专利技术涉及数据处理
，尤其涉及一种信息处理方法、装置、云处理设备以及计算机程序产品。
技术介绍
语义地图构建是指计算机等设备基于感知数据，认知和理解所处环境，对数据进行综合分析，提炼出可供设备自主决策所使用的高层次语义信息(如物体名称和所处位置)。其中，感知数据的获取可通过射频识别技术、听觉技术、视觉技术等关键技术来实现，目前，大多数研究集中在视觉技术。在生成语义地图的具体的操作过程中，可以依赖深度学习技术，计算机实时感知的图像中很可能包含多个物体，首先对图像进行分割，再通过机器学习等方法对分割后图像中的物体进行识别，该过程涉及到大量的图像运算，耗时较长。而现有技术中的处理方式主要针对于二维数据的处理，当对三维数据进行语义分割时，采用该方式则无法获得几何上连续的分割结果，并且受限于样本的数量，可以分割出的物体种类有限，耗时较长。
技术实现思路
本专利技术实施例提供一种信息处理方法、装置、云处理设备以及计算机程序产品，可以实时对三维数据进行处理，生成三维语义地图，不但提高了场景分割的精度还缩短了处理时间。第一方面，本专利技术实施例提供了一种信息处理方法，包括：获取图像采集设备采集的RGBD数据；提取所述RGBD数据中的关键帧数据并进行处理，得到几何重建数据；将所述关键帧数据中的RGB数据以及所述几何重建数据进行映射处理，得到三维重建数据；以及，对所述关键帧数据中的RGB数据进行语义分割处理，得到语义分割数据；将所述语义分割数据与所述三维重建数据进行映射处理，得到三维语义地图。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述将所述语义分割数据与所述三维重建数据进行映射处理，得到三维语义地图，包括：确定所述三维重建数据中每个点对应的RGB数据；根据所述RGB数据与所述语义分割数据的第一对应关系，确定所述三维重建数据中每个点对应的语义信息；整合所述三维重建数据中的所有点的语义信息，得到所述三维语义地图。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述将所述语义分割数据与所述三维重建数据进行映射处理，得到三维语义地图，包括：确定所述三维重建数据中每个面对应的RGB数据；根据所述RGB数据与所述语义分割数据的第二对应关系，确定所述三维重建数据中每个面对应的语义信息；确定所述三维数据中每个连接点周围的面；根据每个面对应的语义信息确定每个连接点的语义信息；整合所述三维重建数据中的所有面的语义信息与所有连接点的语义信息，得到所述三维语义地图。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述提取所述RGBD数据中的关键帧数据并进行处理，得到几何重建数据，包括：根据所述RGBD数据中的关键帧数据计算所述图像采集设备的位姿信息；根据所述位姿信息以及所述关键帧数据中的D数据进行重建，得到几何重建数据。第二方面，本专利技术实施例还提供一种信息处理装置，包括：获取单元，用于获取图像采集设备采集的RGBD数据；提取单元，用于提取所述RGBD数据中的关键帧数据并进行处理，得到几何重建数据；处理单元，用于将所述关键帧数据中的RGB数据以及所述几何重建数据进行映射处理，得到三维重建数据；以及，对所述关键帧数据中的RGB数据进行语义分割处理，得到语义分割数据；映射单元，用于将所述语义分割数据与所述三维重建数据进行映射处理，得到三维语义地图。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述映射单元，具体用于：确定所述三维重建数据中每个点对应的RGB数据；根据所述RGB数据与所述语义分割数据的第一对应关系，确定所述三维重建数据中每个点对应的语义信息；整合所述三维重建数据中的所有点的语义信息，得到所述三维语义地图。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述映射单元，具体用于：确定所述三维重建数据中每个面对应的RGB数据；根据所述RGB数据与所述语义分割数据的第二对应关系，确定所述三维重建数据中每个面对应的语义信息；确定所述三维数据中每个连接点周围的面；根据每个面对应的语义信息确定每个连接点的语义信息；整合所述三维重建数据中的所有面的语义信息与所有连接点的语义信息，得到所述三维语义地图。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述提取单元，具体用于：根据所述RGBD数据中的关键帧数据计算所述图像采集设备的位姿信息；根据所述位姿信息以及所述关键帧数据中的D数据进行重建，得到几何重建数据。第三方面，本专利技术实施例还提供一种云处理设备，所述设备包括处理器以及存储器；所述存储器用于存储指令，所述指令被所述处理器执行时，使得所述设备执行如第一方面中任一种所述的方法。第四方面，本专利技术实施例还提供一种计算机程序产品，可直接加载到计算机的内部存储器中，并含有软件代码，所述计算机程序经由计算机载入并执行后能够实现如第一方面中任一种所述的方法。本专利技术实施例提供的信息处理方法、装置、云处理设备以及计算机程序产品，通过提取RGBD数据中的关键帧数据，对关键帧数据进行处理得到几何重建数据，然后，同时执行三维重建和语义分割两个进程，分别得到三维重建数据和语义分割数据，最后将语义分割数据与三维重建数据进行映射处理，得到三维语义地图，在本专利技术实施例提供的技术方案中，能够将三维重建和语义分割同时进行，既能根据RGBD数据进行三维重建，又能同时获得语义信息，在缩短了计算时间的同时还能够提高场景分割的精度，达到实时生成三维地图的效果，解决了现有技术中对三维数据进行语义分割时，可以分割出的物体种类有限，耗时较长的问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的信息处理方法实施例的流程图；图2为本专利技术实施例提供的信息处理装置实施例的结构示意图；图3为本专利技术实施例提供的云处理设备实施例的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本专利技术。在本专利技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测本文档来自技高网...

【技术保护点】
一种信息处理方法，其特征在于，包括：获取图像采集设备采集的RGBD数据；提取所述RGBD数据中的关键帧数据并进行处理，得到几何重建数据；将所述关键帧数据中的RGB数据以及所述几何重建数据进行映射处理，得到三维重建数据；以及，对所述关键帧数据中的RGB数据进行语义分割处理，得到语义分割数据；将所述语义分割数据与所述三维重建数据进行映射处理，得到三维语义地图。

【技术特征摘要】
【国外来华专利技术】1.一种信息处理方法，其特征在于，包括：获取图像采集设备采集的RGBD数据；提取所述RGBD数据中的关键帧数据并进行处理，得到几何重建数据；将所述关键帧数据中的RGB数据以及所述几何重建数据进行映射处理，得到三维重建数据；以及，对所述关键帧数据中的RGB数据进行语义分割处理，得到语义分割数据；将所述语义分割数据与所述三维重建数据进行映射处理，得到三维语义地图。2.根据权利要求1所述的方法，其特征在于，所述将所述语义分割数据与所述三维重建数据进行映射处理，得到三维语义地图，包括：确定所述三维重建数据中每个点对应的RGB数据；根据所述RGB数据与所述语义分割数据的第一对应关系，确定所述三维重建数据中每个点对应的语义信息；整合所述三维重建数据中的所有点的语义信息，得到所述三维语义地图。3.根据权利要求1所述的方法，其特征在于，所述将所述语义分割数据与所述三维重建数据进行映射处理，得到三维语义地图，包括：确定所述三维重建数据中每个面对应的RGB数据；根据所述RGB数据与所述语义分割数据的第二对应关系，确定所述三维重建数据中每个面对应的语义信息；确定所述三维数据中每个连接点周围的面；根据每个面对应的语义信息确定每个连接点的语义信息；整合所述三维重建数据中的所有面的语义信息与所有连接点的语义信息，得到所述三维语义地图。4.根据权利要求1所述的方法，其特征在于，所述提取所述RGBD数据中的关键帧数据并进行处理，得到几何重建数据，包括：根据所述RGBD数据中的关键帧数据计算所述图像采集设备的位姿信息；根据所述位姿信息以及所述关键帧数据中的D数据进行重建，得到几何重建数据。5.一种信息处理装置，其特征在于，包括：获取单元，用于获取图像采集设备采集的RGBD数据；提取单元，用于提取所述RG...

【专利技术属性】
技术研发人员：王恺，廉士国，
申请(专利权)人：深圳前海达闼云端智能科技有限公司，
类型：发明
国别省市：广东,44