一种图像语义分割的方法、终端和可读存储介质技术

本发明专利技术实施例涉及计算机视觉领域，公开了一种图像语义分割的方法、终端和可读存储介质。本发明专利技术中图像语义分割的方法，包括：获取N个第一图像数据各自对应的第一语义分割图像，N个第一图像数据为目标环境的N个视角的图像数据，N为大于1的整数；融合N个第一语义分割图像，获得融合后的语义分割图像，并将融合后的语义分割图像作为N个第一图像数据的实际语义分割图像。本实施方式，能够提高对目标环境的图像数据进行语义分割的准确性，提高对目标环境中各个物体的识别准确率。

A method, terminal and readable storage medium of image semantic segmentation

【技术实现步骤摘要】
一种图像语义分割的方法、终端和可读存储介质
本专利技术实施例涉及计算机视觉领域，特别涉及一种图像语义分割的方法、终端和可读存储介质。
技术介绍
在机器人进行导航、避障、操作等多种任务时，机器人需要对目标环境进行充分的理解，而对环境的语义分割与识别在其中起到了基础性和至关重要的作用。在对周围的环境进行描述时，要完整地分割出一个物体，通常需要从尽可能多的角度来对物体进行扫描，角度过大或者采集样本不足时就可能会导致识别结果的不准确。一个彩色(RGB)相机一次只能从一个视角来捕获图像数据，要想获得目标对象的完整描述，要么通过移动相机，要么通过设置多个相机来实现。在进行场景扫描时，由于场景通常是变化的，通常设置多个静态相机是一个好的解决方案。通常相机数量越多，捕获场景的视角越多，得到的对应图像也越多，识别也就准确。专利技术人发现相关技术中至少存在如下问题：目前对图像进行语义分割的过程中，由于拍摄图像的角度不同，对场景中各个物体的分割不准确，导致对同一个物体的标注不同，出现不同的识别结果，识别不准确。
技术实现思路
本专利技术实施方式的目的在于提供一种图像语义分割的方法、终端和可读存储介质，能够提高对目标环境的图像数据进行语义分割的准确性，提高对目标环境中各个物体的识别准确率。为解决上述技术问题，本专利技术的实施方式提供了一种图像语义分割的方法，包括：获取N个第一图像数据各自对应的第一语义分割图像，N个第一图像数据为目标环境的N个视角的图像数据，N为大于1的整数；融合N个第一语义分割图像，获得融合后的语义分割图像，并将融合后的语义分割图像作为N个第一图像数据的实际语义分割图像。本专利技术的实施方式还提供了一种终端，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的图像语义分割的方法。本专利技术的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的图像语义分割的方法。本专利技术实施方式相对于现有技术而言，获取了N个第一图像数据各自对应的第一语义分割图像，N个第一图像数据为目标环境的N个视角的图像数据，通过融合N个第一语义分割图像，丰富了第一图像数据中针对同一物体的图像数据，同时，针对第一图像数据中的同一物体的图像，可以通过多个第一语义分割图像进行相互验证，准确地确定出第一图像数据中各个物体的标注信息，从而提高对第一图像数据进行语义分割的准确性，另外，将融合后的语义分割图像作为N个第一图像数据的实际语义分割图像，确保了不同视角的图像数据的语义分割结果的一致性。另外，N个第一图像数据是由图像采集装置采集获得；或者，N个第一图像数据由第二图像数据和第三图像数据组成，第二图像数据由图像采集装置采集获得，第三图像数据是根据第二图像数据生成的预设视角的第三图像数据。N个第一图像数据可以直接是通过图像采集装置采集得到；N个第一图像数据还可以是通过图像采集装置得到第二图像数据，同时根据得到的第二图像数据生成预设角度的第三图像数据，通过有限的图像采集装置生成更多角度的图像数据，丰富了目标环境的各个角度的图像数据，降低了获取第一图像数据的成本。另外，生成第三图像数据的过程，具体包括：根据第二图像数据，生成目标环境的三维模型；将三维模型按照预设角度投影至二维空间，得到第三图像数据。利用第二图像数据可以构建出目标环境的三维模型，由于生成了目标环境较的三维模型，使得可以准确地按照预设角度投影，生成二维的第三图像数据。另外，若第二图像数据的个数为M，M为整数且M≥2；将三维模型按照预设角度投影至二维空间，得到第三图像数据，具体包括：选取每两个视角采集的第二图像数据的采集参数；针对选取的每两个视角采集的第二图像数据的采集参数进行以下处理：根据两个第二图像数据的采集参数以及预设角度，确定投影的虚拟采集参数；按照虚拟采集参数以及预设的投影关系，将三维模型投影至二维空间，得到第三图像数据。选取每两个视角采集的第二图像数据的采集参数，并根据选取的两个第二图像数据的采集参数以及预设角度，可以快速确定出虚拟采集参数。另外，根据两个第二图像数据的采集参数以及预设角度，确定投影的虚拟采集参数，具体包括：根据预设角度，在两个第二图像数据的采集参数的值之间确定虚拟采集参数。在两个第二图像数据的采集参数的值之间确定虚拟采集参数，缩小了虚拟采集参数的值的范围，从而可以快速确定出虚拟采集参数。另外，融合N个第一语义分割图像，获得融合后的语义分割图像，具体包括：从N个第一语义分割图像中任选一个作为被映射图像；将除被映射图像之外的第一语义分割图像，映射至被映射图像；获取映射后被映射图像内每个点所处位置的候选语义标注信息集合；根据映射后被映射图像内每个点所处位置的候选语义标注信息集合，确定融合后的语义分割图像。将N-1个第一语义分割图像映射至被映射图像内，从而获得映射后被映射图像内每个点所处位置的候选语义标注信息集合，丰富了每个点所处位置的候选语义标注信息，提高了每个点所处位置的语义标注信息的准确性。另外，根据映射后被映射图像内每个点所处位置的候选语义标注信息集合，确定融合后的语义分割图像，具体包括：根据每个候选语义标注信息集合中各候选语义标注信息的比例因子，确定每个点所处位置的实际语义标注信息，获得映射后被映射图像的语义分割图像，比例因子是基于候选语义标注信息的置信度确定；将映射后被映射图像的语义分割图像，作为融合后的语义分割图像。另外，根据每个候选语义标注信息集合中各候选语义标注信息的比例因子，确定每个点所处位置的实际语义标注信息，具体包括：针对每个点所处位置进行以下操作：判断点所处位置的候选语义标注信息集合中所包含的候选语义标注信息的个数是否等于1，若确定是，则将候选语义标注信息作为点所处位置的实际语义标注信息；若确定不是，则获取每个候选语义标注信息的比例因子，将最大的比例因子所对应的候选语义标注信息作为点所处位置的实际语义标注信息。当点所处位置的候选语义标注信息集合中所包含的候选语义标注信息的个数大于1时，通过比较每个候选语义标注信息的比例因子，选取比例因子最高所对应的候选语义标注信息，从而剔除了不准确的候选语义标注信息，提高了每个点所处位置的实际语义标注信息的准确性。附图说明一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。图1是根据本专利技术第一实施方式提供的一种图像语义分割的方法的具体流程图；图2是根据本专利技术第一实施方式中获取N个第一图像数据的示意图；图3是根据本专利技术第一实施方式中融合N个第一语义分割图像的具体实现的示意图；图4是根据本专利技术第二实施方式提供的一种生成第三图像数据的具体实现示意图；图5是根据本专利技术第三实施方式提供的一种终端的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本专利技术各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于本文档来自技高网...

【技术保护点】
1.一种图像语义分割的方法，其特征在于，包括：获取N个第一图像数据各自对应的第一语义分割图像，所述N个第一图像数据为目标环境的N个视角的图像数据，N为大于1的整数；融合N个所述第一语义分割图像，获得融合后的语义分割图像，并将融合后的语义分割图像作为N个第一图像数据的实际语义分割图像。

【技术特征摘要】
1.一种图像语义分割的方法，其特征在于，包括：获取N个第一图像数据各自对应的第一语义分割图像，所述N个第一图像数据为目标环境的N个视角的图像数据，N为大于1的整数；融合N个所述第一语义分割图像，获得融合后的语义分割图像，并将融合后的语义分割图像作为N个第一图像数据的实际语义分割图像。2.根据权利要求1所述图像语义分割的方法，其特征在于，所述N个第一图像数据是由图像采集装置采集获得；或者，所述N个第一图像数据由第二图像数据和第三图像数据组成，所述第二图像数据由所述图像采集装置采集获得，所述第三图像数据是根据第二图像数据生成的预设视角的第三图像数据。3.根据权利要求2所述图像语义分割的方法，其特征在于，生成所述第三图像数据的过程，具体包括：根据所述第二图像数据，生成所述目标环境的三维模型；将所述三维模型按照预设角度投影至二维空间，得到所述第三图像数据。4.根据权利要求3所述的图像语义分割的方法，其特征在于，若所述第二图像数据的个数为M，M为整数且M≥2；将所述三维模型按照预设角度投影至二维空间，得到第三图像数据，具体包括：选取每两个视角采集的第二图像数据的采集参数；针对选取的每两个视角采集的第二图像数据的采集参数进行以下处理：根据两个所述第二图像数据的采集参数以及所述预设角度，确定投影的虚拟采集参数；按照所述虚拟采集参数以及预设的投影关系，将所述三维模型投影至二维空间，得到第三图像数据。5.根据权利要求4所述的图像语义分割的方法，其特征在于，根据两个所述第二图像数据的采集参数以及所述预设角度，确定投影的虚拟采集参数，具体包括：根据所述预设角度，在两个所述第二图像数据的采集参数的值之间确定所述虚拟采集参数。6.根据权利要求1至5中任一项所述的图像语义分割的方法，其特征在于，所述融合N个所述第一语义分割图像，获得融合后的语义分割图像，具体包括：从...

【专利技术属性】
技术研发人员：谭超，王恺，廉士国，
申请(专利权)人：深圳前海达闼云端智能科技有限公司，
类型：发明
国别省市：广东,44