本公开提供了一种样本生成方法、装置、计算机设备及存储介质，其中，该方法包括：获取驾驶场景中的至少一个场景图像；针对每个所述场景图像，对所述场景图像进行检测，生成用于指示待生成对象所处区域的二值图像，并确定所述场景图像对应的多种模态的条件信息，所述多种模态的条件信息用于指示待生成对象的对象信息，所述对象信息包括以下至少一种：类别、颜色、姿态和状态；基于所述多种模态的条件信息和所述二值图像，对所述场景图像进行处理，生成包含有待生成对象的样本图像，其中所述样本图像与所述场景图像之间除所述待生成对象所处区域之外的、其他区域相同。其他区域相同。其他区域相同。
【技术实现步骤摘要】
样本生成方法、装置、计算机设备及存储介质
[0001]本公开涉及计算机
，具体而言，涉及一种样本生成方法、装置、计算机设备及存储介质。
技术介绍
[0002]自动驾驶具有无须人工干预而能够感知其周边环境并进行导航的功能，其中对周边环境进行较准确的感知，是对车辆进行精确指导的前提。
[0003]随着深度学习技术的发展，深度学习技术已被广泛应用于自动驾驶领域内以解决相关问题，比如利用训练得到的神经网络模型，在车辆行驶过程中对车辆周边环境进行感知。一般的，神经网络模型的性能与训练样本息息相关，因此提出一种构建样本的方法尤为重要。
技术实现思路
[0004]本公开实施例至少提供一种样本生成方法、装置、计算机设备及存储介质。
[0005]第一方面，本公开实施例提供了一种样本生成方法，包括：
[0006]获取驾驶场景中的至少一个场景图像；
[0007]针对每个所述场景图像，对所述场景图像进行检测，生成用于指示待生成对象所处区域的二值图像，并确定所述场景图像对应的多种模态的条件信息，所述多种模态的条件信息用于指示待生成对象的对象信息，所述对象信息包括以下至少一种：类别、颜色、姿态和状态；
[0008]基于所述多种模态的条件信息和所述二值图像，对所述场景图像进行处理，生成包含有待生成对象的样本图像，其中所述样本图像与所述场景图像之间除所述待生成对象所处区域之外的、其他区域相同。
[0009]一种可选的实施方式中，所述确定所述场景图像对应的多种模态的条件信息，包括：
[0010]确定所述场景图像对应的待生成场景信息；
[0011]根据所述待生成场景信息，从图像库中获取参考图像；
[0012]根据所述待生成场景图像，确定目标关键词，并基于所述目标关键词生成文字描述信息；
[0013]基于所述参考图像和所述文字描述信息，得到所述场景图像对应的多种模态的条件信息。
[0014]一种可选的实施方式中，所述对所述场景图像进行检测，生成用于指示待生成对象所处区域的二值图像，包括：
[0015]对所述场景图像进行语义分割，确定所述场景图像中各个候选对象的位置信息和类别信息；
[0016]基于所述场景图像中所述各个候选对象的位置信息和类别信息，确定所述场景图
像中车辆能够行驶的、且不存在障碍物的可行驶区域；
[0017]基于所述可行驶区域和所述场景图像，生成用于指示待生成对象所处区域的二值图像。
[0018]一种可选的实施方式中，所述基于所述多种模态的条件信息和所述二值图像，对所述场景图像进行处理，生成包含有所述待生成对象的样本图像，包括：
[0019]对所述场景图像和所述二值图像进行特征提取，生成图像特征数据；
[0020]分别对每种模态的条件信息进行语义特征提取，生成所述多种模态的条件信息分别对应的语义特征数据；并将所述多种模态的条件信息分别对应的语义特征数据进行加权编码处理，生成目标语义特征数据；
[0021]利用所述目标语义特征数据，对所述图像特征数据进行处理，生成处理后图像特征数据；
[0022]对所述处理后图像特征数据进行解码操作，生成包含有所述待生成对象的样本图像。
[0023]一种可选的实施方式中，所述样本图像为利用训练得到的图像生成模型得到的，根据下述步骤训练得到所述图像生成模型：
[0024]获取多个原始图像；
[0025]针对每个原始图像，从所述原始图像中获取样本对象的对象图像，并生成所述对象图像对应的样本文字描述信息；将所述对象图像和所述样本文字描述信息，作为所述原始图像对应的多种模态的条件信息；以及基于所述对象图像在所述原始图像中所处区域，生成所述原始图像对应的样本二值图像；
[0026]基于所述多个原始图像、每个所述原始图像对应的所述样本二值图像和所述多种模态的条件信息，对第一待训练模型进行训练，生成所述图像生成模型。
[0027]一种可选的实施方式中，所述获取驾驶场景中的至少一个场景图像，包括：
[0028]获取安装在驾驶场景中的第一传感器采集的场景图像；和/或，获取安装在车辆上的第二传感器、在所述驾驶场景中行驶时采集的场景图像。
[0029]一种可选的实施方式中，所述方法还包括：
[0030]利用所述样本图像，对第二待训练模型进行训练，生成感知网络模型，所述感知网络模型用于部署在车辆上，并在所述车辆行驶过程中对周围的待检测对象进行检测。
[0031]第二方面，本公开可选实现方式还提供一种样本生成装置，包括：
[0032]获取模块，用于获取驾驶场景中的至少一个场景图像；
[0033]第一生成模块，用于针对每个所述场景图像，对所述场景图像进行检测，生成用于指示待生成对象所处区域的二值图像，并确定所述场景图像对应的多种模态的条件信息，所述多种模态的条件信息用于指示待生成对象的对象信息，所述对象信息包括以下至少一种：类别、颜色、姿态和状态；
[0034]第二生成模块，用于基于所述多种模态的条件信息和所述二值图像，对所述场景图像进行处理，生成包含有待生成对象的样本图像，其中所述样本图像与所述场景图像之间除所述待生成对象所处区域之外的、其他区域相同。
[0035]第三方面，本公开提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器
之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的样本生成方法的步骤。
[0036]第四方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的样本生成方法的步骤。
[0037]关于上述装置、计算机设备及存储介质的效果描述参见上述样本生成方法的说明，这里不再赘述。
[0038]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开的技术方案。
[0039]本公开实施例提供的样本生成方法、装置、计算机设备及存储介质，针对获取到的每个场景图像，对场景图像进行检测，生成用于指示待生成对象所处区域的二值图像，并确定场景图像对应的多种模态的条件信息，多种模态的条件信息用于指示待生成对象的对象信息，对象信息包括以下至少一种：类别、语义、颜色、风格和状态；这里利用多种模态的条件信息指示待生成对象的对象信息，丰富了对象信息，以便后续可以基于多种模态的条件信息较准确的生成待生成对象，以及利用二值图像指示待生成对象的生成位置，对待生成对象的生成区域进行了约束，以便后续可以基于二值图像将生成的待生成对象放置在指示的图像区域内，得到符合要求的样本图像。
[0040]进一步的，本公开基于多种模态的条件信息和二值图像，对场景图像进行处理，较准确的生成包含有待生成对象的样本图像，其中样本图像中待生成对象本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种样本生成方法，其特征在于，包括：获取驾驶场景中的至少一个场景图像；针对每个所述场景图像，对所述场景图像进行检测，生成用于指示待生成对象所处区域的二值图像，并确定所述场景图像对应的多种模态的条件信息，所述多种模态的条件信息用于指示待生成对象的对象信息，所述对象信息包括以下至少一种：类别、颜色、姿态和状态；基于所述多种模态的条件信息和所述二值图像，对所述场景图像进行处理，生成包含有待生成对象的样本图像，其中所述样本图像与所述场景图像之间除所述待生成对象所处区域之外的、其他区域相同。2.根据权利要求1所述的方法，其特征在于，所述确定所述场景图像对应的多种模态的条件信息，包括：确定所述场景图像对应的待生成场景信息；根据所述待生成场景信息，从图像库中获取参考图像；根据所述待生成场景图像，确定目标关键词，并基于所述目标关键词生成文字描述信息；基于所述参考图像和所述文字描述信息，得到所述场景图像对应的多种模态的条件信息。3.根据权利要求1所述的方法，其特征在于，所述对所述场景图像进行检测，生成用于指示待生成对象所处区域的二值图像，包括：对所述场景图像进行语义分割，确定所述场景图像中各个候选对象的位置信息和类别信息；基于所述场景图像中所述各个候选对象的位置信息和类别信息，确定所述场景图像中车辆能够行驶的、且不存在障碍物的可行驶区域；基于所述可行驶区域和所述场景图像，生成用于指示待生成对象所处区域的二值图像。4.根据权利要求1所述的方法，其特征在于，所述基于所述多种模态的条件信息和所述二值图像，对所述场景图像进行处理，生成包含有所述待生成对象的样本图像，包括：对所述场景图像和所述二值图像进行特征提取，生成图像特征数据；分别对每种模态的条件信息进行语义特征提取，生成所述多种模态的条件信息分别对应的语义特征数据；并将所述多种模态的条件信息分别对应的语义特征数据进行加权编码处理，生成目标语义特征数据；利用所述目标语义特征数据，对所述图像特征数据进行处理，生成处理后图像特征数据；对所述处理后图像特征数据进行解码操作，生成包含有所述待生成对象的样本图像。5.根据权利要求1所述的方法，其特征在于，所述样本图像为利用训练得到的图像生成模型得到的，根据下述步骤训...
【专利技术属性】
技术研发人员：勾多多，
申请(专利权)人：北京集度科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。