【技术实现步骤摘要】
本专利技术涉及图像生成，尤其涉及一种图像样本的生成方法、生成装置、电子设备和存储介质。
技术介绍
1、随着自动驾驶技术的发展，数据闭环成为自动驾驶技术中的关键。完整的数据闭环通常包括数据采集、数据回流、数据处理、数据标注、模型训练、测试验证这几个环节。对于大型车企来说，当前针对数据闭环采用软件和硬件结合的方式，设计自动触发的影子模式，通过将极其罕见的数据或困难数据筛选，上传至云端，以供算法工程师使用。这种模式下，新的罕见数据或困难样本会源源不断地被触发回传，从而形成一个完整的由数据驱动的迭代开发循环。然而，对于一些小型车企，由于难以由足够的数据资源来实现数据闭环，因此困难数据的挖掘成为小型车企面临的技术关键。例如，对于交通牌的数据样本来说，用于警告、限制等标识牌种类多种多样，且类别数量参差不齐。如限速5、限速35、禁止执行左转掉头等标识牌通常是极其少见的，因此这种情况会给算法识别标识牌来说带来极大的困难。
技术实现思路
1、本专利技术的目的旨在至少在一定程度上解决上述的技术问题之一。
2、为此，本专利技术的第一个目的在于提出一种方法，该方法通过对原始图像样本预处理，采用引导模型对原始图像样本提取引导特征，最后采用扩散模型基于预处理后的图像和提取的引导特征生成与原始图像样本同类的多个图像样本，实现基于较少的困难或罕见样本而生成多个图像样本，极大丰富了样本的多样性，降低数据标注的成本。
3、为达到上述目的，本专利技术第一方面实施例提出一种图像样本的生成方法，所述
4、根据本专利技术的一个实施例，所述预处理包括分割处理，且对所述原始图像样本分割处理，获取所述原始图像样本的背景图像包括：拟合所述原始图像样本中除背景区域外的目标区域；将所述目标区域进行遮挡处理，得到所述原始图像样本的背景图像。
5、根据本专利技术的一个实施例，所述拟合所述原始图像样本中除背景区域外的目标区域，包括：设置多个采样点，基于贝塞尔曲线拟合所述原始图像样本进行目标拟合；将每个采样点随机偏移，以在所述原始图像样本中拟合除适于不同目标形态的目标区域。
6、根据本专利技术的一个实施例，所述预处理包括加噪处理，且对所述原始图像样本进行加噪处理，得到所述原始图像样本的噪声图像，包括：预设对所述原始图像的加噪次数；在预设的加噪次数过程中，对所述原始图像样本进行加噪处理，其中所述加噪处理是在前一次加噪得到的加噪图像的基础上而进行；所述加噪处理包括增加噪声的在图像中的扩散程度和幅度。
7、根据本专利技术的一个实施例，所述基于引导模型对所述困难图像样本特征提取，生成用于引导识别的引导特征，包括：构建所述引导模型，其中所述引导模型包括clip预训练模型、ocr和class模型，所述clip模型被设置为冻结模型，所述ocr和class模型为被设置为动态模型；将所述困难样本输入至所述clip预训练模型，提取所述困难图像样本中的图像特征；将所述图像特征输入至所述ocr和class模型中进行抽象提取，生成用于引导识别的引导特征。
8、根据本专利技术的一个实施例，在将所述困难样本图像输入至苏搜狐clip预训练模型前，所述生成方法还包括：对所述困难图像样本增强处理，得到多个增强处理后的困难样本图像。
9、根据本专利技术的一个实施例，所述将所述背景图像、所述噪声图像和所述引导特征输入至扩散模型，生成多个与所述原始图像样本相关联的图像样本，包括：构建带有预训练模型的扩散模型；将所述背景图像、所述噪声图像和所述引导特征作为所述扩散模型的输入，并将所述扩散模型中的预训练模型的特征微调至所述引导特征；降低所述引导特征对所述扩散模型的参考系数，随机生成多个噪声，以得到预所述原始图像样本同类的目标图像样本。
10、为达到上述目的，本专利技术第二方面实施例提出一种图像样本的生成装置，所述生成装置包括：预处理单元，用于对所述原始图像预处理，获取所述原始图像的背景图像和噪声图像；提取单元，用于采集与所述原始图像样本有关的困难图像样本，并基于引导模型对所述困难图像样本特征提取，生成用于引导识别的引导特征；生成单元，用于将所述背景图像、所述噪声图像和所述引导特征输入至扩散模型，生成多个与所述原始图像样本相关联的目标图像样本。
11、为达到上述目的，本专利技术第三方面实施例提出一种电子设备，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本专利技术第一方面实施例所述的图像样本的生成方法。
12、为达到上述目的，本专利技术第四方面实施例提出的计算机可读存储介质，所述计算机程序被处理器执行时实现本专利技术第一方面实施例所述的图像样本的生成方法。
13、本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
本文档来自技高网...【技术保护点】
1.一种图像样本的生成方法，其特征在于，所述生成方法包括：
2.根据权利要求1所述的生成方法，其特征在于，所述预处理包括分割处理，且对所述原始图像样本分割处理，获取所述原始图像的背景图像包括：
3.根据权利要求2所述的生成方法，其特征在于，所述提取所述原始图像样本中除背景区域外的目标区域，包括：
4.根据权利要求2所述的生成方法，其特征在于，所述预处理包括加噪处理，且对所述原始图像样本进行加噪处理，得到所述原始图像样本的噪声图像，包括：
5.根据权利要求1所述的生成方法，其特征在于，所述基于引导模型对所述困难图像样本特征提取，生成用于引导识别的引导特征，包括：
6.根据权利要求5所述的生成方法，其特征在于，在将所述困难样本图像输入至所述CLIP预训练模型前，所述生成方法还包括：
7.根据权利要求1所述的生成方法，其特征在于，所述将所述背景图像、所述噪声图像和所述引导特征输入至扩散模型，生成多个与所述原始图像样本同类的图像样本，包括：
8.一种图像样本的生成装置，其特征在于，所述生成装置包括：>
9.一种电子设备，包括：
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的图像样本的生成方法。
...【技术特征摘要】
1.一种图像样本的生成方法，其特征在于，所述生成方法包括：
2.根据权利要求1所述的生成方法，其特征在于，所述预处理包括分割处理，且对所述原始图像样本分割处理，获取所述原始图像的背景图像包括：
3.根据权利要求2所述的生成方法，其特征在于，所述提取所述原始图像样本中除背景区域外的目标区域，包括：
4.根据权利要求2所述的生成方法，其特征在于，所述预处理包括加噪处理，且对所述原始图像样本进行加噪处理，得到所述原始图像样本的噪声图像，包括：
5.根据权利要求1所述的生成方法，其特征在于，所述基于引导模型对所述困难图像样本特征提取，生成用于引导识...
【专利技术属性】
技术研发人员：请求不公布姓名，王俊平，
申请(专利权)人：合众新能源汽车股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。