图像处理方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本申请提供了一种图像处理方法、装置、电子设备及计算机可读存储介质；涉及云技术领域中的大数据技术；方法包括：获取包括虚拟对象的虚拟场景的多个场景图像以及对应的动作，根据每个场景图像及对应的动作构建动作样本；根据动作对多个动作样本进行分类，并根据与每个类别的动作样本的数量负相关的采样概率进行采样处理，得到样本集；对样本集中的多个场景图像进行融合处理得到图像融合结果，对样本集中的多个动作进行融合处理得到动作融合结果，根据图像融合结果和动作融合结果构建融合动作样本；根据融合动作样本训练图像处理模型，并通过训练后的图像处理模型预测目标动作。通过本申请，能够提升预测出的目标动作的精度。

Image processing method, apparatus, electronic device and computer readable storage medium

【技术实现步骤摘要】
图像处理方法、装置、电子设备及计算机可读存储介质
本申请涉及人工智能和大数据技术，尤其涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。
技术介绍
人工智能(ArtificialIntelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。计算机视觉技术(ComputerVision，CV)是人工智能的一个重要分支，主要研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。动作预测涉及到计算机视觉技术以及云
中的大数据技术，主要通过模型对与特定的对象(如虚拟对象)相关的图像进行处理，从而预测对象所要执行的动作。在模型的训练阶段会获取多个类别的样本，但是，不同类别的样本往往存在数量不平衡的问题，即某个类别的样本的数量会远超其他类别，这会导致训练后的模型的输出更倾向于数量最多的类别，图像处理的效果差，预测出的动作的错误率高。针对于此，相关技术尚未提供有效的解决方案。
技术实现思路
本申请实施例提供一种图像处理方法、装置、电子设备及计算机可读存储介质，能够优化图像处理的效果，提升预测出的动作的精度。本申请实施例的技术方案是这样实现的：本申请实施例提供一种图像处理方法，包括：获取包括虚拟对象的虚拟场景的多个场景图像、以及在每个所述场景图像对应时刻控制所述虚拟对象执行的动作，根据每个所述场景图像及对应的动作构建动作样本；根据所述动作对多个所述动作样本进行分类，并根据与每个类别的动作样本的数量负相关的采样概率进行采样处理，得到样本集；对所述样本集中的多个所述场景图像进行融合处理得到图像融合结果，对所述样本集中的多个所述动作进行融合处理得到动作融合结果，根据所述图像融合结果和所述动作融合结果构建融合动作样本；根据所述融合动作样本训练图像处理模型，并通过训练后的所述图像处理模型预测目标动作。本申请实施例提供一种图像处理装置，包括：获取模块，用于获取包括虚拟对象的虚拟场景的多个场景图像、以及在每个所述场景图像对应时刻控制所述虚拟对象执行的动作，根据每个所述场景图像及对应的动作构建动作样本；采样模块，用于根据所述动作对多个所述动作样本进行分类，并根据与每个类别的动作样本的数量负相关的采样概率进行采样处理，得到样本集；融合模块，用于对所述样本集中的多个所述场景图像进行融合处理得到图像融合结果，对所述样本集中的多个所述动作进行融合处理得到动作融合结果，根据所述图像融合结果和所述动作融合结果构建融合动作样本；预测模块，用于根据所述融合动作样本训练图像处理模型，并通过训练后的所述图像处理模型预测目标动作。本申请实施例提供一种电子设备，包括：存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的图像处理方法。本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本申请实施例提供的图像处理方法。本申请实施例具有以下有益效果：在根据动作对构建的多个动作样本进行分类后，确定与每个类别的动作样本的数量负相关的采样概率，从而有更大机会将少数类的动作样本添加至样本集中，改善参与模型训练的不同类别的动作样本之间数量不平衡的情况；对采样得到的样本集中的多个场景图像和多个动作分别进行融合，得到新的融合动作样本，能够避免训练图像处理模型时出现过拟合的情况，提升图像处理的效果，即提升最终预测出的目标动作的精度。附图说明图1是本申请实施例提供的图像处理系统的一个架构示意图；图2是本申请实施例提供的终端设备的一个架构示意图；图3A是本申请实施例提供的图像处理方法的一个流程示意图；图3B是本申请实施例提供的图像处理方法的一个流程示意图；图3C是本申请实施例提供的图像处理方法的一个流程示意图；图4A是本申请实施例提供的虚拟场景的一个示意图；图4B是本申请实施例提供的虚拟场景的一个示意图；图4C是本申请实施例提供的虚拟场景的一个示意图；图5是本申请实施例提供的图像处理方法的一个流程示意图；图6是本申请实施例提供的轻量化模型中用于进行特征提取处理的部分的一个架构示意图。具体实施方式为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。在以下的描述中，所涉及的术语“多个”是指至少两个。除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。1)虚拟场景：指利用设备输出的区别于现实世界的虚拟场景，通过裸眼或设备的辅助能够形成对虚拟场景的视觉感知，例如通过显示屏幕输出的二维影像，通过立体投影、虚拟现实和增强现实技术等立体显示技术来输出的三维影像；此外，还可以通过各种可能的硬件形成听觉感知、触觉感知、嗅觉感知和运动感知等各种模拟现实世界的感知。值得说明的是，本申请实施例也可以延伸至现实场景，如现实中的车辆自动驾驶场景。2)虚拟对象：指虚拟场景中用于被控制以实现特定目的的对象，例如，虚拟对象可以是虚拟场景中进行交互的各种人和物的形象，或在虚拟场景中的可活动对象。该可活动对象可以是虚拟人物、虚拟动物、动漫人物等，也可以是在虚拟场景中显示的人物、动物、植物、油桶、墙壁、石块等。该虚拟对象还可以是该虚拟场景中的一个虚拟的用于代表用户的虚拟形象。例如，该虚拟对象可以是在虚拟场景中用于收集虚拟资源以获得积分的虚拟人物。虚拟场景中的虚拟对象的数量可以是预先设置的，也可以是根据加入互动的客户端的数量动态确定的。3)场景图像：对虚拟场景进行图像采集所得到的图像，场景图像可以包括全量场景或部分场景。其中，场景图像可以是以第三人称视角对虚拟场景进行观察得到的(可以包括虚拟对象在内)，也可以是以虚拟对象的第一人称视角所观察得到的。4)动作：虚拟场景中的虚拟对象可以执行的动作。在虚拟场景本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：/n获取包括虚拟对象的虚拟场景的多个场景图像、以及在每个所述场景图像对应时刻控制所述虚拟对象执行的动作，根据每个所述场景图像及对应的动作构建动作样本；/n根据所述动作对多个所述动作样本进行分类，并根据与每个类别的动作样本的数量负相关的采样概率进行采样处理，得到样本集；/n对所述样本集中的多个所述场景图像进行融合处理得到图像融合结果，对所述样本集中的多个所述动作进行融合处理得到动作融合结果，根据所述图像融合结果和所述动作融合结果构建融合动作样本；/n根据所述融合动作样本训练图像处理模型，并通过训练后的所述图像处理模型预测目标动作。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：
获取包括虚拟对象的虚拟场景的多个场景图像、以及在每个所述场景图像对应时刻控制所述虚拟对象执行的动作，根据每个所述场景图像及对应的动作构建动作样本；
根据所述动作对多个所述动作样本进行分类，并根据与每个类别的动作样本的数量负相关的采样概率进行采样处理，得到样本集；
对所述样本集中的多个所述场景图像进行融合处理得到图像融合结果，对所述样本集中的多个所述动作进行融合处理得到动作融合结果，根据所述图像融合结果和所述动作融合结果构建融合动作样本；
根据所述融合动作样本训练图像处理模型，并通过训练后的所述图像处理模型预测目标动作。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
针对任意一个类别的动作样本，执行以下处理：
将所述动作样本的总数量除以所述虚拟场景中动作的类别数量，得到类别平均数量；
将所述类别平均数量除以所述任意一个类别的动作样本的数量，得到所述任意一个类别的动作样本的采样权重；
对所述任意一个类别的动作样本的采样权重进行归一化处理，得到所述任意一个类别的动作样本的采样概率。


3.根据权利要求2所述的方法，其特征在于，所述对所述任意一个类别的动作样本的采样权重进行归一化处理之前，还包括：
将所述任意一个类别的动作样本的采样权重与设定权重进行相加处理，得到新的采样权重；
其中，不同的所述动作样本对应的设定权重相同。


4.根据权利要求2所述的方法，其特征在于，所述对所述任意一个类别的动作样本的采样权重进行归一化处理，得到所述任意一个类别的动作样本的采样概率，包括：
将多个所述动作样本的采样权重的和，作为总采样权重；
将所述任意一个类别的动作样本的采样权重除以所述总采样权重，得到所述任意一个类别的动作样本的采样概率。


5.根据权利要求1至4任一项所述的方法，其特征在于，
所述对所述样本集中的多个所述场景图像进行融合处理得到图像融合结果，包括：
通过所述图像处理模型对所述样本集中的所述场景图像进行特征提取处理，得到图像特征；
根据所述样本集中的多个所述场景图像分别对应的融合权重，对所述样本集中的多个所述场景图像分别对应的图像特征进行加权处理，得到图像融合结果；
所述对所述样本集中的多个所述动作进行融合处理得到动作融合结果，包括：
根据所述样本集中的多个所述场景图像分别对应的融合权重，对所述样本集中的多个所述动作的向量进行加权处理，得到动作融合结果。


6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
构建维度与所述虚拟场景中动作的类别数量相同的初始向量；
将所述初始向量中与任意一个动作的类别对应的数值更新为设定数值，并将所述初始向量中的其他数值更新为零，得到所述任意一个动作的向量；
其中，所述设定数值大于零；
所述通过训练后的所述图像处理模型预测目标动作，包括：
通过训练后的所述图像处理模型进行预测处理，得到目标向量；
将所述目标向量中最大的数值对应的动作，作为目标动作。


7.根据权利要求1至4任一项所述的方法，其特征在于，
用于预测所述目标动作的所述图像处理模型的数量包括多个；不同所述图像处理模型的模型结构不同；
所述根据与每个类别的动作样本的数量负相关的采样概率进行采样处理，得到样本集之后，还包括：
将多个所述样本集划分为训练样本集和测试样本集；其中，所述训练样本集用于训练每个所述图像处理模型；
所述通过训练后的所述图像处理模型预...

【专利技术属性】
技术研发人员：黄超，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44