虚拟对象识别方法、装置、设备和计算机可读存储介质制造方法及图纸

本申请公开了一种虚拟对象识别方法、装置、设备和计算机可读存储介质，属于计算机视觉技术。可获取待识别视频，并确定待识别视频中待识别的虚拟对象；从待识别视频中提取相邻帧的第一图像和第二图像，第一图像包含虚拟对象的检测框；将第一图像和第二图像输入目标模型，得到第二图像中的虚拟对象的目标检测框；目标模型对所述第一图像中所述检测框内的虚拟对象的区域特征和所述第二图像的对象颜色特征进行增强表示并融合，以根据融合后的聚合特征矩阵预测所述第二图像中的虚拟对象的所述目标检测框；根据第二图像中的目标检测框，对待识别视频中的虚拟对象进行识别。以此，可提高对视频中的虚拟对象进行识别时的准确性。提高对视频中的虚拟对象进行识别时的准确性。提高对视频中的虚拟对象进行识别时的准确性。

【技术实现步骤摘要】
虚拟对象识别方法、装置、设备和计算机可读存储介质


[0001]本申请涉及计算机
，具体涉及一种虚拟对象识别方法、装置、设备和计算机可读存储介质。

技术介绍

[0002]随着网络技术的发展，各游戏开发平台推出了多种游戏，给用户带来了较高的娱乐体验。然而，在游戏判断机制中，如虚拟对象的动作判断、胜利判断、死亡判断、越线判断等，一般需要结合游戏世界中虚拟对象的轨迹位置而定，因此，需要先识别游戏画面中的虚拟对象，进而确定虚拟对象的轨迹和位置。相关技术在识别虚拟对象时，主要是通过相邻帧的游戏画面之间做图像亮度差值，并通过二值化来识别游戏画面中的虚拟对象。
[0003]在对现有技术的研究和实践过程中，本申请的专利技术人发现相关技术在识别虚拟对象时，由于虚拟对象在游戏画面中的多变性，这会影响对虚拟对象的识别准确性，如容易出现漏检或无法识别游戏画面中的虚拟对象，导致在识别虚拟对象时的效率和准确性较低。

技术实现思路

[0004]本申请实施例提供一种虚拟对象识别方法、装置、设备和计算机可读存储介质，可依序从每一图像帧中识别出虚拟对象并进行准确标注，提高对虚拟对象识别的准确性。
[0005]本申请实施例提供一种虚拟对象识别方法，包括：
[0006]获取待识别视频，并确定所述待识别视频中待识别的虚拟对象；
[0007]从所述待识别视频中提取相邻帧的第一图像和第二图像，所述第一图像包含所述虚拟对象的检测框；
[0008]将所述第一图像和第二图像输入目标模型，得到所述第二图像中的虚拟对象的目标检测框；
[0009]其中，所述目标模型对所述第一图像中所述检测框内的虚拟对象的区域特征和所述第二图像的对象颜色特征进行增强表示并融合，以根据融合后的聚合特征矩阵预测所述第二图像中的虚拟对象的所述目标检测框；
[0010]根据所述第二图像中的目标检测框，对所述待识别视频中的虚拟对象进行识别。
[0011]相应的，本申请实施例提供一种虚拟对象识别装置，包括：
[0012]获取单元，用于获取待识别视频，并确定所述待识别视频中待识别的虚拟对象；
[0013]提取单元，用于从所述待识别视频中提取相邻帧的第一图像和第二图像，所述第一图像包含所述虚拟对象的检测框；
[0014]识别单元，用于将所述第一图像和第二图像输入目标模型，得到所述第二图像中的虚拟对象的目标检测框；
[0015]其中，所述目标模型对所述第一图像中所述检测框内的虚拟对象的区域特征和所述第二图像的对象颜色特征进行增强表示并融合，以根据融合后的融合特征矩阵预测所述第二图像中的虚拟对象的所述目标检测框；
[0016]识别单元，用于根据所述第二图像中的目标检测框，对所述待识别视频中的虚拟对象进行识别。
[0017]在一些实施方式中，所述识别单元，还用于：
[0018]将所述第一图像和第二图像输入目标模型；
[0019]通过空间注意力机制从所述第一图像中提取虚拟对象的区域特征，得到区域特征矩阵；
[0020]通过空间注意力机制从所述第二图像中提取对象颜色特征，得到颜色特征矩阵；
[0021]将所述区域特征矩阵和所述颜色特征矩阵进行通道注意力增强表示并融合，得到聚合特征矩阵；
[0022]基于所述聚合特征矩阵，对所述第二图像中的虚拟对象的位置区域进行标注，得到目标检测框。
[0023]在一些实施方式中，所述识别单元，还用于：
[0024]对所述第二图像进行卷积处理，得到第二图像特征矩阵；
[0025]基于空间注意力机制从所述第二图像特征矩阵中确定颜色特征权重，并按照所述颜色特征权重对所述第二图像特征矩阵中的对象颜色特征进行注意力增强表示，得到颜色特征矩阵。
[0026]在一些实施方式中，所述识别单元，还用于：
[0027]基于空间注意力机制，从所述第二图像特征矩阵中的颜色特征确定初始颜色特征权重；
[0028]根据所述所述初始颜色特征权重对所述第二图像特征矩阵中的对象颜色特征进行初步增强表示，得到初始融合特征矩阵；
[0029]对所述初始融合特征矩阵进行卷积处理，得到初始颜色特征矩阵；
[0030]通过所述空间注意力机制对所述初始颜色特征矩阵中的颜色特征进行感知处理，并根据感知处理得到的目标颜色特征权重对所述初始融合特征矩阵中的对象颜色特征进行增强表示，得到目标融合特征矩阵；
[0031]对所述目标融合特征矩阵进行卷积处理，得到颜色特征矩阵。
[0032]在一些实施方式中，所述识别单元，还用于：
[0033]基于空间注意力机制，对所述第二图像特征矩阵进行卷积处理，得到第一卷积特征矩阵；
[0034]对所述第一卷积特征矩阵进行特征值规范化处理，并对规范化处理得到的初始特征值矩阵中的特征值进行局部响应归一化处理，得到目标特征值矩阵；
[0035]对所述目标特征值矩阵进行卷积处理，得到第二卷积特征矩阵；
[0036]对所述第二卷积特征矩阵中的颜色特征进行颜色权重分类，得到初始颜色特征权重。
[0037]在一些实施方式中，所述识别单元，还用于：
[0038]基于通道注意力机制对所述区域特征矩阵进行感知处理，得到第一通道权重，并根据所述第一通道权重对所述区域特征矩阵进行通道注意力增强表示，得到第一通道特征矩阵；
[0039]基于所述通道注意力机制对所述颜色特征矩阵中进行感知处理，得到第二通道权
重，并根据所述第二通道权重对所述颜色特征矩阵进行通道注意力增强表示，得到第二通道特征矩阵；
[0040]分别对所述第一通道特征矩阵和第二通道特征矩阵进行卷积处理，得到目标区域特征矩阵和目标颜色特征矩阵；
[0041]将所述目标区域特征矩阵与所述目标颜色特征矩阵在通道上进行融合，得到聚合特征矩阵。
[0042]在一些实施方式中，所述识别单元，还用于：
[0043]基于通道注意力机制，对所述颜色特征矩阵进行全连接处理，得到第一特征矩阵；
[0044]按照特征合规性，将所述第一特征矩阵中的部分特征值进行隐藏处理，得到第二特征矩阵；
[0045]通过激活函数对第二特征矩阵进行颜色权重整合，得到第二通道权重。
[0046]在一些实施方式中，所述虚拟对象识别装置还包括确定单元，用于：
[0047]对所述聚合特征矩阵进行全连接处理，得到目标特征矩阵；
[0048]对所述目标特征矩阵进行二分类处理，得到对象模态值；
[0049]根据所述对象模态值，对所述第二图像中对应的虚拟对象的位置区域进行标注，得到目标检测框。
[0050]在一些实施方式中，所述识别单元，还用于：
[0051]获取所述目标模型在通道注意力增强表示时的特征隐藏参数，并根据所述特征隐藏参数计算特征分类权重；
[0052]根据所述特征分类权重对所述目标特征矩阵进行加权处理，得到目标权重特征矩阵；
...

【技术保护点】

【技术特征摘要】
1.一种虚拟对象识别方法，其特征在于，包括：获取待识别视频，并确定所述待识别视频中待识别的虚拟对象；从所述待识别视频中提取相邻帧的第一图像和第二图像，所述第一图像包含所述虚拟对象的检测框；将所述第一图像和第二图像输入目标模型，得到所述第二图像中的虚拟对象的目标检测框；其中，所述目标模型对所述第一图像中所述检测框内的虚拟对象的区域特征和所述第二图像的对象颜色特征进行增强表示并融合，以根据融合后的聚合特征矩阵预测所述第二图像中的虚拟对象的所述目标检测框；根据所述第二图像中的目标检测框，对所述待识别视频中的虚拟对象进行识别。2.根据权利要求1所述的方法，其特征在于，所述将所述第一图像和第二图像输入目标模型，得到所述第二图像中的虚拟对象的目标检测框，包括：将所述第一图像和第二图像输入目标模型；通过空间注意力机制从所述第一图像中提取虚拟对象的区域特征，得到区域特征矩阵；通过所述空间注意力机制从所述第二图像中提取对象颜色特征，得到颜色特征矩阵；将所述区域特征矩阵和所述颜色特征矩阵进行通道注意力增强表示并融合，得到聚合特征矩阵；基于所述聚合特征矩阵，对所述第二图像中的虚拟对象的位置区域进行标注，得到目标检测框。3.根据权利要求2所述的方法，其特征在于，所述通过所述空间注意力机制从所述第二图像中提取对象颜色特征，得到颜色特征矩阵，包括：对所述第二图像进行卷积处理，得到第二图像特征矩阵；基于所述空间注意力机制从所述第二图像特征矩阵中确定颜色特征权重，并按照所述颜色特征权重对所述第二图像特征矩阵中的对象颜色特征进行注意力增强表示，得到颜色特征矩阵。4.根据权利要求3所述的方法，其特征在于，所述基于所述空间注意力机制从所述第二图像特征矩阵中确定颜色特征权重，并按照所述颜色特征权重对所述第二图像特征矩阵中的对象颜色特征进行注意力增强表示，得到颜色特征矩阵，包括：基于空间注意力机制，从所述第二图像特征矩阵中的颜色特征确定初始颜色特征权重；根据所述所述初始颜色特征权重对所述第二图像特征矩阵中的对象颜色特征进行初步增强表示，得到初始融合特征矩阵；对所述初始融合特征矩阵进行卷积处理，得到初始颜色特征矩阵；通过所述空间注意力机制对所述初始颜色特征矩阵中的颜色特征进行感知处理，并根据感知处理得到的目标颜色特征权重对所述初始融合特征矩阵中的对象颜色特征进行增强表示，得到目标融合特征矩阵；对所述目标融合特征矩阵进行卷积处理，得到颜色特征矩阵。5.根据权利要求4所述的方法，其特征在于，所述基于空间注意力机制，从所述第二图
像特征矩阵中的颜色特征确定初始颜色特征权重，包括：基于空间注意力机制，对所述第二图像特征矩阵进行卷积处理，得到第一卷积特征矩阵；对所述第一卷积特征矩阵进行特征值规范化处理，并对规范化处理得到的初始特征值矩阵中的特征值进行局部响应归一化处理，得到目标特征值矩阵；对所述目标特征值矩阵进行卷积处理，得到第二卷积特征矩阵；对所述第二卷积特征矩阵中的颜色特征进行颜色权重分类，得到初始颜色特征权重。6.根据权利要求2
‑
5任一项所述的方法，其特征在于，所述将所述区域特征矩阵和所述颜色特征矩阵进行通道注意力增强表示并融合，得到聚合特征矩阵，包括：基于通道注意力机制对所述区域特征矩阵进行感知处理，得到第一通道权重，并根据所述第一通道权重对所述区域特征矩阵进行通道注意力增强表示，得到第一通道特征矩阵；基于所述通道注意力机制对所述颜色特征矩阵中进行感知处理，得到第二通道权重，并根据所述第二通道权重对所述颜色特征矩阵进行通道注意力增强表示，得到第二通道特征矩阵；分别对所述第一通道特征矩阵和第二通道特征矩阵进行卷积处理，得到目标区域特征矩阵和目标颜色特征矩阵；将所述目标区域特征矩阵与所述目标颜色特征矩阵在通道上进行融合，得到聚合特征矩阵。7.根据权利要求6所述的方法，其特征在于，所述基于所述通道注意力机制对所述颜色特征矩阵中进行感知处理，得到第二通道权重，包括：基于通道注意力机制，对所述颜色特征矩阵进...

【专利技术属性】
技术研发人员：徐东，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：