鼠标操作事件识别方法、装置、电子设备和可读介质制造方法及图纸

本公开的实施例公开了鼠标操作事件识别方法、装置、电子设备和可读介质。该方法的一具体实施方式包括：确定目标视频中的待检测帧图像和待检测帧图像对应的第一参考帧图像序列和第二参考帧图像序列；根据待检测帧图像、第一参考帧图像序列和第二参考帧图像序列，生成第一差异图像序列和第二差异图像序列；对第一参考帧图像序列、待检测帧图像、第二参考帧图像序列、第一差异图像序列和第二差异图像序列进行图像叠加，得到叠加后图像；将叠加后图像输入预先训练的鼠标操作事件识别模型，以生成待检测帧图像对应的鼠标操作事件。该实施方式实现了对视频中包含的鼠标对应的鼠标操作事件的有效且准确的识别。件的有效且准确的识别。件的有效且准确的识别。

【技术实现步骤摘要】
鼠标操作事件识别方法、装置、电子设备和可读介质


[0001]本公开的实施例涉及计算机
，具体涉及鼠标操作事件识别方法、装置、电子设备和可读介质。

技术介绍

[0002]鼠标操作事件识别是指对计算机操作过程中的、鼠标的一系列行为进行识别的一项技术。目前在进行鼠标操作事件识别时，通常采用的方式为：通过操作系统内置的鼠标事件监听接口，记录鼠标操作事件。
[0003]然而，专利技术人发现，当采用上述方式时，经常会存在如下技术问题：
[0004]第一，鼠标事件监听接口无法对视频中包含的鼠标对应的鼠标操作事件进行识别；
[0005]第二，鼠标在视频画面中对应的变化区域往往占比较小，采用直接对两帧图像求差异，以此来确定鼠标的变化特征的方式，数据处理量较大；
[0006]第三，鼠标往往对应多种操作类型，且不同的操作类型对应有不同的操作事件，仅记录鼠标包含的如按键或滚轮的状态，无法有效地表征鼠标的具体操作事件，导致训练得到的模型的预测精准度较差。
[0007]该
技术介绍
部分中所公开的以上信息仅用于增强对本专利技术构思本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种鼠标操作事件识别方法，包括：确定目标视频中的待检测帧图像和所述待检测帧图像对应的第一参考帧图像序列和第二参考帧图像序列，其中，所述目标视频为表征鼠标状态变化的视频，第一参考帧图像的帧序号小于所述待检测帧图像的帧序号，第二参考帧图像的帧序号大于所述待检测帧图像的帧序号；根据所述待检测帧图像、所述第一参考帧图像序列和所述第二参考帧图像序列，生成第一差异图像序列和第二差异图像序列，其中，第一差异图像表征所述待检测帧图像和第一参考帧图像之间的图像差异，第二差异图像表征所述待检测帧图像和第二参考帧图像之间的图像差异；对所述第一参考帧图像序列、所述待检测帧图像、所述第二参考帧图像序列、所述第一差异图像序列和所述第二差异图像序列进行图像叠加，得到叠加后图像；将所述叠加后图像输入预先训练的鼠标操作事件识别模型，以生成所述待检测帧图像对应的鼠标操作事件。2.根据权利要求1所述的方法，其中，所述根据所述待检测帧图像、所述第一参考帧图像序列和所述第二参考帧图像序列，生成第一差异图像序列和第二差异图像序列，包括：对于所述第一参考帧图像序列中的每个第一参考帧图像，执行以下第一处理步骤：确定所述第一参考帧图像在第一颜色通道下的子图像，与所述待检测帧图像在所述第一颜色通道下的子图像的图像差异，得到第一子差异图像；确定所述第一参考帧图像在第二颜色通道下的子图像，与所述待检测帧图像在所述第二颜色通道下的子图像的图像差异，得到第二子差异图像；确定所述第一参考帧图像在第三颜色通道下的子图像，与所述待检测帧图像在所述第三颜色通道下的子图像的图像差异，得到第三子差异图像；根据所述第一子差异图像、所述第二子差异图像和所述第三子差异图像，生成所述第一参考帧图像在所述第一差异图像序列中对应的第一差异图像。3.根据权利要求1所述的方法，其中，所述对所述第一参考帧图像序列、所述待检测帧图像、所述第二参考帧图像序列、所述第一差异图像序列和所述第二差异图像序列进行图像叠加，得到叠加后图像，包括：根据对应的帧序号的先后顺序，对所述第一参考帧图像序列、所述待检测帧图像和所述第二参考帧图像序列进行图像叠加，得到第一叠加后图像；根据对应的第一参考帧图像的帧序号或对应的第二参考帧图像的帧序号，对所述第一差异图像序列和所述第二差异图像序列进行图像叠加，得到第二叠加后图像；将所述第一叠加后图像和所述第二叠加后图像进行图像叠加，得到所述叠...

【专利技术属性】
技术研发人员：赵行，张世铎，庄子文，
申请(专利权)人：上海期智研究院，
类型：发明
国别省市：