本申请提供了一种有遮挡情况下屏幕变化的检测方法及装置，首先在任务场景中获取第一图像与第二图像；然后在第一图像与第二图像中获取屏幕区域并作透视变换得到第一目标屏幕图像以及第二目标屏幕图像；再利用分割算法分割第一目标屏幕图像和第二目标屏幕图像的被遮挡区域与未遮挡区域；最后在第一目标屏幕图像和第二目标屏幕图像中添加多个网格；并对未遮挡区域的网格内容进行变化检测，得到屏幕变化结果。通过对未遮挡区域的网格内容进行变化检测，当发生图像变化的网格数超过阈值时则认为屏幕发生变化，由此提高了有遮挡情况下屏幕变化检测的准确性。变化检测的准确性。变化检测的准确性。
【技术实现步骤摘要】
一种有遮挡情况下屏幕变化的检测方法及装置
[0001]本申请涉及屏幕检测
，尤其涉及一种有遮挡情况下屏幕变化的检测方法及装置。
技术介绍
[0002]随着社会的进步，银行的业务变得丰富多样，不再只是存取现金等简单业务，而是引入了类似于修改密码，人脸识别，身份证信息读取等安全验证措施以及理财产品等复杂业务，由此，出现了超级柜员机，它可以满足客户的大多数需要，只需要操作超级柜员机便可进行银行业务的开展，大大提高了工作效率。在现有的银行超级柜员机操作场景中，由于银行工作人员代替客人操作超级柜员机属于违规行为，所以需要进行这种代客操作的检测，避免因流程操作不当导致的账户安全等问题。
[0003]现有技术中，常通过利用监控视频中的连续两帧图像中超级柜员机的屏幕变化情况确认是否出现违规的代客操作，但是当出现超级柜员机屏幕有部分遮挡的情况时，现有的技术手段就无法做出准确的屏幕变化检测，导致屏幕变化检测的准确性降低。
技术实现思路
[0004]基于此，本申请提出了一种有遮挡情况下屏幕变化的检测方法及装置，旨在提高有遮挡情况下屏幕变化检测的准确性。
[0005]为解决上述问题，本申请提供的技术方案如下：
[0006]一种有遮挡情况下屏幕变化的检测方法，所述方法包括：
[0007]获取第一图像与第二图像，其中，所述第一图像与第二图像是两帧连续的图像；
[0008]从所述第一图像与所述第二图像中截取屏幕区域并进行透视变换，得到第一目标屏幕图像以及第二目标屏幕图像；
[0009]利用分割算法识别所述第一目标屏幕图像和所述第二目标屏幕图像中的被遮挡区域与未遮挡区域；
[0010]在所述第一目标屏幕图像和第二目标屏幕图像中分别添加多个网格；
[0011]对所述第一目标屏幕图像和所述第二目标屏幕图像中未遮挡区域的网格进行变化检测；
[0012]判断变化网格数量或比例是否超过第一阈值，是则确定屏幕发生变化，否则确定屏幕未发生变化。
[0013]在一种可能的实现方式中，所述从所述第一图像与第二图像中获取屏幕区域并作透视变换得到第一目标屏幕图像以及第二目标屏幕图像包括：
[0014]利用检测算法或人工标注的方法从所述第一图像与所述第二图像中获取屏幕位置；
[0015]利用透视变换的方法将所述屏幕位置对应的屏幕区域变换为横向水平，纵向垂直的第一目标屏幕图像以及第二目标屏幕图像。
[0016]在一种可能的实现方式中，所述利用分割算法识别所述第一目标屏幕图像和第二目标屏幕图像的被遮挡区域与未遮挡区域包括：
[0017]利用基于深度学习的模型或基于传统办法的分割算法识别所述第一目标屏幕图像和第二目标屏幕图像的被遮挡区域与未遮挡区域。
[0018]在一种可能的实现方式中，所述利用分割算法识别所述第一目标屏幕图像和所述第二目标屏幕图像中的被遮挡区域与未遮挡区域包括：
[0019]利用分割算法识别所述第一目标屏幕图像和所述第二目标屏幕图像中的被遮挡区域；
[0020]将所述第一目标屏幕图像和第二目标屏幕图像的被遮挡区域取并集；
[0021]将取并集后的被遮挡区域回填至所述第一目标屏幕图像和第二目标屏幕图像中，得到未遮挡区域。
[0022]在一种可能的实现方式中，所述利用分割算法识别所述第一目标屏幕图像和第二目标屏幕图像的被遮挡区域与未遮挡区域前还包括：
[0023]对所述第一目标屏幕图像和第二目标屏幕图像进行形态学去噪。
[0024]在一种可能的实现方式中，所述对所述第一目标屏幕图像和第二目标屏幕图像中未遮挡区域的网格进行变化检测包括：
[0025]判断所述第一目标屏幕图像和所述第二目标屏幕图像中未遮挡区域的相同位置网格中包含的像素是否变化；
[0026]若网格内像素变化数量或比例超过第二阈值则认为该网格发生了变化，否则认为该网格未发生变化。
[0027]一种有遮挡情况下屏幕变化的检测装置，所述装置包括：
[0028]图像获取模块，用于获取第一图像与第二图像；其中，所述第一图像与所述第二图像是两帧连续的图像；
[0029]屏幕区域处理模块，用于从所述第一图像与第二图像中截取屏幕区域并进行透视变换，得到第一目标屏幕图像以及第二目标屏幕图像；
[0030]图像分割模块，用于利用分割算法识别所述第一目标屏幕图像和所述第二目标屏幕图像中的被遮挡区域与未遮挡区域；
[0031]网格添加模块，用于在所述第一目标屏幕图像和第二目标屏幕图像中分别添加多个网格；
[0032]网格变化检测模块，用于对所述第一目标屏幕图像和第二目标屏幕图像中未遮挡区域的网格进行变化检测；
[0033]判断模块，用于判断变化网格数量或比例是否超过第一阈值，是则确定屏幕发生变化，否则确定屏幕未发生变化。
[0034]在一种可能的实现方式中，所述图像分割模块包括：
[0035]识别单元，用于利用分割算法识别所述第一目标屏幕图像和第二目标屏幕图像中的被遮挡区域；
[0036]遮挡区域操作单元，用于将所述第一目标屏幕图像和第二目标屏幕图像的被遮挡区域取并集；
[0037]未遮挡区域确定单元，用于将所述取并集后的被遮挡区域回填至所述第一目标屏
幕图像和第二目标屏幕图像中，得到未遮挡区域。
[0038]一种有遮挡情况下屏幕变化的检测设备，所述设备包括：
[0039]存储器，用于存储所述有遮挡情况下屏幕变化的检测的指令或代码；
[0040]处理器，用于执行所述有遮挡情况下屏幕变化的检测的指令或代码，以实现上述的有遮挡情况下屏幕变化的检测方法。
[0041]一种计算机存储介质，所述计算机存储介质中存储有代码，当所述代码被运行时，运行所述代码的设备实现权利要求1
‑
6任意一项所述的有遮挡情况下屏幕变化的检测方法。
[0042]相较于现有技术，本申请具有如下有益效果：
[0043]本申请首先在任务场景中获取第一图像与第二图像，其中，第一图像与第二图像指的是两帧连续的图像；然后在第一图像与第二图像中获取屏幕区域并作透视变换得到第一目标屏幕图像以及第二目标屏幕图像；再利用分割算法分割第一目标屏幕图像和第二目标屏幕图像的被遮挡区域与未遮挡区域；最后在第一目标屏幕图像和第二目标屏幕图像中添加至少一个网格；并对未遮挡区域的网格内容进行变化检测，得到屏幕变化结果。
[0044]本申请通过对未遮挡区域的网格内容进行变化检测，当发生图像变化的网格数超过阈值时则认为屏幕发生变化，由此提高了有遮挡情况下屏幕变化检测的准确性。
附图说明
[0045]为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种有遮挡情况下屏幕变化的检测方法，其特征在于，所述方法包括：获取第一图像与第二图像，其中，所述第一图像与第二图像是两帧连续的图像；从所述第一图像与所述第二图像中截取屏幕区域并进行透视变换，得到第一目标屏幕图像以及第二目标屏幕图像；利用分割算法识别所述第一目标屏幕图像和所述第二目标屏幕图像中的被遮挡区域与未遮挡区域；在所述第一目标屏幕图像和第二目标屏幕图像中分别添加多个网格；对所述第一目标屏幕图像和所述第二目标屏幕图像中未遮挡区域的网格进行变化检测；判断变化网格数量或比例是否超过第一阈值，是则确定屏幕发生变化，否则确定屏幕未发生变化。2.根据权利要求1所述的方法，其特征在于，所述从所述第一图像与第二图像中获取屏幕区域并作透视变换得到第一目标屏幕图像以及第二目标屏幕图像包括：利用检测算法或人工标注的方法从所述第一图像与所述第二图像中获取屏幕位置；利用透视变换的方法将所述屏幕位置对应的屏幕区域变换为横向水平，纵向垂直的第一目标屏幕图像以及第二目标屏幕图像。3.根据权利要求1所述的方法，其特征在于，所述利用分割算法识别所述第一目标屏幕图像和第二目标屏幕图像的被遮挡区域与未遮挡区域包括：利用基于深度学习的模型或基于传统办法的分割算法识别所述第一目标屏幕图像和第二目标屏幕图像的被遮挡区域与未遮挡区域。4.根据权利要求1所述的方法，其特征在于，所述利用分割算法识别所述第一目标屏幕图像和所述第二目标屏幕图像中的被遮挡区域与未遮挡区域包括：利用分割算法识别所述第一目标屏幕图像和所述第二目标屏幕图像中的被遮挡区域；将所述第一目标屏幕图像和第二目标屏幕图像的被遮挡区域取并集；将取并集后的被遮挡区域回填至所述第一目标屏幕图像和第二目标屏幕图像中，得到未遮挡区域。5.根据权利要求1所述的方法，其特征在于，所述利用分割算法识别所述第一目标屏幕图像和第二目标屏幕图像的被遮挡区域与未遮挡区域前还包括：对所述第一目标屏幕图像和第二目标屏幕图像进行形态学去噪。6.根据权利要求1所述的方法，其特征在于，所述对所述第一目标屏幕图像和第二...
【专利技术属性】
技术研发人员：王青天，
申请(专利权)人：北京爱笔科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。