使用引导信号来检测在图像中的感兴趣子图像区域制造技术

一种用于处理图像数据的示例设备包括：存储器，其被配置为存储图像；以及一个或多个处理器，其在电路中实现并且被配置为：处理图像以在图像中识别指示图像的一部分的引导信号，引导信号形成在该部分周围的边界并且具有根据与在该部分内的像素值的数学关系而定义的像素值，使得引导信号对于人类用户不是可感知的并且可由设备检测到；使用引导信号来确定图像的该部分；以及进一步处理该部分，以尝试检测该部分的一个或多个内容，而不尝试在图像的在该部分之外的部分中检测图像的一个或多个内容。内容。内容。

【技术实现步骤摘要】
【国外来华专利技术】使用引导信号来检测在图像中的感兴趣子图像区域
[0001]本申请要求享有于2021年3月30日递交的美国申请No.17/301,268以及于2020年9月1日递交的美国临时申请No.63/073,280的优先权，上述申请中的每份申请的全部内容通过引用的方式并入本文中。美国申请No.17/301,268要求享有于2020年9月1日递交的美国临时申请No.63/073,280的权益。


[0002]本公开内容涉及对图像数据的处理，包括对通过网络流式传输的静态图像数据和/或视频数据的处理。

技术介绍

[0003]许多技术可用于对图像的分析和理解。这些范围从图像和对象检测到水印和信息隐藏。一些应用需要对图像的子区域的分析。例如，被呈现给帧显示缓冲器的图像可以是由若干不同的分量组成的。例如，计算设备可以根据源自网页浏览器、视频数据和静态图像的三个分量来构造最终图像。
[0004]广告用于针对各种媒体流式操作产生收入。通常，广告主在其内容被递送给用户装置时被收费。广告欺诈是常见的数字广告问题。通常，当广告主在没有呈现广告的情况下被收费时，对广告主实施了欺诈。欺诈可能影响广告主的数百万或甚至数十亿美元的收入。
[0005]在验证数字广告的显示时的一个挑战是确认广告内容到达观看者。在网页内容的情况下，每点击付费模型是确认某种水平的用户交互的一种方法。然而，验证向用户显示了非交互式数字内容也是重要的。例如，内容可能被呈现在网页上，但是可能不是以可见方式显示的。第一示例是，内容可能“在折叠之下”，也就是说，尽管被递送给观看者，但是内容被呈现在网页的实际上未向观看者显示的区域中。在这样的情况下，广告主可能针对从未看过的内容而被收费。或者，内容可能被递送并且显示了，但是由于渲染而被模糊了。本申请的技术挑战是在较大图像(比如全显示缓冲器)的情况下识别感兴趣子图像的存在。
[0006]传统的图像分析技术对单个图像和视频进行操作，并且因此，隐含地假定了解感兴趣图像的区域的范围。如果仅处理子图像，则可以降低复杂度并且提高算法性能，即使当分析算法可能对整个图像进行操作时。在显示图像验证的一个示例中，对被放置在显示缓冲器中的合成图像进行验证。这提出了在合成图像内识别子图像的位置的挑战。
[0007]与在图像数据(比如静态图像数据和视频数据)中的数字广告相关的另一挑战是避免广告欺诈。通常，广告欺诈涉及非法方使得对所显示的广告过度计数，从而导致对广告主过度计费。
[0008]各种此类广告欺诈机制是可能的。一种欺诈机制是使用自动化软件，即“bots”。DrainerBot就是这种自动化软件的一个示例，被Oracle的Moat Analytics如此命名。在Drainerbot的示例中，在移动设备上运行的恶意应用将持续地将视频流式传输到设备，而不显示结果。根据来自Oracle发布的新闻稿：
[0009]Oracle今天宣布对“DrainerBot”的发现和针对其的缓解措施，“DrainerBot”是通
过受感染的消费者应用的数百万下载而散布的主要移动广告欺诈操作。受感染的应用可能每月消耗超过10GB的数据来下载隐藏的和看不见的视频广告，潜在地使每个设备所有者每年在数据超量费用方面花费100美元或更多。
[0010]DrainerBot是通过来自其Moat和Dyn收购的Oracle技术团队的共同努力发现的。现在作为Oracle数据云的一部分，Moat提供可见性、无效流量(IVT)和品牌安全解决方案，而Dyn实现DNS和安全能力作为Oracle云基础设施的一部分。
[0011]Oracle，“Oracle Exposes
‘
DrainerBot
’
Mobile Ad Fraud Operation(Oracle揭露
‘
DrainerBot
’
移动广告欺诈操作)”，新闻稿，加利福尼亚州红杉市，2019年2月20日，www.oracle.com/corporate/pressrelease/mobilebot
‑
fraud
‑
operation
‑
022019.html。
[0012]另一欺诈机制是：将由于在递送给显示器之前刚刚在客户端设备上发生的最终渲染而看不见的图像和视频递送给客户端。通常，图像可能未被包括在发送给显示器的区域中，或者可能被其它内容遮挡。这种效果的示例是通过在移动设备上浏览包括多个元素的网页而产生的。移动设备的定向可能导致对广告呈现的遮挡或其它中断。在一个示例中，移动设备可能处于纵向模式，其中所有子图像都是可见的。然而，当相同的移动设备被旋转到横向朝向时，页面可能基于新的朝向而被重新渲染。在横向渲染中，一个子图像可能遮挡包括广告的第二子图像的一部分。该示例说明页面的分量的实际可见性取决于渲染以及其它方面。
[0013]在交互式媒体中防止欺诈的一种传统技术是基于执行的“每点击付费”模型，所述模型要求用户“点击”以确认内容被看到。存在规避该技术的方法，比如刷单军团(click farm)。
[0014]用于验证广告可见性的其它传统解决方案限于在客户端设备上的网页浏览器或应用。针对可见性的标准是在网页浏览器中定义的，并且在客户端设备上的JavaScript可以评估这种可见性估计，并且向广告主提供关于这种可见性水平的反馈。例如，在以下文档中描述了“Moat”可见性系统的功能：Moat Analytics，“Description of Methodology”，s3.amazonaws.com/clients.assets/mrc_dom/MRC_DOM_11
‑
2014.pdf：
[0015]观看时曝光方法——Moat遵循用于对在观看时的曝光进行计数的IAB指南：对于显示广告，广告的50％或更多的像素必须在屏幕上可见达至少连续一秒。(根据IAB指南，“30％的像素”规则适用于在大小上至少为242,500个像素的广告，包括300x1050和970x250格式。)浏览器窗口必须是活动/焦点对准的，意味着浏览器未被最小化，并且页面不在背景选项卡中。如果浏览器与另一应用是并排的，则在浏览器中的页面仍然被视为是焦点对准的。
[0016]Moat在检查可见性时跟踪广告本身，而不是广告的容器。在极少数情况下，当富媒体广告包括多个单独资产时，Moat将替代地跟踪广告容器。
[0017]对于视频分析，Moat遵循用于视频可见曝光的IAB指南，并且要求播放器的至少50％的像素必须是在屏幕上可见的，页面必须是聚焦的，并且广告必须播放达至少连续两秒。
[0018]Moat采用使用JavaScript来确定广告的位置的位置测量技术以及采用专有浏览器
‑
资源技术，来确定广告是否是可见的。如果Moat标签位于页面上或在一个或多个相同域(“友好”)iframe内，则可见性是在包括移动浏览器的所有浏览器中测量的。如果标签位于本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种处理图像数据的方法，所述方法包括：处理图像以在所述图像中识别指示所述图像的一部分的引导信号，所述引导信号形成在所述部分周围的边界并且具有根据与在所述部分内的像素值的数学关系而定义的像素值，使得所述引导信号对于人类用户不是可感知的并且可由计算设备检测到；使用所述引导信号来确定所述图像的所述部分；以及进一步处理所述部分，以尝试检测所述部分的一个或多个内容，而不尝试在所述图像的在所述部分之外的部分中检测所述图像的所述一个或多个内容。2.根据权利要求1所述的方法，其中，处理所述图像以识别所述引导信号包括：确定降尺度因子D；确定测试缩放因子T；将核心值计算为等于1/(2*D*T)；以及进行以下操作中的至少一项：将行响应值计算为等于cos(2*pi*所述核心值*x)或者sin(2*pi*所述核心值*x)中的一项，其中，x表示行在所述图像中的位置；或者将列响应值计算为等于cos(2*pi*所述核心值*y)或者sin(2*pi*所述核心值*y)中的一项，其中，y表示列在所述图像中的位置。3.根据权利要求2所述的方法，还包括以下各项中的至少一项：根据以下等式来缩放所述行响应值f1(x)：或者根据以下等式来缩放所述列响应值f2(y)：其中，W包括所述图像的宽度，H包括所述图像的高度，并且M(y,x)包括所述图像。4.根据权利要求3所述的方法，还包括：接收一个或多个正交核心值K；以及进行以下操作中的至少一项操作：根据以下等式，使用所述正交核心值K来对经缩放的行响应值进行滤波：或者根据以下等式，使用所述正交核心值K来对经缩放的行响应值进行滤波：其中，length(K)包括在所述正交核心值K中的值的数量，并且其中，mod(a,b)包括返回从a除以b所得到的余数的模函数。5.根据权利要求4所述的方法，还包括计算幅度值，包括以下操作中的至少一项操作：根据以下等式来计算行幅度A
row
(y)：或者根据以下等式来计算列幅度A
column
(x)：
6.根据权利要求5所述的方法，还包括接收门限值T，以及确定以下各项中的至少一项：当A
row
(r)>T时，所述图像的行r包括所述引导信号的一部分；或者当A
column
(c)>T时，所述图像的列c包括所述引导信号的一部分。7.根据权利要求1所述的方法，其中，所述图像包括单色图像，还包括根据以下等式，从彩色图像形成所述单色图像：其中，M(y,x)包括所述单色图像的在位置(y,x)处的像素值，W(c)包括色彩权重值，image(y,x,c)包括在位置(y,x)处的所述彩色图像，并且针对色彩分量c，H包括所述彩色图像的高度，并且W包括所述彩色图像的宽度。8.根据权利要求1所述的方法，其中，处理所述图像以识别所述引导信号包括处理所述图像以识别所述引导信号的顶部行、所述引导信号的底部行、所述引导信号的左侧列和所述引导信号的右侧列。9.根据权利要求8所述的方法，其中，处理所述图像以识别所述引导信号包括：确定降尺度因子D；确定测试缩放因子T；将核心值计算为等于1/(2*D*T)；将顶部行响应值计算为等于cos(2*pi*所述核心值*x1)，其中，x1表示所述引导信号的所述顶部行在所述图像中的位置；将底部行响应值计算为等于sin(2*pi*所述核心值*x2)，其中，x2表示所述引导信号的所述底部行在所述图像中的位置；将左侧列响应值计算为等于cos(2*pi*所述核心值*y1)，其中，y1表示所述引导信号的所述左侧列在所述图像中的位置；以及将右侧列响应值计算为等于sin(2*pi*所述核心值*y2)，其中，y2表示所述引导信号的所述右侧列在所述图像中的位置。10.根据权利要求9所述的方法，其中，处理所述图像以识别所述引导信号包括：确定所述引导信号的所述顶部行位于对其而言所述顶部行响应值超过门限值的位置处；确定所述引导信号的所述底部行位于对其而言所述底部行响应值超过所述门限值的位置处；确定所述引导信号的所述左侧列位于对其而言所述左侧列响应值超过所述门限值的位置处；以及确定所述引导信号的所述右侧列位于对其而言所述右侧列响应值超过所述门限值的位置处。11.根据权利要求1所述的方法，其中，处理所述图像以识别所述引导信号包括：在第一检测阶段中，处理所述图像的行和列，以在所述图像的所述行或列中识别具有超过第一门限的频率响应值的第一对平行边界；在第二检测阶段中，处理所述图像的在所述第一对平行边界之间的部分的并且与所述第一对平行边界正交的行或列，以识别与所述第一对边界正交的、具有超过第二门限的频率响应值的第二对平行边界；以及确定所述引导信号包括所述第一对平行边界和所述第二对平行边界。
12.根据权利要求1所述的方法，其中，进一步处理所述部分包括检测在所述部分内的水印。13.根据权利要求12所述的方法，还包括：从所述水印中提取标识符；生成指示与所述标识符相关联的图像数据已经被呈现给用户的报告；以及将所述报告发送给报告服务器。14.根据权利要求1所述的方法，其中，所述图像的所述部分包括所述图像的感兴趣区域(ROI)。15.一种用于处理图像数据的设备，所述设备包括：存储器，其被配置为存储图像；以及一个或多个处理器，其在电路中实现并且被配置为：处理所述图像以在所述图像中识别指示所述图像的一部分的引导信号，所述引导信号形成在所述部分周围的边界并且具有根据与在所述部分内的像素值的数学关系而定义的像素值，使得所述引导信号对于人类用户不是可感知的并且可由计算设备检测到；使用所述引导信号来确定所述图像的所述部分；以及进一步处理所述部分，以尝试检测所述部分的一个或多个内容，而不尝试在所述图像的在所述部分之外的部分中检测所述图像的所述一个或多个内容。16.根据权利要求15所述的装置，其中，为了处理所述图像以识别所述引导信号，所述一个或多个处理器被配置为：确定降尺度因子D；确定测试缩放因子T；将核心值计算为等于1/(2*D*T)；以及进行以下操作中的至少一项：将行响应值计算为等于cos(2*pi*所述核心值*x)或者sin(2*pi*所述核心值*x)中的一项，其中，x表示行在所述图像中的位置；或者将列响应值计算为等于cos(2*pi*所述核心值*y)或者sin(2*pi*所述核心值*y)中的一项，其中，y表示列在所述图像中的位置。17.根据权利要求16所述的装置，其中，所述一个或多个处理器还被配置为：根据以下等式来缩放所述行响应值f1(x)：或者根据以下等式来缩放所述列响应值f2(y)：其中，W包括所述图像的宽度，H包括所述图像的高度，并且M(y,x)包括所述图像。18.根据权利要求17所述的装置，其中，所述一个或多个处理器还被配置为：接收一个或多个正交核心值K；以及进行以下操作中的至少一项操作：根据以下等式，使用所述正交核心值K来对经缩放的行响应值进行滤波：或者
根据以下等式，使用所述正交核心值K来对经缩放的行响应值进行滤波：其中，length(K)包括在所述正交核心值K中的值的数量，并且其中，mod(a,b)包括返回从a除以b所得到的余数的模函数。19.根据权利要求18所述的设备，其中，所述一个或多个处理器还被配置为根据以下各项中的至少一项来计算一个或多个幅度值：根据以下等式的行幅度A
row
(y)：或者根据以下等式的列幅度A
column
(x)：20.根据权利要求19所述的设备，其中，所述一个或多个处理器还被配置为接收门限值T，以及确定以下各项中的至少一项：当A
row
(r)>T时，所述图像的行r包括所述引导信号的一部分；或者当A
column
(c)>T时，所述图像的列c包括所述引导信号的一部分。21.根据权利要求15所述的设备，其中，所述图像包括单色图像，并且其中，所述一个或多个处理器还被配置为：根据以下等式，从彩色图像形成所述单色图像：其中，M(y,x)包括所述单色图像的在位置(y,x)处的像素值，W(c)包括色彩权重值，image(y,x,c)包括在位置(y,x)处的所述彩色图像，并且针对色彩分量c，H包括所述彩色图像的高度，并且W包括所述彩色图像的宽度。22.根据权利要求15所述的设备，其中，所述一个或多个处理器被配置为：处理所述图像以识别所述引导信号的顶部行、所述引导信号的底部行、所述引导信号的左侧列和所述引导信号的右侧列。23.根据权利要求22所述的设备，其中，为了处理所述图像以...

【专利技术属性】
技术研发人员：L，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：