一种支持可变时长的视觉注意力动态预测方法和系统技术方案

本发明专利技术公开了一种支持可变时长的视觉注意力动态预测方法和系统，包括：(1)采集多年龄段用户注视静态图像的注视点状态图序列；(2)对静态图像进行特征拆分和合并得到低分辨率图，进而得到其对应的高分辨率图；(3)基于注视点状态图确定注视点遮罩，将注视点状态图的注视点遮罩位置替换为高分辨图，其余位置替换为低分辨率图，以得到注视点增强的动态视觉注视点序列；(4)采用动态视觉注视点序列和静态图像对包含生成器和鉴别器的GAIL模型进行训练以优化模型参数；(5)利用生成器预测输出待测静态图像的视觉注视点图像序列；(6)将视觉注视点图像序列融合成标注有视觉注意力的视频，该方法有效地表示人类连续动态发生的眼动。该方法有效地表示人类连续动态发生的眼动。该方法有效地表示人类连续动态发生的眼动。

【技术实现步骤摘要】
一种支持可变时长的视觉注意力动态预测方法和系统


[0001]本专利技术涉及计算机视觉
，具体涉及一种支持可变时长的视觉注意力动态预测方法和系统。

技术介绍

[0002]在视觉注意力预测结果的可视化方面，现有关于静态图像的视觉注意力预测结果表示均为静态，例如CN101493890B的中国专利技术专利提出了基于特征的动态视觉注意区域提取方法，该方法将一段时长的视觉注意分布利用有效编码原理，为图片上每个特征衡量增量编码长度指标，连续的采样，从而不同帧的数据可以一起指导显著度的处理。但是最终显示结果仍以静态预测图表现，没有考虑真实人眼的视觉注意是连续动态随时间变化且前后连贯，没有做出可变时长的动态预测。
[0003]在视觉注意力评估人群方面，现有的视觉注意力预测技术所用数据集多为单一人群，未细分用户且预测结果唯一。例如CN114170537A的中国专利技术专利通过构建多模态模型得出固定视觉兴趣区域，单一结果视觉注意力预测结果并没有考虑人的个体差异，热点图区域代表一个用户结果，未在研究人群方面做出一定细分，也没有展现不同用户之间的差异，无法模拟个体差异。例如CN114092900A的中国专利技术专利公开了一种驾驶员视觉注意力预测方法，针对驾驶场景中驾驶员这一单一群体用户进行视觉注意力预测，再如CN111951637A的中国专利技术专利公开了一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，针对无人机飞行员进行视觉注意力预测，涵盖人群单一，同一用户群体的个体未做区分，预测结果固定唯一。
专利技术内容
[0004]鉴于上述，本专利技术的目的是提供一种支持可变时长的视觉注意力动态预测方法和系统，通过预测用户注视点的动态变化，并将动态变化融合形成视频进行可视化呈现。
[0005]为实现上述专利技术目的，实施例提供的一种支持可变时长的视觉注意力动态预测方法，包括以下步骤：
[0006]步骤1，采集多年龄段用户注视静态图像的注视点状态图序列；
[0007]步骤2，对静态图像进行特征拆分和合并得到低分辨率图，基于低分辨率图得到对应的高分辨率图；
[0008]步骤3，基于注视点状态图确定注视点遮罩，将注视点状态图的注视点遮罩位置替换为高分辨图，其余位置替换为低分辨率图，以得到注视点增强的动态视觉注视点序列；
[0009]步骤4，采用动态视觉注视点序列和静态图像对包含生成器和鉴别器的GAIL模型进行训练以优化模型参数；
[0010]步骤5，将待预测的静态图像输入至参数优化的生成器中，利用生成器预测输出表示视觉注意力的视觉注视点图像序列；
[0011]步骤6，根据用户指定的可变时长，将视觉注视点图像序列融合成标注有视觉注意
力的视频。
[0012]优选地，步骤1中，首先根据年龄阶段对用户群体进行细分，并将采用眼动仪记录用户在不同任务驱动下的动态眼动数据，即得到的注视点状态图序列。
[0013]优选地，在采集注视点状态图序列时，图像与图像之间留有至少5s的空白时间，以避免对原先注意过的物体或者位置存在反应上的延迟。
[0014]优选地，步骤2中，将静态图像在颜色、强度和方向三个维度特征上分解后，将三个维度特征进行叠加得到低分辨率图。
[0015]优选地，步骤2中，采用超分辨率重建算法SRCNN将低分辨率图转换为对应的高分辨率图。
[0016]优选地，步骤3中，所述基于注视点状态图确定注视点遮罩，包括：将注视点状态图在空间离散为网格，将注视点所在网格作为注视点遮罩；
[0017]步骤3中，采用以下公式得到注视点增强的动态视觉注视点序列：
[0018]B
t+1
＝M
t
⊙
H+(1
‑
M
t
)
⊙
B
t
[0019]B0＝L
[0020]其中，B
t
和B
t+1
分辨表示第t个和第t+1个注视点状态图，L表示低分辨率图，B0表示初始注视点状态图，H表示高分辨率图，M
t
表示根据第t个注视点状态图确定的注视点遮罩，
⊙
符号表示哈达玛积。
[0021]优选地，GAIL模型中，生成器接收静态图像并生成预测的视觉注视点图像序列，输入的静态图像作为状态，预测的视觉注视点图像序列作为预测动作，针对静态图像采集的注视点状态图序列作为真实动作，状态与预测动作形成假数据，状态与真实动作形成真数据，判别器接收假数据和真数据并输出对假数据和真数据的辨别结果，每次鉴别器做出错误判别时，生成器的假数据都会得到奖励，使假数据更有可能在将来生成。
[0022]优选地，步骤6中，当视觉注视点图像序列包含T个视觉注视点图像，用户指定的可变时长为S时，根据可变时长和预设帧率计算融合所需帧数F，融合第0个视觉注视点图像至T
‑
F个视觉注视点图像为一帧，融合第1视觉注视点图像至第T
‑
F+1为个视觉注视点图像一帧，以此类推，直至第F个视觉注视点图像至第T个视觉注视点图像融合为最后一帧，且注视点采用圆形散点可视化，合成帧数为F、时长为S的视频画面。
[0023]为实现上述专利技术目的，实施例还提供了一种支持可变时长的视觉注意力动态预测系统，包括前端显示器和后端服务器，其中，前端显示器利用electron和react技术完成桌面应用配置，后端服务器存储有上述支持可变时长的视觉注意力动态预测方法构建的参数优化的GAIL模型；
[0024]后端服务器接收用户输入的静态图像，调用参数优化的GAIL模型，利用参数优化的生成器预测输出表示视觉注意力的视觉注视点图像序列；然后根据用户指定的可变时长，将视觉注视点图像序列融合成标注有视觉注意力的视频；
[0025]前端显示器对标注有视觉注意力的视频进行可视化呈现。
[0026]与现有技术相比，本专利技术具有的有益效果至少包括：
[0027]在构建样本数据时，基于不同用户群体和不同用户差异化构建样本数据，在此基础上进行训练得到可用的视觉注意力模型，实现用户年龄层的细分和个体之间差异扰动的预测，更能准确预测个体与群体的视觉注意力变化及其差异化表示。
[0028]在对表征注意力的注视点预测时，考虑了时间维度，预测的视觉注视点图像序列，更能有效表示人类连续动态发生的注视点运动。
附图说明
[0029]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
[0030]图1是实施例提供的支持可变时长的视觉注意力动态预测方法的流程图；
[0031]图2是实施例提供的GAIL样本数据的构建示意图；
[0032]图3是实施例提供的GAIL模型的训练示意图。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种支持可变时长的视觉注意力动态预测方法，其特征在于，包括以下步骤：步骤1，采集多年龄段用户注视静态图像的注视点状态图序列；步骤2，对静态图像进行特征拆分和合并得到低分辨率图，基于低分辨率图得到对应的高分辨率图；步骤3，基于注视点状态图确定注视点遮罩，将注视点状态图的注视点遮罩位置替换为高分辨图，其余位置替换为低分辨率图，以得到注视点增强的动态视觉注视点序列；步骤4，采用动态视觉注视点序列和静态图像对包含生成器和鉴别器的GAIL模型进行训练以优化模型参数；步骤5，将待预测的静态图像输入至参数优化的生成器中，利用生成器预测输出表示视觉注意力的视觉注视点图像序列；步骤6，根据用户指定的可变时长，将视觉注视点图像序列融合成标注有视觉注意力的视频。2.根据权利要求1所述的支持可变时长的视觉注意力动态预测方法，其特征在于，步骤1中，首先根据年龄阶段对用户群体进行细分，并将采用眼动仪记录用户在不同任务驱动下的动态眼动数据，即得到的注视点状态图序列。3.根据权利要求2所述的支持可变时长的视觉注意力动态预测方法，其特征在于，在采集注视点状态图序列时，图像与图像之间留有至少5s的空白时间，以避免对原先注意过的物体或者位置存在反应上的延迟。4.根据权利要求1所述的支持可变时长的视觉注意力动态预测方法，其特征在于，步骤2中，将静态图像在颜色、强度和方向三个维度特征上分解后，将三个维度特征进行叠加得到低分辨率图。5.根据权利要求1所述的支持可变时长的视觉注意力动态预测方法，其特征在于，步骤2中，采用超分辨率重建算法SRCNN将低分辨率图转换为对应的高分辨率图。6.根据权利要求1所述的支持可变时长的视觉注意力动态预测方法，其特征在于，步骤3中，所述基于注视点状态图确定注视点遮罩，包括：将注视点状态图在空间离散为网格，将注视点所在网格作为注视点遮罩；步骤3中，采用以下公式得到注视点增强的动态视觉注视点序列：B
t+1
＝M
t
⊙
H+(1
‑
M
t
)
⊙
B
t
...

【专利技术属性】
技术研发人员：厉向东，阴凯琳，
申请(专利权)人：浙江大学，
类型：发明
国别省市：