一种基于眼动轨迹数据两步聚类的图像感兴趣区域提取方法和系统技术方案

本发明专利技术提供一种基于眼动数据两步聚类的图像感兴趣区域提取方法，包括预聚类阶段和聚类阶段；其中预聚类阶段旨在剔除眼动数据中的噪声点，输入测试图片上的多人眼动轨迹点数据，将每两人的轨迹点数据合并进行聚类，以点层面和类层面的识别标准对噪声点剔除，保留属于有效注视过程的眼动轨迹点。聚类阶段旨在从有效眼动轨迹点中提取感兴趣区域，以所有属于有效注视过程的眼动轨迹点作为输入，首先对点进行聚类，其中每一类代表一个感兴趣区域，中心代表感兴趣区域位置，类内点数则代表区域吸引注意力的多少。本发明专利技术通过两步聚类对多人轨迹点进行分析，所得感兴趣区域提取结果更加符合人类视觉注意模式，具有更好的稳定性和抗噪声干扰能力。

A Method and System of Image Region of Interest Extraction Based on Two-step Clustering of Eye Track Data

The invention provides an image region of interest extraction method based on two-step clustering of eye movement data, including pre-clustering stage and clustering stage. The pre-clustering stage aims at eliminating noise points in eye movement data, inputting multi-person eye movement trajectory points data on test pictures, merging trajectory points data of each two persons for clustering, and identifying noise points according to the criteria of point level and class level. Eliminate and retain the eye movement locus points which belong to the effective gaze process. Clustering stage aims to extract the region of interest from the effective eye movement trajectory points. With all the eye movement trajectory points which belong to the effective gaze process as input, the points are clustered first. Each class represents a region of interest, the center represents the location of the region of interest, and the intra-class points represent the attraction of the region. The multi-person trajectory points are analyzed by two-step clustering, and the result of region of interest extraction is more in line with human visual attention pattern, and has better stability and anti-noise interference ability.

【技术实现步骤摘要】
一种基于眼动轨迹数据两步聚类的图像感兴趣区域提取方法和系统
本专利技术涉及眼动数据分析领域，特别涉及一种基于眼动数据两步聚类的感兴趣区域提取方法和系统。
技术介绍
眼动仪可用于记录人眼处理视觉信息时的眼动特征，包括眼球位置、注视时长及注视位置等相关信息，随着眼动仪硬件及相关软件的智能化发展，眼动数据广泛应用于心理学、医学等学术研究领域和广告、网页优化等商业领域。其中，对眼动仪的应用热点之一在于通过用户的眼动数据分布特征找到用户对某一视觉目标的感兴趣区域。相应地，根据眼动轨迹数据提取图像感兴趣区域也成为眼动数据分析的研究重点之一。对眼动数据的分析需首先对原始的文本形式输出的眼动数据进行读取和显示。由于眼动仪以固定的频率对注视位置进行记录，人眼在一定时间内对于视觉目标的注视表现为分布在注视区域上的离散点集。因此，视觉目标上包含了较多注视点的位置即代表该区域吸引了较多的视觉注意，可视作观察者的感兴趣区域。目前，许多现有的图像感兴趣区域提取方法采取手动标注的方式，根据不同的应用场景对感兴趣区域进行形状随机的框选；或将图像分割为规则网格，以多个网格单元的组合定义一个感兴趣区域。这类方式对于由形状规则的内容组成的视觉目标较为有效，例如文本、脸部图像等。而当目标中包含不同形状、随机分布的内容时，如自然场景图像等，人工标注的方式则无法高效地完成感兴趣区域提取的任务，尤其是图像数量较多时，人工标注的方式需要耗费大量时间和人力。针对以上所述背景及问题，需要一种基于眼动轨迹数据的方法，能够从眼动仪采集的眼动轨迹数据中自动识别观察者感兴趣区域，且更加符合观察者的视觉注意行为模式。与上述传统方法不同，本专利技术提出的算法基于两步聚类，对多人眼动轨迹数据进行有效的去噪及聚类，最终以每个眼动数据类代表图像上观察者感兴趣的区域，即包含较多眼动注视点的区域。
技术实现思路
本专利技术的目的在于针对多人眼动轨迹数据，提出一种基于两步聚类的图像感兴趣区域提取的技术方案。本专利技术的技术方案提供一种基于眼动数据两步聚类的图像感兴趣区域提取方法，包括预聚类阶段和聚类阶段，所述预聚类阶段进行眼动数据噪声点的剔除，包含以下步骤：步骤1.1，读入测试图片上多个观察者产生的眼动轨迹点数据，假设有N个观察者浏览了该测试图片，则产生N组眼动轨迹点记录；步骤1.2，将每两个观察者的眼动轨迹点数据合并进行聚类，将其分为若干类；步骤1.3，基于上述聚类结果中的每个类进行噪声检测，并设定点层面及类层面噪声检测准则；步骤1.4，对图像上每两个观察者合并后的眼动轨迹点重复以上步骤1.2-1.3，得到剔除噪声后的预聚类结果，即属于有效注视过程的眼动轨迹点；所述聚类阶段进行感兴趣区域的提取，包含以下步骤：步骤2.1，合并所有经过噪声剔除的属于有效注视过程的眼动轨迹点为一个点集，步骤2.2，对合并后的点集进行聚类，经过聚类得到的眼动轨迹点类即可代表图像感兴趣区域，以聚类后每类的中心点代表感兴趣区域位置，类中点的数量代表感兴趣区域所吸引注意力的多少。进一步的，步骤1.1中对每个观察者n，其眼动轨迹点记录可表达为每个点空间坐标的集合如下：其中，In为观察者n所产生的眼动轨迹点数目。进一步的，步骤1.2中采用近邻传播聚类方法进行聚类，具体过程如下，步骤1.2.1，计算轨迹点间的相似度，构成相似度矩阵，其中相似度以负欧氏距离度量，以遵循两点距离越近，则相似度越高的原则；相似度计算公式如下：其中，s(i，j)为点i与点j的相似度，xi，yi，xj，yi分别为点i与点j的横纵坐标，Q为两个点集中注视点的总数目；对集合中每两个点计算相似度后构成相似度矩阵如下：此外，将相似度矩阵对角线上元素s(k，k)(k＝1，2，...，Q)，即自相似度，设为相同的值，代表每个点成为聚类中心的可能性相同；步骤1.2.2，基于局部相似度矩阵及近邻传播聚类的消息传递机制，在轨迹数据点间定义两类消息Responsibility和Availability，并将所有点的两类消息分别组成两个初始消息矩阵RQ×Q和AQ×Q；Responsibility为自数据点向候选中心点传递的消息，是数据点表达各个候选中心适合成为其中心的程度的消息，其初始值计算公式如下：其中，i代表第i个轨迹点，其取值为1，2，...，n；k代表作为候选中心点的第k个轨迹点，其取值为1，2，...，n；k′为除k外的其他候选中心点；R(i，k)为第i点向候选中心点k传递的消息，即Responsibility；Sim(i，k)为第i点与第k点的相似度；Sim(i，k′)则为第i点与除第k点外的其他候选中心点间的相似度；Availability为自候选中心向数据点传递的消息，是候选中心表达其对于成为各点中心的适合程度的消息，其初始值为0；步骤1.2.3，对两类消息分别更新如下：其中，i′代表除第i点和第k点外的其他轨迹点；A(i，k′)为自除第k点外的其他候选中心点向第i点传递的消息；R(i′，k)为除第i点外的其他数据点i′向候选中心点k传递的消息，i′≠i且i′≠k；步骤1.2.4，为去除来自其他点的Responsibility过大的影响，以不同的方式更新A(k，k)如下：步骤1.2.5，为避免可能出现的数值振荡，在更新后为所有新消息增加阻尼如下：R(i，k)＝(1-λ)R(i，k)+λrold(i，k)A(i，k)＝(1-λ)A(i，k)+λaold(i，k)其中，λ为阻尼系数，λ∈(0，1)；rold(i，k)与aold(i，k)分别为两类消息在前一次传递中的值；步骤1.2.6，重复以上步骤1.2.3-1.2.5，至矩阵R与前一次传递得到的矩阵Rold相等时则停止消息传递过程；步骤1.2.7，将以上步骤所得Responsibility矩阵与Availability矩阵相加得到矩阵E作为聚类的依据如下：步骤1.2.8，取矩阵E的对角线元素E(k，k)，若E(k，k)＞0，则对应的轨迹点即被选为聚类中心，其他非中心的轨迹点将会被分配至与其具有最大相似度的聚类中心点所代表的类中。进一步的，步骤1.3的具体实现方式如下，步骤1.3.1，计算每个点i与其所属类的中心点C的欧式距离D(i，C)，若满足以下条件：D(i，C)＞μ+fσ，则将该点i标记为噪声并剔除，其中，μ，σ分别为类中所有点与中心点间距离的平均值及标准差，f用于控制噪声检测的尺度；步骤1.3.2，计算每个类中的轨迹点的总时长，若时长满足以下条件：Dur＜100ms，则将该类整体标记为噪声，并整体剔除。进一步的，每个类中的轨迹点的总时长可结合眼动仪设备频率，通过点的数量进行判断。进一步的，步骤2.2中同样采用邻传播聚类方法进行聚类，具体实现方式和步骤1.2相同。本专利技术还提供一种基于眼动数据两步聚类的感兴趣区域提取系统，其特征在于：包括预聚类模块和聚类模块；所述预聚类模块用于进行眼动数据噪声点的剔除，包含以下子模块：眼动轨迹点数据读取子模块，用于读入测试图片上多个观察者产生的眼动轨迹点数据，假设有N个观察者浏览了该测试图片，则产生N组眼动轨迹点记录；眼动轨迹点数据合并及聚类子模块，用于将每两个观察者的眼动轨迹点数据合并进行聚类，将其分为若干类；噪声检测子模块，用于基于上述聚类结果中的每个类进行噪声本文档来自技高网...

【技术保护点】
1.一种基于眼动数据两步聚类的感兴趣区域提取方法，其特征在于：包括预聚类阶段和聚类阶段；所述预聚类阶段进行眼动数据噪声点的剔除，包含以下步骤：步骤1.1，读入测试图片上多个观察者产生的眼动轨迹点数据，假设有N个观察者浏览了该测试图片，则产生N组眼动轨迹点记录；步骤1.2，将每两个观察者的眼动轨迹点数据合并进行聚类，将其分为若干类；步骤1.3，基于上述聚类结果中的每个类进行噪声检测，并设定点层面及类层面噪声检测准则；步骤1.4，对图像上每两个观察者合并后的眼动轨迹点重复以上步骤1.2‑1.3，得到剔除噪声后的预聚类结果，即属于有效注视过程的眼动轨迹点；所述聚类阶段进行感兴趣区域的提取，包含以下步骤：步骤2.1，合并所有经过噪声剔除的属于有效注视过程的眼动轨迹点为一个点集，步骤2.2，对合并后的点集进行聚类，经过聚类得到的眼动轨迹点类即可代表图像感兴趣区域，以聚类后每类的中心点代表感兴趣区域位置，类中点的数量代表感兴趣区域所吸引注意力的多少。

【技术特征摘要】
1.一种基于眼动数据两步聚类的感兴趣区域提取方法，其特征在于：包括预聚类阶段和聚类阶段；所述预聚类阶段进行眼动数据噪声点的剔除，包含以下步骤：步骤1.1，读入测试图片上多个观察者产生的眼动轨迹点数据，假设有N个观察者浏览了该测试图片，则产生N组眼动轨迹点记录；步骤1.2，将每两个观察者的眼动轨迹点数据合并进行聚类，将其分为若干类；步骤1.3，基于上述聚类结果中的每个类进行噪声检测，并设定点层面及类层面噪声检测准则；步骤1.4，对图像上每两个观察者合并后的眼动轨迹点重复以上步骤1.2-1.3，得到剔除噪声后的预聚类结果，即属于有效注视过程的眼动轨迹点；所述聚类阶段进行感兴趣区域的提取，包含以下步骤：步骤2.1，合并所有经过噪声剔除的属于有效注视过程的眼动轨迹点为一个点集，步骤2.2，对合并后的点集进行聚类，经过聚类得到的眼动轨迹点类即可代表图像感兴趣区域，以聚类后每类的中心点代表感兴趣区域位置，类中点的数量代表感兴趣区域所吸引注意力的多少。2.如权利要求1所述的一种基于眼动数据两步聚类的感兴趣区域提取方法，其特征在于：步骤1.1中对每个观察者n，其眼动轨迹点记录可表达为每个点空间坐标的集合如下：其中，In为观察者n所产生的眼动轨迹点数目。3.如权利要求2所述的一种基于眼动数据两步聚类的感兴趣区域提取方法，其特征在于：步骤1.2中采用近邻传播聚类方法进行聚类，具体过程如下，步骤1.2.1，计算轨迹点间的相似度，构成相似度矩阵，其中相似度以负欧氏距离度量，以遵循两点距离越近，则相似度越高的原则；相似度计算公式如下：其中，s(i，j)为点i与点j的相似度，xi，yi，xj，yj分别为点i与点j的横纵坐标，Q为两个点集中注视点的总数目；对集合中每两个点计算相似度后构成相似度矩阵如下：此外，将相似度矩阵对角线上元素s(k，k)(k＝1，2，...，Q)，即自相似度，设为相同的值，代表每个点成为聚类中心的可能性相同；步骤1.2.2，基于局部相似度矩阵及近邻传播聚类的消息传递机制，在轨迹数据点间定义两类消息Responsibility和Availability，并将所有点的两类消息分别组成两个初始消息矩阵RQ×Q和AQ×Q；Responsibility为自数据点向候选中心点传递的消息，是数据点表达各个候选中心适合成为其中心的程度的消息，其初始值计算公式如下：其中，i代表第i个轨迹点，其取值为1，2，...，n；k代表作为候选中心点的第k个轨迹点，其取值为1，2，...，n；k′为除k外的其他候选中心点；R(i，k)为第i点向候选中心点k传递的消息，即Responsibility；Sim(i,k)为第i点与第k点的相似度；Sim(i，k′)则为第i点与除第k点外的其他候选中心点间的相似度；Availability为自候选中心向数据点传递的消息，是候选中心表达其对于成为各点中心的适合程度的消息，其初始值为0；步骤1.2.3，对两类消息分别更新如下：其中，i′代表除第i点和第k点外的其他轨迹点；A(i，k′)为自除第k点外的其他候选中心点向第i点传递的消息；R(i′，k)为除第i点外的其他数据点i′向候选中心点k传递的消息，i′≠i且i′≠k；步骤1.2.4，为去除来自其他点的Responsibility过大的影响，以不同的方式更新A(k，k)如下：步骤1.2.5，为避免可能出现的数值振荡，在更新后为所有新消息增加阻尼如下：R(i，k)＝(1-λ)R(i，k)+λrold(i，k)A(i，k)＝(1-λ)A(i，k)+λaold(i，k)其中，λ为阻尼系数，λ∈(0，1)；rold(i，k)与aold(i，k)分别为两类消息在前一次传递中的值；步骤1.2.6，重复以上步骤1.2.3-1.2.5，至矩阵R与前一次传递得到的矩阵Rold相等时则停止消息传递过程；步骤1.2.7，将以上步骤所得Responsibility矩阵与Availability矩阵相加得到矩阵E作为聚类的依据如下：步骤1.2.8，取矩阵E的对角线元素E(k，k)，若E(k，k)＞0，则对应的轨迹点即被选为聚类中心，其他非中心的轨迹点将会被分配至与其具有最大相似度的聚类中心点所代表的类中。4.如权利要求1所述的一种基于眼动数据两步聚类的感兴趣区域提取方法，其特征在于：步骤1.3的具体实现方式如下，步骤1.3.1，计算每个点i与其所属类的中心点C的欧式距离D(i，C)，若满足以下条件：D(i，C)＞μ+fσ，则将该点i标记为噪声并剔除，其中，μ，σ分别为类中所有点与中心点间距离的平均值及标准差，f用于控制噪声检测的尺度；步骤1.3.2，计算每个类中的轨迹点的总时长，若时长满足以下条件：Dur＜100ms，则将该类整体标记为噪声，并整体剔除。5.如权利要求4所述的一种基于眼动数据两步聚类的感兴趣区域提取方法，其特征在于：每个类中的轨迹点的总时长可结合眼动仪设备频率，通过点的数量进行判断。6.如权利要求3所述的一种基于眼动数据两步聚类的感兴趣区域提取方法，其特征在于：步骤2.2中同样采...

【专利技术属性】
技术研发人员：陈震中，张滢雪，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42