基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置制造方法及图纸

本发明专利技术提供一种基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置，所述采集方法通过在多种类型的刺激材料中添加静态兴趣区和/或动态兴趣区，包括：采用一个或多个选框在静态的刺激材料中绘制一个或多个内容的静态兴趣区；将动态的刺激材料延时间轴分割多个关键帧，采用一个或多个选框在连续的多个关键帧中分别绘制一个或多个内容的帧兴趣区，将各关键帧中内容相同的帧兴趣区进行关联，得到一个或多个动态兴趣区；同时，将静态兴趣区和/或动态兴趣区按照设定顺序建立分析序列，以通过该分析序列在交互过程中的发生时段和/或频次分析操作者/参与者的行为模式。

【技术实现步骤摘要】
基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置
本专利技术涉及人机交互产品的源代码读取和识别，以及数据采集、处理及分析
，包括生理数据、眼动数据、行为数据和环境等数据的采集、处理与分析，尤其涉及一种基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置。
技术介绍
人机界面信息显示主要围绕界面的显示布局、显示格式及显示要素等，研究如何确保人机界面呈现的图形、表页、字符等信息是操作人员在执行任务中需要关注的，并保证其易于感知和理解。人机界面交互主要围绕界面的交互反馈、提示、响应时间等，研究如何确保人机界面各种类型控件及操作单元的交互满足操作人员高效、便捷、舒适的获取信息、执行操作控制的需求。人机交互产品研究过程中不仅仅关注传统上针对交互界面的设计或从系统的物理层面进行人因工效特点分析，而进一步的也将人、信息与物理系统的交互影响综合进行考虑，考虑整个系统的全生命周期人因研究。在实际的人机交互产品研究中，可将人机交互界面包含的电子交互平台、客户端应用程序、网页、图片和视频等，称为刺激材料。为了解操作者/参与者关于刺激材料的反应，并对刺激材料的功能性进行评价，就需要研究分析操作者/参与者与特定产品的交互行为，进一步判断刺激材料各部分内容、元素、构件是否符合操作者/参与者的使用习惯，是否与其能够实现最佳匹配，并达到了预期的结果。现有针对电子平台如网页或产品原型的研究多采用拍摄实验过程视频、屏幕截图、屏幕录制等技术记录操作者/参与者与刺激材料的交互行为，同时采用事后绘制兴趣区的方式对于记录的实验过程视频分析操作者/参与者与刺激材料内特定区域内容的交互情况。这种方式准确性较小、效率较低，且需要为实验采集的所有记录逐个绘制兴趣区，无法对操作者/参与者与刺激材料的交互行为进行准确高效的标记和分析。
技术实现思路
鉴于此，本专利技术实施例提供了一种基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置，以在操作者/参与者与刺激材料的交互过程中，建立更精确有效的兴趣区并记录交互数据，并进行更深层次的行为分析。本专利技术的技术方案如下：一方面，本专利技术提供一种基于人机交互界面区域自动识别技术的交互行为数据采集方法包括：获取刺激材料，所述刺激材料包括：网页、文本、图片、视频或产品原型；在所述刺激材料中绘制静态兴趣区和/或动态兴趣区，包括：采用一个或多个选框在静态的所述刺激材料中绘制一个或多个内容的静态兴趣区；将动态的所述刺激材料延时间轴分割多个关键帧，采用一个或多个所述选框在连续的多个关键帧中分别绘制一个或多个内容的帧兴趣区，将各关键帧中内容相同的所述帧兴趣区进行关联，得到一个或多个所述动态兴趣区；在不显示所述静态兴趣区和/或所述动态兴趣区的情况下，获取操作者/参与者与所述刺激材料交互过程中产生的交互数据；其中，所述交互过程包括所述操作者/参与者对所述刺激材料的视觉关注过程以及行为触发过程；所述交互数据包括：用于记录注视点坐标和注视时长的眼动数据、用于表现情绪变化的生理指标数据和/或用于记录交互动作的行为数据；根据所述交互数据中所述眼动数据和/或所述行为数据的产生的位置筛选出每个所述静态兴趣区和/或所述动态兴趣区对应的所述交互数据。在一些实施例中，所述基于人机交互界面区域自动识别技术的交互行为数据采集方法还包括：将所述静态兴趣区和/或所述动态兴趣区根据内容进行关联和分组，并对各组添加相应的标签。在一些实施例中，所述选框为矩形选框，通过确定所述选框左上角顶点与所述刺激材料左上角顶点的相对位置，并结合所述相对位置以及所述选框的长和宽标记所述选框。另一方面，本专利技术还提供一种基于人机交互界面区域自动识别技术的交互行为数据分析方法，包括：根据上述基于人机交互界面区域自动识别技术的交互行为数据采集方法，获取操作者/参与者与刺激材料交互过程中，各静态兴趣区和/或动态兴趣区对应的交互数据；回放所述操作者/参与者与所述刺激材料的交互过程，在所述刺激材料中沿时间轴同步可视化呈现所述交互数据；按照设定顺序添加多个静态兴趣区和/或动态兴趣区形成分析序列，若所述交互数据显示交互过程中包含按照所述分析序列进行的交互行为，标记并展示相应的交互时段和/或交互频次，以根据所述交互时段和/或所述交互频次反映所述操作者/参与者的行为模式。在一些实施例中，回放所述操作者/参与者与所述刺激材料的交互过程，在所述刺激材料中沿时间轴同步可视化呈现所述交互数据，包括单一分析形式和成组分析形式；所述单一分析形式为针对单个所述静态兴趣区和/或所述动态兴趣区产生的交互数据进行展示和分析；所述成组分析形式包括将多个所述静态兴趣区和/或所述动态兴趣区按照内容进行分组或添加标签，针对指定分组或指定标签的多个所述兴趣区进行批量展示和分析。在一些实施例中，在所述刺激材料中沿时间轴同步可视化呈现所述交互数据，包括：根据所述交互数据中的所述眼动数据，结合所述刺激材料形成注视热点图和/或注视轨迹图；将所述交互数据中的所述生理指标数据和所述行为数据按照对应的时间点标记在所述注视热点图和/或所述注视轨迹图中。在一些实施例中，回放所述操作者/参与者与所述刺激材料的交互过程，在所述刺激材料中沿时间轴同步可视化呈现所述交互数据，包括绝对分析形式和相对分析形式；所述绝对分析形式中，将所述刺激材料针对不同试次或不同操作者/参与者的交互过程按照实际时长进行回放和分析；所述相对分析形式中，将所述刺激材料针对不同试次或不同操作者/参与者的交互过程延展或收缩至同一时长进行回放和分析。在一些实施例中，标记相应的交互时段和/或交互频次，包括：建立与所述交互过程时长相同的进度条，利用设定颜色或图案将一个或多个所述交互时段沿时间轴标记在所述进度条中，并记录所述交互频次。另一方面，本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。另一方面，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。本专利技术的有益效果是，所述基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置，通过建立所述静态兴趣区和所述动态兴趣区，能够适应不同形态所述刺激材料，准确标记出需要评估和研究的部分或构件。同时，所述兴趣区交互行为数据的分析方法中，将所述静态兴趣区和所述动态兴趣区按照特定顺序确定所述分析序列，通过分析所述操作者/参与者是否按照所述分析序列进行交互以及按照所述分析序列进行交互的频次，用于评估所述刺激材料的结构和布局对于操作者/参与者一系列连贯行为的引导作用，反映所述刺激材料与所述受试者行为习惯的契合程度。本专利技术的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本专利技术的实践而获知。本专利技术的目的和本文档来自技高网...

【技术保护点】
1.一种基于人机交互界面区域自动识别技术的交互行为数据采集方法，其特征在于，包括：/n获取刺激材料，所述刺激材料包括：网页、文本、图片、视频或产品原型；/n在所述刺激材料中绘制静态兴趣区和/或动态兴趣区，包括：采用一个或多个选框在静态的所述刺激材料中绘制一个或多个内容的静态兴趣区；将动态的所述刺激材料延时间轴分割多个关键帧，采用一个或多个所述选框在连续的多个关键帧中分别绘制一个或多个内容的帧兴趣区，将各关键帧中内容相同的所述帧兴趣区进行关联，得到一个或多个所述动态兴趣区；在不显示所述静态兴趣区和/或所述动态兴趣区的情况下，获取操作者/参与者与所述刺激材料交互过程中产生的交互数据；其中，所述交互过程包括所述操作者/参与者对所述刺激材料的视觉关注过程以及行为触发过程；所述交互数据包括：用于记录注视点坐标和注视时长的眼动数据、用于表现情绪变化的生理指标数据和/或用于记录交互动作的行为数据；/n根据所述交互数据中所述眼动数据和/或所述行为数据的产生的位置筛选出每个所述静态兴趣区和/或所述动态兴趣区对应的所述交互数据。/n

【技术特征摘要】
1.一种基于人机交互界面区域自动识别技术的交互行为数据采集方法，其特征在于，包括：
获取刺激材料，所述刺激材料包括：网页、文本、图片、视频或产品原型；
在所述刺激材料中绘制静态兴趣区和/或动态兴趣区，包括：采用一个或多个选框在静态的所述刺激材料中绘制一个或多个内容的静态兴趣区；将动态的所述刺激材料延时间轴分割多个关键帧，采用一个或多个所述选框在连续的多个关键帧中分别绘制一个或多个内容的帧兴趣区，将各关键帧中内容相同的所述帧兴趣区进行关联，得到一个或多个所述动态兴趣区；在不显示所述静态兴趣区和/或所述动态兴趣区的情况下，获取操作者/参与者与所述刺激材料交互过程中产生的交互数据；其中，所述交互过程包括所述操作者/参与者对所述刺激材料的视觉关注过程以及行为触发过程；所述交互数据包括：用于记录注视点坐标和注视时长的眼动数据、用于表现情绪变化的生理指标数据和/或用于记录交互动作的行为数据；
根据所述交互数据中所述眼动数据和/或所述行为数据的产生的位置筛选出每个所述静态兴趣区和/或所述动态兴趣区对应的所述交互数据。


2.根据权利要求1所述的基于人机交互界面区域自动识别技术的交互行为数据采集方法，其特征在于，还包括：
将所述静态兴趣区和/或所述动态兴趣区根据内容进行关联和分组，并对各组添加相应的标签。


3.根据权利要求1所述的基于人机交互界面区域自动识别技术的交互行为数据采集方法，其特征在于，所述选框为矩形选框，通过确定所述选框左上角顶点与所述刺激材料左上角顶点的相对位置，并结合所述相对位置以及所述选框的长和宽标记所述选框。


4.一种基于人机交互界面区域自动识别技术的交互行为数据分析方法，其特征在于，包括：
根据权利要求1～3任意一项所述基于人机交互界面区域自动识别技术的交互行为数据采集方法，获取操作者/参与者与刺激材料交互过程中，各静态兴趣区和/或动态兴趣区对应的交互数据；
回放所述操作者/参与者与所述刺激材料的交互过程，在所述刺激材料中沿时间轴同步可视化呈现所述交互数据；
按照设定顺序添加多个静态兴趣区和/或动态兴趣区形成分析序列，若所述交互数据显示交互过程中包含按照所述分析序列进行的交互行为，标记并展示相应的交互时段和/或交互频次，以根据所述交互时段和/或所述交互频次反映所述...

【专利技术属性】
技术研发人员：赵起超，
申请(专利权)人：北京津发科技股份有限公司，
类型：发明
国别省市：北京;11