信息收集方法、装置、系统、设备及存储介质制造方法及图纸

本公开关于一种信息收集方法、装置、系统、设备及存储介质，涉及数据识别技术领域，至少解决相关技术中存在的勘察经验收集效率低和勘察信息收集不完整的问题。该方法包括：根据眼动仪获取眼动数据和多媒体信息；根据眼动数据和多媒体信息，确定视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和目标设备信息；根据视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和所述目标设备信息，生成信息知识库。本公开通过获得完整的勘察过程，确定勘察过程中的视觉焦点及视觉焦点移动轨迹信息、目标场景信息和目标设备信息等重点信息，进而生成勘察经验的信息知识库，得到更加完善的勘察经验信息，有效提高了勘察经验收集的效率、准确性以及完整性。确性以及完整性。确性以及完整性。

【技术实现步骤摘要】
信息收集方法、装置、系统、设备及存储介质


[0001]本公开涉及数据识别
，尤其涉及一种信息收集方法、装置、系统、设备及存储介质。

技术介绍

[0002]相关技术中，勘察技能培训方法需要新员工学习相关指导手册并跟随专业人员多次到场学习。这种培训方式完全依赖于专业人员自主的经验积累。然而，专业人员在传授经验时，会无意间忽略某些习以为常的细节。此外，勘察对技能要求较高，即便是专业人员也很难用语言去准确、完整得描述他们在勘察中所运用的技能和经验，这就导致了新员工在接受技能培训时存在勘察经验收集效率低和勘察信息收集不完整等问题。

技术实现思路

[0003]本公开提供一种信息收集方法、装置、系统、设备及存储介质，以至少解决相关技术中勘察经验收集效率低和勘察信息收集不完整的问题。本公开的技术方案如下：
[0004]根据本公开的第一方面，提供一种信息收集方法，包括：根据眼动仪获取眼动数据和多媒体信息；根据眼动数据和多媒体信息，确定视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和目标设备信息；根据视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和目标设备信息，生成信息知识库。
[0005]在一种可能的实施方式中，根据眼动数据和多媒体信息，确定视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和目标设备信息，包括：根据眼动数据和多媒体信息，获取每个采样场景的注视数据；注视数据包括注视时间和注视点坐标；根据注视时间对多媒体信息进行抽帧，得到每个采样场景的视频帧；根据每个采样场景的满足预设筛选条件的视频帧，得到目标视频帧序列；根据目标视频帧序列，确定视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和目标设备信息。
[0006]另一种可能的实施方式中，根据每个采样场景的满足预设筛选条件的视频帧，得到目标视频帧序列，包括：获取每个采样场景的每个视频帧对应的图片；确定每两个相邻视频帧对应的图片的汉明距离；根据汉明距离小于预设汉明距离阈值的图片对应的视频帧，得到每个采样场景的视频帧序列；将连续时长大于预设连续时长阈值的视频帧序列，确定为目标视频帧序列。
[0007]另一种可能的实施方式中，根据目标视频帧序列，确定视觉焦点信息及视觉焦点移动轨迹信息，包括：获取每个目标视频帧序列的中间位置帧；根据中间位置帧和注视数据，得到标注有视觉焦点及视觉焦点移动轨迹的热力图；热力图用于表征视觉焦点信息及视觉焦点移动轨迹信息。
[0008]另一种可能的实施方式中，根据目标视频帧序列，确定目标设备信息，包括：根据目标视频帧序列和预先训练的设备目标检测模型，确定设备位置信息；根据设备位置信息和注视点坐标，确定目标设备信息。
[0009]另一种可能的实施方式中，根据目标视频帧序列，确定目标场景信息，包括：获取每个目标视频帧序列的视频级特征；根据聚类算法和视频级特征，确定相同类别的目标视频帧序列集合；在目标视频帧序列集合中目标视频帧序列的数量满足预设条件的情况下，根据目标视频帧序列集合对应的采样场景，确定目标场景信息。
[0010]另一种可能的实施方式中，根据目标视频帧序列，确定目标场景信息，包括：获取目标视频帧序列的视频级特征；根据余弦相似度算法和视频级特征，确定与每一个目标视频帧序列相似的目标视频帧序列集合；在目标视频帧序列集合中目标视频帧序列的数量满足预设条件的情况下，将每一个目标视频帧序列对应的采样场景确定为目标场景信息。
[0011]根据本公开的第二方面，提供一种信息收集装置，包括：获取模块，被配置为执行根据眼动仪获取眼动数据和多媒体信息；确定模块，被配置为执行根据眼动数据和多媒体信息，确定视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和目标设备信息；生成模块，被配置为执行根据视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和目标设备信息，生成信息知识库。
[0012]在一种可能的实施方式中，确定模块，具体被配置为执行：根据眼动数据和多媒体信息，获取每个采样场景的注视数据；注视数据包括注视时间和注视点坐标；根据注视时间对多媒体信息进行抽帧，得到每个采样场景的视频帧；根据每个采样场景的满足预设筛选条件的视频帧，得到目标视频帧序列；根据目标视频帧序列，确定视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和目标设备信息。
[0013]另一种可能的实施方式中，确定模块，具体被配置为执行：获取每个采样场景的每个视频帧对应的图片；确定每两个相邻视频帧对应的图片的汉明距离；根据汉明距离小于预设汉明距离阈值的图片对应的视频帧，得到每个采样场景的视频帧序列；将连续时长大于预设连续时长阈值的视频帧序列，确定为目标视频帧序列。
[0014]另一种可能的实施方式中，确定模块，具体被配置为执行：获取每个目标视频帧序列的中间位置帧；根据中间位置帧和注视数据，得到标注有视觉焦点及视觉焦点移动轨迹的热力图；热力图用于表征视觉焦点信息及视觉焦点移动轨迹信息。
[0015]另一种可能的实施方式中，确定模块，具体被配置为执行：根据目标视频帧序列和预先训练的设备目标检测模型，确定设备位置信息；根据设备位置信息和注视点坐标，确定目标设备信息。
[0016]另一种可能的实施方式中，确定模块，具体被配置为执行：获取每个目标视频帧序列的视频级特征；根据聚类算法和视频级特征，确定相同类别的目标视频帧序列集合；在目标视频帧序列集合中目标视频帧序列的数量满足预设条件的情况下，根据目标视频帧序列集合对应的采样场景，确定目标场景信息。
[0017]另一种可能的实施方式中，确定模块，具体被配置为执行：获取目标视频帧序列的视频级特征；根据余弦相似度算法和视频级特征，确定与每一个目标视频帧序列相似的目标视频帧序列集合；在目标视频帧序列集合中目标视频帧序列的数量满足预设条件的情况下，根据每一个目标视频帧序列集合对应的采样场景，确定目标场景信息。
[0018]根据本公开的第三方面，提供一种信息收集系统，包括：第二方面及其任一种可能的实施方式的信息收集装置；眼动仪，用于获取眼动数据和多媒体信息；存储器，存储眼动数据、多媒体信息以及信息收集装置生成的信息知识库。
[0019]根据本公开的第四方面，提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现上述第一方面及其任一种可能的实施方式的信息收集方法。
[0020]根据本公开的第五方面，提供一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述第一方面中及其任一种可能的实施方式的信息收集方法。
[0021]根据本公开的第六方面，提供一种计算机程序产品，计算机程序产品包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述第一方面及其任一种可能的实施方式的信息收集方法。
[0022]本公开提供的技术方案至少带来以下有益效果：通过眼动仪采集眼动数据和多媒体信息，可以直接从专业勘察人员的第一视角获得完整的勘察过程，进而能够根据完整的勘察过程确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息收集方法，其特征在于，包括：根据眼动仪获取眼动数据和多媒体信息；根据所述眼动数据和多媒体信息，确定视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和目标设备信息；根据所述视觉焦点信息及视觉焦点移动轨迹信息、所述目标场景信息和所述目标设备信息，生成信息知识库。2.根据权利要求1所述的信息收集方法，其特征在于，所述根据所述眼动数据和多媒体信息，确定视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和目标设备信息，包括：根据所述眼动数据和多媒体信息，获取每个采样场景的注视数据；所述注视数据包括注视时间和注视点坐标；根据所述注视时间对所述多媒体信息进行抽帧，得到所述每个采样场景的视频帧；根据所述每个采样场景的满足预设筛选条件的视频帧，得到目标视频帧序列；根据所述目标视频帧序列，确定所述视觉焦点信息及视觉焦点移动轨迹信息、所述目标场景信息和所述目标设备信息。3.根据权利要求2所述的信息收集方法，其特征在于，所述根据所述每个采样场景的满足预设筛选条件的视频帧，得到目标视频帧序列，包括：获取所述每个采样场景的每个视频帧对应的图片；确定每两个相邻视频帧对应的图片的汉明距离；根据所述汉明距离小于预设汉明距离阈值的图片对应的视频帧，得到所述每个采样场景的视频帧序列；将连续时长大于预设连续时长阈值的视频帧序列，确定为目标视频帧序列。4.根据权利要求2所述的信息收集方法，其特征在于，所述根据所述目标视频帧序列，确定所述视觉焦点信息及视觉焦点移动轨迹信息，包括：获取每个所述目标视频帧序列的中间位置帧；根据所述中间位置帧和所述注视数据，得到标注有所述视觉焦点及视觉焦点移动轨迹的热力图；所述热力图用于表征所述视觉焦点信息及视觉焦点移动轨迹信息。5.根据权利要求2所述的信息收集方法，其特征在于，所述根据所述目标视频帧序列，确定所述目标设备信息，包括：根据所述目标视频帧序列和预先训练的设备目标检测模型，确定设备位置信息；根据所述设备位置信息和所述注视点坐标，确定所述目标设备信息。6.根据权利要求2所述的信息收集方法，其特征在于，所述根据所述目标视频帧序列，确定所述目标场景信息，包括：获取每个所述目标视频帧序列的视频级特征；根据聚类算法和所述视频级特征，确定相同类别的目标视频帧序列集合；在所述目标视频帧序列集合中目标视频帧序列的数量满足预设条件的情况下，根据所述目标视频帧序列集合对应的采样场景，确定所述目标场景信息。7.根据权利要求2所述的信息收集方法，其特征在于，所述根据所述目标视频帧序列，确定所述目标场景信息，包括：获取所述目标视频帧序列的视频级特征；
根据余弦相似度算法和所述视频级特征，确定与每一个目标视频帧序列相似的目标视频帧序列集合；在所述目标视频帧序列集合中目标视频帧序列的数量满足预设条件的情况下，根据所述目标视频帧序列集合对应的采样场景，确定所述目标场景信息。8.一种信息收集装置，其特征在于，包括：获取模块，被配置为执行根据眼动仪获取眼动数据和多媒体信息；确定模块，被配置为执行根据所述眼动数据和多媒体信息，确定视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和目标设备信息；生成模块，被配置...

【专利技术属性】
技术研发人员：沈涛，宋齐军，武欢，陈亚峰，连晓凝，秦志萌，刘晓明，徐玉龙，
申请(专利权)人：中讯邮电咨询设计院有限公司，
类型：发明
国别省市：