用户日常行为数据智能采集处理方法及相关设备技术

本发明专利技术涉及人工智能技术领域，公开了一种用户日常行为数据智能采集处理方法、装置、设备及存储介质。用户日常行为数据智能采集处理方法包括：采集用户的位置信息与所述用户周围的视频信息；对所述视频信息进行视频分割处理，得到视频片段；对所述视频片段进行时序动作提取处理，得到时序动作提取结果；根据所述时序动作提取结果，生成所述视频片段的文本描述信息。本发明专利技术实现了用户行为数据智能采集与处理，极大地提高了用户行为信息记录的效率与准确率，方便用户查询。方便用户查询。方便用户查询。

【技术实现步骤摘要】
用户日常行为数据智能采集处理方法及相关设备


[0001]本专利技术人工智能领域，尤其涉及一种用户日常行为数据智能采集处理方法及相关设备。

技术介绍

[0002]行为识别是对视频中人的行为动作进行识别。视频中人体行为识别主要分为行为分类与时序动作检测两类，行为分类对给定的分割好动作的视频片段进行分类，时序动作检测定位动作在视频中的发生时段并进行指定行为的检测。视频描述生成对给定的视频生成相应的文本描述信息，可应用于视频搜索、盲人导航等领域。
[0003]在现有的技术中，人们若想记录发生的事情，需要手动书写记录或通过录音、录像等方式保存信息，在需要的时候进行查询。而手动书写记录不能满足即时、准确的需求，音视频记录的方法在查询时亦极为不便。

技术实现思路

[0004]本专利技术的主要目的在于提供一种用户日常行为数据智能采集处理方法及相关设备，旨在解决现有技术无法满足用户日常行为数据智能采集处理的需求的技术问题。
[0005]本专利技术第一方面提供了一种用户日常行为数据智能采集处理方法，包括：
[0006]采集用户的位置信息与所述用户周围的视频信息；
[0007]对所述视频信息进行视频分割处理，得到视频片段；
[0008]对所述视频片段进行时序动作提取处理，得到时序动作提取结果；
[0009]根据所述时序动作提取结果，生成所述视频片段的文本描述信息。
[0010]可选的，在本专利技术第一方面的第一种实现方式中，所述对所述视频信息进行视频分割，得到视频片段包括：
[0011]对所述视频信息进行场景识别处理，得到场景识别结果；
[0012]根据所述场景识别结果，对所述视频信息进行视频分割处理，得到不同场景下的视频片段。
[0013]可选的，在本专利技术第一方面的第二种实现方式中，在所述对所述视频信息进行视频分割，得到视频片段之后，还包括：
[0014]获取视频过滤条件；
[0015]根据所述视频过滤条件，对所述视频片段进行视频过滤处理，得到符合所述视频过滤条件的视频片段。
[0016]可选的，在本专利技术第一方面的第三种实现方式中，在所述对所述视频信息进行视频分割，得到视频片段之后，还包括：
[0017]获取待检测物体的物体信息；
[0018]基于所述物体信息，对所述待检测物体进行特征提取处理，得到待检测物体特征；
[0019]基于所述待检测物体特征检索所述视频片段，返回包含所述待检测物体特征的视
频片段。
[0020]可选的，在本专利技术第一方面的第四种实现方式中，所述对所述视频片段进行时序动作提取，得到时序动作提取结果包括：
[0021]对所述视频片段进行特征提取处理，得到所述视频片段的视频特征；
[0022]将所述视频特征输入预置时序动作提取模型，得到候选时序动作；
[0023]对所述候选时序动作进行筛选处理，得到时序动作提取结果，并将所述时序动作提取结果作为候选事件。
[0024]可选的，在本专利技术第一方面的第五种实现方式中，所述根据所述时序动作提取结果，生成所述视频片段的文本描述信息包括：
[0025]采用预置时序模型对所述候选事件进行时序排列与事件选择处理，得到对应的事件序列；
[0026]通过预置视频描述生成模型生成所述事件序列的描述信息，并将所述事件序列的描述信息作为所述视频片段的文本描述信息。
[0027]可选的，在本专利技术第一方面的第六种实现方式中，在所述根据所述时序动作提取结果，进行视频描述生成，获得所述视频片段的文本描述信息之后，还包括：
[0028]基于预置文本主题模型，对所述文本描述信息进行主题概括处理，得到所述视频片段的主题；
[0029]对各所述主题按时间顺序进行排序，得到主题序列；
[0030]根据所述主题序列与所述位置信息，得到所述用户的日常活动日志。
[0031]本专利技术第二方面提供了一种用户日常行为数据智能采集处理装置，包括：
[0032]信息获取模块，用于采集用户周围的视频信息；
[0033]视频分割模块，用于对所述视频信息进行视频分割处理，得到视频片段；
[0034]动作提取模块，用于对所述视频片段进行时序动作提取处理，得到时序动作提取结果；
[0035]视频描述模块，用于根据所述时序动作提取结果，生成所述视频片段的文本描述信息。
[0036]可选的，在本专利技术第二方面的第一种实现方式中，所述视频分割模块具体用于：
[0037]对所述视频信息进行场景识别处理，得到场景识别结果；
[0038]根据所述场景识别结果，对所述视频信息进行视频分割处理，得到不同场景下的视频片段。
[0039]可选的，在本专利技术第二方面的第二种实现方式中，所述用户日常行为数据智能采集处理装置还包括：
[0040]视频过滤模块，用于获取视频过滤条件；根据所述视频过滤条件，对所述视频片段进行视频过滤处理，得到符合所述视频过滤条件的视频片段。
[0041]可选的，在本专利技术第二方面的第三种实现方式中，所述用户日常行为数据智能采集处理装置还包括：
[0042]物体检测模块，用于获取待检测物体的物体信息；基于所述物体信息，对所述待检测物体进行特征提取处理，得到待检测物体特征；基于所述待检测物体特征检索所述视频片段，返回包含所述待检测物体特征的视频片段。
[0043]可选的，在本专利技术第二方面的第四种实现方式中，所述动作提取模块具体用于：
[0044]对所述视频片段进行特征提取处理，得到所述视频片段的视频特征；
[0045]将所述视频特征输入预置时序动作提取模型，得到候选时序动作；
[0046]对所述候选时序动作进行筛选处理，得到时序动作提取结果，并将所述时序动作提取结果作为候选事件。
[0047]可选的，在本专利技术第二方面的第五种实现方式中，所述视频描述模块具体用于：
[0048]采用预置时序模型对所述候选事件进行时序排列与事件选择处理，得到对应的事件序列；
[0049]通过预置视频描述生成模型生成所述事件序列的描述信息，并将所述事件序列的描述信息作为所述视频片段的文本描述信息。
[0050]可选的，在本专利技术第二方面的第六种实现方式中，所述用户日常行为数据智能采集处理装置还包括：
[0051]日志生成模块，用于基于预置文本主题模型，对所述文本描述信息进行主题概括处理，得到所述视频片段的主题；对各所述主题按时间顺序进行排序，得到主题序列；根据所述主题序列与所述位置信息，得到所述用户的日常活动日志。
[0052]本专利技术第三方面提供了一种电子设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述电子设备执行上述的用户日常行为数据智能采集处理方法。
[0053]本专利技术的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用户日常行为数据智能采集处理方法，其特征在于，所述用户日常行为数据智能采集处理方法包括：采集用户的位置信息与所述用户周围的视频信息；对所述视频信息进行视频分割处理，得到视频片段；对所述视频片段进行时序动作提取处理，得到时序动作提取结果；根据所述时序动作提取结果，生成所述视频片段的文本描述信息。2.根据权利要求1所述的用户日常行为数据智能采集处理方法，其特征在于，所述对所述视频信息进行视频分割处理，得到视频片段包括：对所述视频信息进行场景识别处理，得到场景识别结果；根据所述场景识别结果，对所述视频信息进行视频分割处理，得到不同场景下的视频片段。3.根据权利要求1或2所述的用户日常行为数据智能采集处理方法，其特征在于，在所述对所述视频信息进行视频分割处理，得到视频片段之后，还包括：获取视频过滤条件；根据所述视频过滤条件，对所述视频片段进行视频过滤处理，得到符合所述视频过滤条件的视频片段。4.根据权利要求1所述的用户日常行为数据智能采集处理方法，其特征在于，在所述对所述视频信息进行视频分割处理，得到视频片段之后，还包括：获取待检测物体的物体信息；基于所述物体信息，对所述待检测物体进行特征提取处理，得到待检测物体特征；基于所述待检测物体特征检索所述视频片段，返回包含所述待检测物体特征的视频片段。5.根据权利要求1所述的用户日常行为数据智能采集处理方法，其特征在于，所述对所述视频片段进行时序动作提取处理，得到时序动作提取结果包括：对所述视频片段进行特征提取处理，得到所述视频片段的视频特征；将所述视频特征输入预置时序动作提取模型，得到候选时序动作；对所述候选时序动作进行筛选处理，得到时序动作提取结果，并将所述时序动作提取结果作为候选事件。6.根据权利要求1...

【专利技术属性】
技术研发人员：赖振楠，
申请(专利权)人：深圳宏芯宇电子股份有限公司，
类型：发明
国别省市：