【技术实现步骤摘要】
本申请涉及人工智能，尤其涉及一种视频图像数据检索方法、摄像头视频数据处理方法及装置。
技术介绍
1、目前，摄像头在监控、安全、自动化以及物联网等领域有广泛应用。摄像头采集到的视频图像数据中存在大量的信息。在视频图像数据的实际应用过程中发现，针对不同的应用场景，需要使用特定的算法从视频图像数据中获取到的不同的信息；而不同应用场景对应的特定的算法开发周期长，但算法实际的使用率低，导致算力浪费。
技术实现思路
1、本申请的主要目的在于提供一种视频图像数据检索方法、摄像头视频数据处理方法及装置，旨在解决算力浪费的技术问题。
2、为实现上述目的，本申请提供一种视频图像数据检索方法，所述方法包括：
3、将需求文本信息输入至预先训练的文本图像嵌入模型，得到需求文本嵌入向量；
4、从本地存储模块内存储的log文件中获取与所述需求文本嵌入向量匹配的目标图像嵌入向量；其中，所述log文件中存储对原始视频图像数据分析得到的分析结果，所述原始视频图像数据通过摄像头的传感器获取；所述分析结果通过所述文本图像嵌入模型对输入的所述原始视频图像数据分析得到；所述分析结果为与所述原始视频图像数据对应的图像嵌入向量；
5、根据所述需求文本嵌入向量和所述目标图像嵌入向量，得到检索提示信息；
6、将所述检索提示信息输入大语言模型，得到数据检索结果。
7、可选地，所述需求文本嵌入向量至少包括需求时间、需求设备标识以及需求行为信息；所述从本地存储模块内存
8、从本地存储模块内存储的log文件中获取与所述需求时间和所述需求设备标识均匹配的候选图像嵌入向量；
9、从所述候选图像嵌入向量中获取与所述需求行为信息匹配的目标图像嵌入向量。
10、可选地，所述根据所述需求文本嵌入向量和所述目标图像嵌入向量，得到检索提示信息，包括：
11、将所述目标图像嵌入向量转换为目标文本嵌入向量；
12、将所述需求文本嵌入向量和所述目标文本嵌入向量进行组合，得到检索提示信息。
13、可选地，所述根据所述需求文本嵌入向量和所述目标图像嵌入向量，得到检索提示信息，包括：
14、将所述目标图像嵌入向量输入至预先构建的视觉特征重组模型，得到所述目标图像嵌入向量对应的图像文本转换信息；
15、将所述图像文本转换信息和所述需求文本嵌入向量进行组合，得到检索提示信息。
16、可选地，所述文本图像嵌入模型的训练方式，包括：
17、获取数据样本；其中，所述数据样本包括图像样本数据以及与所述图像样本数据对应的文本样本数据；
18、基于获取的数据样本对预先构建的文本图像嵌入模型进行多次更新，直至所述文本图像嵌入模型满足设定条件；其中，在每次更新的过程中，将所述数据样本输入至所述文本图像嵌入模型，得到图像编码训练数据和文本编码训练数据；基于损失函数对所述图像编码训练数据和所述文本编码训练数据进行计算得到训练样本信息值；
19、所述文本图像嵌入模型满足设定条件包括：所述训练样本信息值达到预设阈值。
20、可选地，所述原始视频图像数据的获取方式，包括：
21、获取摄像头的传感器的原始视频数据；
22、从所述原始视频数据中进行关键帧提取，得到原始视频图像数据；其中，所述原始视频图像数据中包含多帧所述原始视频数据的关键帧。
23、可选地，所述从所述原始视频数据中进行关键帧提取，得到原始视频图像数据，包括：
24、对所述原始视频数据进行运动侦测和异常声音检测，得到物体运动信息以及与异常声音信息；其中，所述物体运动信息中至少包括侦测到的运动物体以及所述运动物体在所述原始视频数据中的运动时间信息；所述异常声音信息中至少包括异常声音在所述原始视频数据中出现的异常时间信息；
25、将所述原始视频数据中与所述运动时间信息对应的视频图像确定为第一关键帧；
26、将所述原始视频数据中与所述异常时间信息对应的视频图像确定为第二关键帧；
27、将所述第一关键帧和所述第二关键帧确定为原始视频图像数据。
28、可选地，所述从所述原始视频数据中进行关键帧提取，得到原始视频图像数据，包括：
29、对所述原始视频数据进行静态场景建模，得到所述原始视频数据中的静态场景形态；
30、从所述原始视频数据中确定与所述静态场景形态不同的异常物体；
31、将所述异常物体在所述原始视频数据中对应的关键帧确定为原始视频图像数据。
32、此外，为实现上述目的，本申请还提供一种摄像头视频数据处理方法，包括以下步骤：
33、获取摄像头的传感器的原始视频图像数据；
34、摄像头的主控芯片对原始视频图像数据进行分析，并将每张原始视频图像数据的分析结果存储进log文件；
35、将摄像头获取的原始视频图像数据进行打包，并连同log文件存储于摄像头的本地存储模块内。
36、可选地，主控芯片采用具有冗余计算能力的图像处理芯片。
37、可选地，log文件中记录有设备固定信息、设备低频信息以及设备高频信息；
38、设备固定信息包括设备基本信息、网络信息、夜视信息、录像信息、网络信息、接口信息、媒体信息、云台信息、存储信息、指示灯信息和时间板块信息；
39、设备低频信息包括设备基本信息、网络信息、夜视信息、录像信息、网络信息、接口信息、媒体信息、云台信息、存储信息、指示灯信息和时间板块信息；
40、设备高频信息包括时间板块信息、移动侦测信息、人形侦测信息、分类信息、人脸识别信息、人形识别信息、云台角度信息、异常声音采集信息、资源消耗信息以及平台配置板块信息。
41、可选地，log文件采用json、xml或protobuf的结构进行记录，单条信息技术后的数据经过加密后进行存储。
42、可选地，log文件中音视频信息的生成过程为：
43、主控芯片接收到来自外部信号的音视频的中段后，主控芯片对音视频数据进行采集，分别生成音频的原始pcm数据和视频的原始图像数据，分别记录音视频数据采集时刻的utc毫秒级时间戳，utc毫秒级时间戳将随原始pcm数据、原始图像数据向后传递；
44、原始pcm数据经过编码器生成音频编码数据；原始图像数据分为两路，一路经过视频编码器生成视频编码数据，视频编码数据与音频编码数据、utc毫秒级时间戳进行封装，写入到录像文件中；另一路被送入卷积神经网络进行ai分析识别，生成0到多个事件，这些事件包含事件在图像中发生的位置和大小信息，事件以及utc毫秒级时间戳组合成一条event类型的log，并经过加密编码后写入到log文件。
45、可选地，log文件的格式为日志格式，每条日志在本文档来自技高网...
【技术保护点】
1.一种视频图像数据检索方法，其特征在于，所述方法包括：
2.如权利要求1所述的视频图像数据检索方法，其特征在于，所述需求文本嵌入向量至少包括需求时间、需求设备标识以及需求行为信息；所述从本地存储模块内存储的LOG文件中获取与所述需求文本嵌入向量匹配的目标图像嵌入向量，包括：
3.如权利要求1或2所述的视频图像数据检索方法，其特征在于，所述根据所述需求文本嵌入向量和所述目标图像嵌入向量，得到检索提示信息，包括：
4.如权利要求1或2所述的视频图像数据检索方法，其特征在于，所述根据所述需求文本嵌入向量和所述目标图像嵌入向量，得到检索提示信息，包括：
5.如权利要求1所述的视频图像数据检索方法，其特征在于，所述文本图像嵌入模型的训练方式，包括：
6.如权利要求1所述的视频图像数据检索方法，其特征在于，所述原始视频图像数据的获取方式，包括：
7.如权利要求6所述的视频图像数据检索方法，其特征在于，所述从所述原始视频数据中进行关键帧提取，得到原始视频图像数据，包括：
8.如权利要求6所述的视频图像数据检索
9.一种摄像头视频数据处理方法，其特征在于，包括以下步骤：
10.如权利要求9所述的摄像头视频数据处理方法，其特征在于：主控芯片采用具有冗余计算能力的图像处理芯片。
11.如权利要求9所述的摄像头视频数据处理方法，其特征在于：LOG文件中记录有设备固定信息、设备低频信息以及设备高频信息；
12.如权利要求11所述的摄像头视频数据处理方法，其特征在于：LOG文件采用json、xml或protobuf的结构进行记录，单条信息技术后的数据经过加密后进行存储。
13.如权利要求9所述的摄像头视频数据处理方法，其特征在于：LOG文件中音视频信息的生成过程为：
14.如权利要求9所述的摄像头视频数据处理方法，其特征在于：
15.如权利要求9所述的摄像头视频数据处理方法，其特征在于，所述摄像头的主控芯片对原始视频图像数据进行分析，并将每张原始视频图像数据的分析结果存储进LOG文件，包括：
16.如权利要求15所述的摄像头视频数据处理方法，其特征在于，在所述将所述原始视频图像数据的分析结果存储进LOG文件之后，所述方法还包括：
17.如权利要求15所述的摄像头视频数据处理方法，其特征在于，在所述将所述原始视频图像数据的分析结果存储进LOG文件之后，所述方法还包括：
18.如权利要求15所述的摄像头视频数据处理方法，其特征在于，所述摄像头的主控芯片对原始视频图像数据进行分析，得到每张原始视频图像数据对应的图像嵌入向量，包括：
19.如权利要求18所述的摄像头视频数据处理方法，其特征在于，在所述将所述原始视频图像数据的分析结果存储进LOG文件之后，所述方法还包括：
20.一种视频图像数据检索装置，其特征在于，所述装置包括：
21.一种摄像头视频数据处理系统，其特征在于，包括：
22.一种计算机设备，其特征在于：包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至18中任一项所述方法的步骤。
23.一种计算机可读存储介质，其特征在于：存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至18中任一项所述方法的步骤。
...【技术特征摘要】
1.一种视频图像数据检索方法，其特征在于，所述方法包括：
2.如权利要求1所述的视频图像数据检索方法，其特征在于，所述需求文本嵌入向量至少包括需求时间、需求设备标识以及需求行为信息；所述从本地存储模块内存储的log文件中获取与所述需求文本嵌入向量匹配的目标图像嵌入向量，包括：
3.如权利要求1或2所述的视频图像数据检索方法，其特征在于，所述根据所述需求文本嵌入向量和所述目标图像嵌入向量，得到检索提示信息，包括：
4.如权利要求1或2所述的视频图像数据检索方法，其特征在于，所述根据所述需求文本嵌入向量和所述目标图像嵌入向量，得到检索提示信息，包括：
5.如权利要求1所述的视频图像数据检索方法，其特征在于，所述文本图像嵌入模型的训练方式，包括：
6.如权利要求1所述的视频图像数据检索方法，其特征在于，所述原始视频图像数据的获取方式，包括：
7.如权利要求6所述的视频图像数据检索方法，其特征在于，所述从所述原始视频数据中进行关键帧提取，得到原始视频图像数据，包括：
8.如权利要求6所述的视频图像数据检索方法，其特征在于，所述从所述原始视频数据中进行关键帧提取，得到原始视频图像数据，包括：
9.一种摄像头视频数据处理方法，其特征在于，包括以下步骤：
10.如权利要求9所述的摄像头视频数据处理方法，其特征在于：主控芯片采用具有冗余计算能力的图像处理芯片。
11.如权利要求9所述的摄像头视频数据处理方法，其特征在于：log文件中记录有设备固定信息、设备低频信息以及设备高频信息；
12.如权利要求11所述的摄像头视频数据处理方法，其特征在于：log文件采用json、xml或protobuf的结构...
【专利技术属性】
技术研发人员：张恩泽，成茵，胡志发，窦诚诚，张现阳，焦坦，
申请(专利权)人：成都易瞳科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。