【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种基于大模型的聚档方法及装置。
技术介绍
1、通常说的抓拍是由某一摄像头在某一时间产生的针对一个人的人脸或人体所产生的图片集合，一条抓拍可以只有人脸也可以只有人体，或者两者都有；档案是只在系统运行过程中计算产生的抓拍集合，每一个档案在算法中被认为是一个人所对应的所有抓拍，但是实际结果可能存在一人多档和多人一档。一个档案内可以有一张或多张抓拍。
2、聚档是判断抓拍能否被放入一个档案内或者成为一个新档案的过程。
3、传统的聚档方法如infomap聚类方法是建立在转移概率基础上的一种社区发现算法，通过构造转移概率，在图上进行随机游走来生成序列。再对序列做层次编码，通过最小化熵寻求最优聚类方案，花费时间较长，聚档效率低。并且，采用基于社区发现的聚档方式，仍然有一些抓拍不能被归到正确的一类。
技术实现思路
1、本专利技术提供一种基于大模型的聚档方法及装置，用以解决现有技术中聚档方法准确性欠缺的问题，提高聚档结果的准确度。
2、本专利技术提供一种基于大模型的聚档方法，包括：
3、将预定时间段内的抓拍向量表示按照时间排序，得到抓拍向量表示序列；
4、将得到的抓拍向量表示序列按照预定长度截断，并采用滑动窗口对截断后的抓拍向量表示序列进行采集，得到原始样本数据集；
5、将原始样本数据集中抓拍向量表示序列采用token序列表示，并标注token序列中每个token向量表示对应的类型信息，生成tok
6、将token样本数据集中特定数量的token样本分别替换为携带标记的同一类和其他类的token向量表示，对应形成token正样本数据集和token负样本数据集；
7、基于所述token样本数据集、token正样本数据集和token负样本数据集，采用对比学习算法对预设的特征提取模型进行训练，所述特征提取模型为多层网络结构，包括编码器和预测输出层；
8、基于训练后的特征提取模型，将每个token向量表示经过编码器输出的embedding作为每个抓拍向量表示的特征表示；并对所述特征表示进行k-means聚类，得到聚档结果。
9、根据本专利技术提供的基于大模型的聚档方法，所述特征提取模型采用的编码器为bert模型。
10、根据本专利技术提供的基于大模型的聚档方法，所述bert模型为多层双向transformer架构。
11、根据本专利技术提供的基于大模型的聚档方法，所述对比学习算法采用的损失函数为：
12、
13、其中，q代表原始抓拍向量表示，k+代表正样本，ki为负样本集合，i＝1～k，k为自然数，s为编码函数，r为温度系数。
14、根据本专利技术提供的基于大模型的聚档方法，所述类型信息包括人体抓拍向量表示和人脸抓拍向量表示。
15、根据本专利技术提供的基于大模型的聚档方法，在所述将预定时间段内的抓拍向量表示按照时间排序，得到抓拍向量表示序列之前，包括：
16、对抓拍图像进行加密特征提取，得到抓拍图像的抓拍向量表示，相应地，将预定时间段内的抓拍向量表示按照时间排序，得到抓拍向量表示序列。
17、本专利技术还提供了一种基于大模型的聚档装置，包括：获取模块，用于将预定时间段内的抓拍向量表示按照时间排序，得到抓拍向量表示序列；
18、获取模块，还用于将得到的抓拍向量表示序列按照预定长度截断，并采用滑动窗口对截断后的抓拍向量表示序列进行采集，得到原始样本数据集；
19、获取模块，还用于将原始样本数据集中抓拍向量表示序列采用token序列表示，并标注token序列中每个token向量表示对应的类型信息，生成token样本数据集；
20、获取模块，还用于将token样本数据集中特定数量的token样本分别替换为携带标记的同一类和其他类的token向量表示，对应形成token正样本数据集和token负样本数据集；
21、训练模块，用于基于所述token样本数据集、token正样本数据集和token负样本数据集，采用对比学习算法对预设的特征提取模型进行训练，所述特征提取模型为多层网络结构，包括编码器和预测输出层；
22、聚档模块，用于基于训练后的特征提取模型，将每个token向量表示经过编码器输出的embedding作为每个抓拍向量表示的特征表示；并对所述特征表示进行k-means聚类，得到聚档结果。
23、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于大模型的聚档方法。
24、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于大模型的聚档方法。
25、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于大模型的聚档方法。
26、本专利技术提供的基于大模型的聚档方法及装置，采用大规模预训练语言模型能够更好的建模挖掘抓拍序列之间的关系，采用对比学习能够深度学习正负样本明显的区分，获得更加有效的特征表示，从而提高聚档效果。
本文档来自技高网...【技术保护点】
1.一种基于大模型的聚档方法，其特征在于，包括：
2.根据权利要求1所述的基于大模型的聚档方法，其特征在于，所述特征提取模型采用的编码器为Bert模型。
3.根据权利要求2所述的基于大模型的聚档方法，其特征在于，所述Bert模型为多层双向transformer架构。
4.根据权利要求1所述的基于大模型的聚档方法，其特征在于，所述对比学习算法采用的损失函数为：
5.根据权利要求1所述的基于大模型的聚档方法，其特征在于，所述类型信息包括人体抓拍向量表示和人脸抓拍向量表示。
6.根据权利要求1所述的基于大模型的聚档方法，其特征在于，在所述将预定时间段内的抓拍向量表示按照时间排序，得到抓拍向量表示序列之前，包括：
7.一种基于大模型的聚档装置，其特征在于，包括：
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于大模型的聚档方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于大模型的聚档方法。
...【技术特征摘要】
1.一种基于大模型的聚档方法，其特征在于，包括：
2.根据权利要求1所述的基于大模型的聚档方法，其特征在于，所述特征提取模型采用的编码器为bert模型。
3.根据权利要求2所述的基于大模型的聚档方法，其特征在于，所述bert模型为多层双向transformer架构。
4.根据权利要求1所述的基于大模型的聚档方法，其特征在于，所述对比学习算法采用的损失函数为：
5.根据权利要求1所述的基于大模型的聚档方法，其特征在于，所述类型信息包括人体抓拍向量表示和人脸抓拍向量表示。
6.根据权利要求1所述的基于大模型的聚档方法，其特征在于，在所述将预定时间段内的抓拍向...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：北京瑞莱智慧科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。