基于多模态的相册管理系统和相册管理方法技术方案

本发明专利技术涉及基于多模态的相册管理系统和相册管理方法。该相册管理系统包括：多模态CLIP模型，其包括文本特征提取模型TextModel和图像特征提取模型ImageModel；向量数据库，用于存储照片的特征向量及其相关信息；自动归类模块，用于根据预设的多个类别标签对导入的照片进行自动分类；以图搜图模块，用于根据用户提供的图片查找相似照片；以文本搜图模块，用于根据用户输入的文本描述查找相似照片。

【技术实现步骤摘要】

本专利技术涉及图像处理和信息检索技术，特别是涉及数字照片/图片的相册管理系统和方法，尤其是利用多模态算法进行数字照片分类和搜索的相册管理系统和相册管理方法。

技术介绍

1、多模态通常指的是在人工智能、人机交互、数据分析等领域中，同时使用或分析多种不同类型的数据或信息源。这些数据源可能包括但不限于文本、图像、声音、视频等。多模态系统能够理解、处理并整合来自不同模态的信息，以提供更全面、更准确的理解和响应。

2、照片是一种通过摄影技术捕捉并记录现实世界场景的静态图像。数字照片是日常生活最为常见的照片形式，人们通过移动设备拍摄数字照片用于捕捉场景信息，传达情感信息，保存个人回忆等等用途。因此，会产生大量的数字照片。进一步地，如何有效的管理大量的数字照片是一个需要解决的问题。常见的使用场景包括，大批量的数字照片会由移动端设备转存至个人电脑上，因此需要部署在电脑端的系统以用于对数字照片的管理。

3、目前，数字(照片/图片)相册管理一般是按照片/图片的日期存储，或者人为地给照片做分类，每次都要手动移动到对应文件夹中做分类。当照片数量过大时，后期本文档来自技高网...

【技术保护点】

1.一种基于多模态的相册管理系统，其特征在于，所述相册管理系统包括：

2.根据权利要求1所述的相册管理系统，其特征在于，所述相册管理系统的自动归类模块配置成用于：

3.根据权利要求2所述的相册管理系统，其特征在于，所述文本特征提取模型TextModel提取所述标签的特征向量为文本特征向量Featuretext＝TextModel(text)，其中，Featuretext为512维的特征向量，具体表示为：Featuretext＝[a1,a2,a3,…,a512]，TextModel(text)是文本特征提取的简易表达式，a1,a2,....,a512是文本特征向量中...

【技术特征摘要】

1.一种基于多模态的相册管理系统，其特征在于，所述相册管理系统包括：

2.根据权利要求1所述的相册管理系统，其特征在于，所述相册管理系统的自动归类模块配置成用于：

3.根据权利要求2所述的相册管理系统，其特征在于，所述文本特征提取模型textmodel提取所述标签的特征向量为文本特征向量featuretext＝textmodel(text)，其中，featuretext为512维的特征向量，具体表示为：featuretext＝[a1,a2,a3,…,a512]，textmodel(text)是文本特征提取的简易表达式，a1,a2,....,a512是文本特征向量中的各个数值。

4.根据权利要求2所述的相册管理系统，其特征在于，所述图像特征提取模型imagemodel提取所述照片的特征向量为图片特征向量featureimage＝imagemodel(image)，其中，featureimage为...

【专利技术属性】
技术研发人员：陈晨，李嘉成，张亮，
申请(专利权)人：国科环宇南京电子技术有限公司，
类型：发明
国别省市：