一种照片管理方法及系统技术方案

本发明专利技术涉及移动计算技术技术领域，具体公开了一种照片管理方法及照片管理系统，其中，包括：将待管理照片分别输入到对象标签标注模型结构和场景标签标注模型结构；对所述待管理照片在所述对象标签标注模型结构中处理后得到所述待管理照片中的对象标签的候选框及对象标签的概率；对所述待管理照片在所述场景标签标注模型结构中处理后得到所述待管理照片分别属于各个场景的场景标签的概率；选择概率最大的5个场景标签以及概率大于或者等于对象标签阈值的所有对象标签构建索引标签；根据用户的搜索反馈，实时调整所述索引标签。本发明专利技术还公开了一种照片管理系统。本发明专利技术提供的照片管理方法提高了用户体验，满足了用户需求。

A method and system for photo management

The present invention relates to the technical field of mobile computing technology, a photo management method and photo management system, which includes: in particular, to manage photos were input to the object label label scene model structure and model structure; the probability of the photo tagging management frame and object label candidate model structure is obtained after the treatment the management of pictures of the object labels on the object tag on the photo management; in the scene labeling model structure is obtained after the treatment of the management of photos belong to various scene scene label probability; choose more than 5 Scene label with maximum probability and probability or all the object is equal to the label object label threshold index tag; according to the user's search feedback, real-time adjustment of the index tag. The invention also discloses a photo management system. The photo management method provided by the invention improves the user experience and satisfies the user's needs.

【技术实现步骤摘要】
一种照片管理方法及系统
本专利技术涉及移动计算技术
，尤其涉及一种照片管理方法及照片管理系统。
技术介绍
近年来，随着智能手机的普及，拍照成为一种日常化行为，人们总喜欢把美丽的景色、难忘的时刻用照片的方式记录下来。长此以往，照片数据将会变得十分庞大，管理起来也愈加困难。当我们想查找特定照片时(比如学校、教堂、沙滩等)，结果只能把相册全部浏览一遍，这必将使得查找效率极其低下。因此，需要一种有效的照片管理方法，便于用户快速筛选、查看照片。而目前的照片管理方法使用的技术主要分为两种，一种是Facebook、Google等公司为代表的基于服务器模式的相册管理技术，这种方法能依据照片内容把照片分类到不同的资料夹中，在搜索时只需提供一些关键词信息就可以查询到需要的照片。但是这种基于服务器模式的照片管理方式需要用户把照片上传到云端，会带来巨大的网络开销，同时照片的安全性、私密性也无法得到有效保障。另一种则是以百度相册、网易云相册等产品为代表的照片管理软件。这些软件利用拍照时间、存储地址、查看频率、人物信息和地理信息等结构化信息对照片进行管理，这种方法是现在移动平台主要的照片管理方式。但是由于没有考虑照片深层次的信息，这种方法往往不能满足用户的照片管理需求，比如用户往往想查找有关某人或某地的所有照片等。因此，如何提供一种满足用户需求的照片管理方法称为本领域技术人员亟待解决的技术问题。
技术实现思路
本专利技术旨在至少解决现有技术中存在的技术问题之一，提供一种照片管理方法及照片管理系统，以解决现有技术中的问题。作为本专利技术的第一个方面，提供一种照片管理方法，其中，所述照片管理方法包括：将待管理照片分别输入到对象标签标注模型结构和场景标签标注模型结构；对所述待管理照片在所述对象标签标注模型结构中处理后得到所述待管理照片中的对象标签的候选框及对象标签的概率；对所述待管理照片在所述场景标签标注模型结构中处理后得到所述待管理照片分别属于各个场景的场景标签的概率；选择概率最大的5个场景标签以及概率大于或者等于对象标签阈值的所有对象标签构建索引标签；根据用户的搜索反馈，实时调整所述索引标签。优选地，所述对象标签标注模型结构包括共享卷基层模型、区域选择网络和分类器，所述场景标签标注模型结构包括共享卷基层模型，所述共享卷基层包括13层卷基层。优选地，所述对所述待管理照片在所述对象标签标注模型结构中处理后得到所述待管理照片中的对象标签的候选框及对象标签的概率包括：通过所述共享卷基层和所述区域选择网络对所述待管理照片进行处理得到对象区域的候选框及对象区域的概率；通过所述分类器对所述候选框中的照片进行对象检测，得到对象标签的概率。优选地，所述区域选择网络包括滑动窗口、中间层处理、回归层和分类层，所述区域选择网络通过3*3的滑动窗口将所述共享卷基层模型得到的卷积结果映射，得到所述中间层处理所需要的256维的中间层特征，以供所述回归层和所述分类层使用。优选地，所述回归层能够产生k个候选区域的4k个坐标，所述分类层能够计算每个区域是否是对象的概率。优选地，所述对所述待管理照片在所述场景标签标注模型结构中处理后得到所述待管理照片分别属于各个场景的场景标签的概率包括：对所述共享卷基层模型进行训练；计算所述待处理照片分别属于各个场景的场景标签的概率为：LS＝{(s1，w1)，(s2，w2)，…，(sN，wN)}，其中，LS表示各个场景的概率集合，sN表示场景标签，wN表示场景标签对应的概率，N为自然数。优选地，所述对象标签阈值为0.7。优选地，所述选择概率最大的5个场景标签以及概率大于或者等于对象标签阈值的所有对象标签构建索引标签包括：构建索引标签为：{(s1，ws1)，…，(s5，ws5)，(o1，wo1)，…，(oN，woN)}，其中，si表示场景标签，wsi表示场景标签对应的概率，i＝1，2，3，4，5，oN表示对象标签，woN表示对象标签对应的概率，N为自然数；将场景标签的优先级按照所述共享卷基层模型预测的概率进行排序；将对象标签按照该对象在所述待管理照片中的占比进行修正，得到修正后的优先级woN′为：woN′＝woN*(d-dc)/d*ac/c，其中，woN表示所述对象标签的概率，d表示所述待管理照片的对角线长度的一半，dc表示对象中心到所述待管理照片中心的距离，c表示所述待管理照片的面积，ac表示所述对象的面积。优选地，所述根据用户的搜索反馈，实时调整所述索引标签包括：在用户搜索时，优先显示处在优先队列中的照片或者标签；当用户点击时，被点击的照片或者标签的优先级将被放到优先队列的队首，其他照片或者标签的优先级则自动降低。作为本专利技术的第二个方面，提供照片管理系统，其中，所述照片管理系统包括：输入模块，所述输入模块用于将待管理照片分别输入到对象标签标注模型结构和场景标签标注模型结构；对象标签处理模块，所述对象标签处理模块用于对所述待管理照片在所述对象标签标注模型结构中处理后得到所述待管理照片中的对象标签的候选框及对象标签的概率；场景标签处理模块，所述场景标签处理模块用于对所述待管理照片在所述场景标签标注模型结构中处理后得到所述待管理照片分别属于各个场景的场景标签的概率；索引标签构建模块，所述索引标签构建模块用于选择概率最大的5个场景标签以及概率大于或者等于对象标签阈值的所有对象标签构建索引标签；反馈调节模块，所述反馈调节模块用于根据用户的搜索反馈，实时调整所述索引标签。本专利技术提供的照片管理方法，通过利用卷积神经网络对照片的特征进行提取，为了节约终端计算资源和保护用户隐私，网络的训练将会在服务器端完成，在用户设备终端只需进行快速的预测计算。最终根据语义标签建立照片索引，并根据特定用户的搜索行为建立反馈机制。解决用户体验与用户隐私、终端(手机、平板电脑)网络流量、计算资源匮乏之间的矛盾，在无需用户上传隐私数据的前提下为用户提供千人千面的照片管理。附图说明附图是用来提供对本专利技术的进一步理解，并且构建说明书的一部分，与下面的具体实施方式一起用于解释本专利技术，但并不构建对本专利技术的限制。在附图中：图1为本专利技术提供的照片管理方法的流程图。图2为本专利技术提供的对象标签标注模型结构示意图。图3为本专利技术提供的区域选择网络示意图。图4为本专利技术提供的照片管理系统的结构示意图。具体实施方式以下结合附图对本专利技术的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本专利技术，并不用于限制本专利技术。作为本专利技术的第一个方面，提供一种照片管理方法，其中，如图1所示，所述照片管理方法包括：S110、将待管理照片分别输入到对象标签标注模型结构和场景标签标注模型结构；S120、对所述待管理照片在所述对象标签标注模型结构中处理后得到所述待管理照片中的对象标签的候选框及对象标签的概率；S130、对所述待管理照片在所述场景标签标注模型结构中处理后得到所述待管理照片分别属于各个场景的场景标签的概率；S140、选择概率最大的5个场景标签以及概率大于或者等于对象标签阈值的所有对象标签构建索引标签；S150、根据用户的搜索反馈，实时调整所述索引标签。本专利技术提供的照片管理方法，通过利用卷积神经网络对照片的特征进行提取，为了节约终端计算资源和保护用户隐私，网络的训练将会在服务器本文档来自技高网...

【技术保护点】
一种照片管理方法，其特征在于，所述照片管理方法包括：将待管理照片分别输入到对象标签标注模型结构和场景标签标注模型结构；对所述待管理照片在所述对象标签标注模型结构中处理后得到所述待管理照片中的对象标签的候选框及对象标签的概率；对所述待管理照片在所述场景标签标注模型结构中处理后得到所述待管理照片分别属于各个场景的场景标签的概率；选择概率最大的5个场景标签以及概率大于或者等于对象标签阈值的所有对象标签构建索引标签；根据用户的搜索反馈，实时调整所述索引标签。

【技术特征摘要】
1.一种照片管理方法，其特征在于，所述照片管理方法包括：将待管理照片分别输入到对象标签标注模型结构和场景标签标注模型结构；对所述待管理照片在所述对象标签标注模型结构中处理后得到所述待管理照片中的对象标签的候选框及对象标签的概率；对所述待管理照片在所述场景标签标注模型结构中处理后得到所述待管理照片分别属于各个场景的场景标签的概率；选择概率最大的5个场景标签以及概率大于或者等于对象标签阈值的所有对象标签构建索引标签；根据用户的搜索反馈，实时调整所述索引标签。2.根据权利要求1所述的照片管理方法，其特征在于，所述对象标签标注模型结构包括共享卷基层模型、区域选择网络和分类器，所述场景标签标注模型结构包括共享卷基层模型，所述共享卷基层包括13层卷基层。3.根据权利要求2所述的照片管理方法，其特征在于，所述对所述待管理照片在所述对象标签标注模型结构中处理后得到所述待管理照片中的对象标签的候选框及对象标签的概率包括：通过所述共享卷基层和所述区域选择网络对所述待管理照片进行处理得到对象区域的候选框及对象区域的概率；通过所述分类器对所述候选框中的照片进行对象检测，得到对象标签的概率。4.根据权利要求3所述的照片管理方法，其特征在于，所述区域选择网络包括滑动窗口、中间层处理、回归层和分类层，所述区域选择网络通过3*3的滑动窗口将所述共享卷基层模型得到的卷积结果映射，得到所述中间层处理所需要的256维的中间层特征，以供所述回归层和所述分类层使用。5.根据权利要求4所述的照片管理方法，其特征在于，所述回归层能够产生k个候选区域的4k个坐标，所述分类层能够计算每个区域是否是对象的概率。6.根据权利要求2所述的照片管理方法，其特征在于，所述对所述待管理照片在所述场景标签标注模型结构中处理后得到所述待管理照片分别属于各个场景的场景标签的概率包括：对所述共享卷基层模型进行训练；计算所述待处理照片分别属于各个场景的场景标签的概率为：LS＝{(s1，w1)，(s2，w2)，…，(sN，wN)}，其中，LS表示各个场景的概率集合，sN表示场景标签，wN表示场...

【专利技术属性】
技术研发人员：刘慈航，刘云浩，
申请(专利权)人：儒安科技有限公司，
类型：发明
国别省市：江苏,32