当前位置: 首页 > 专利查询>江苏大学专利>正文

一种安卓平台下基于属性学习和交互反馈的图像在线识别、检索方法技术

技术编号:14130668 阅读:56 留言:0更新日期:2016-12-09 19:16
本发明专利技术公开一种安卓平台下基于属性学习和交互反馈的图像在线识别、检索方法,识别环节:通过安卓手机获取图像并提取特征,将特征发送至服务器,服务器识别后反馈出图像属性,同时将该图片的属性组合对应的类别反馈给用户,并由用户确认与否,来决定是否将该待识别图像加入到相应属性的训练图像库中,用以提升该系统的识别性能;检索环节:用户在手机描述了所要检索图像的属性列表后,系统将图像库中具有该属性组合的类别所对应的图像以排序方式呈现给用户,由用户在其中选择,根据用户的选择,调整属性分类器参数。系统通过属性媒介将图像底层特征与用户语义表达沟通起来,对通过语义描述检索相关图像具有较好的应用效果,同时具有较高的鲁棒性。

【技术实现步骤摘要】

本专利技术涉及模式识别
,具体涉及基于属性学习的图像识别方法。
技术介绍
图像识别是模式识别的一个重要应用,图像处理与识别技术始于20世纪中叶。1964年美国喷射推进实验室(JPL)使用计算机对太空船送回的大批月球照片处理后得到了清晰逼真的图像,这是图像处理技术发展的重要里程碑,推动了这门学科的诞生。当前智能手机设备仍受到一些硬件上的限制,如处理速率较低、运行内存较小、系统空间有限、待机时间较短等等,而常见的图像识别技术往往需要很大的运算量以及存储空间,对运行的硬件平台具有较高的要求,因此利用移动智能设备进行图像识别处理仍然存在一定的困难。但是,随着手机照相分辨率不断提升,带有摄像头的智能手机价格不断降低,通过智能手机获取图片也成为一项主流的低成本图像采集技术,逐渐得到了广泛应用。传统的图像识别方法有自适应增强(Adaboost)和支持向量机(SVM)方法,它们在图像识别上都取得了不错的结果。然而,为了达到良好的分类精度,这些系统需要很多人工标注的训练数据,对于每一类需要训练学习的对象通常有数百或数千的示例图像。据估计,人类能区分至少30000个相关对象类。为所有这些目标类训练常规的分类器可能需要数以亿计的标注过的图像,这是一个几乎不可能完成的目标。因此,许多减少训练图像数量的方法被开发出来,但是所有这些学习方法仍然需要一些标记过的训练实例来检测可能的测试样例。最近的研究工作提出了使用图像固有属性进行分类的方法。属性是指可以由人指定名称并且能在图像中观察到的特性(例如,“条纹”,“喇叭状”)。它们都是有价值的新的语义线索。研究人员已经显示了它们在面部验证、目标识别、对陌生对象描述,还有促进‘零训练样本’迁移学习方面的作用。一个对象除了它的类别之外,还有许多其他的特性。例如,一双鞋子是黑色的,一件衬衫是带条纹的,盘子是圆的,这些视觉属性对认识对象的外观和把该对象描述给其他人是非常重要的。此外,不同的对象类别往往有共同的属性,将它们模块化后会明确地允许部分学习任务之间共享关联到的属性,或者允许以前学习到关于属性的知识迁移到一个新的类别上面,这会减少训练需要的图像数目并提高鲁棒性。并且属性作为级联分类器的中间层,它们使得我们能够检测那些没有训练样本的对象类别。
技术实现思路
本专利技术的目的在于克服以往基于底层特征的图像识别方法缺陷,提出一种基于属性学习的图像识别方法,并包含了属性集自动确定和用户交互反馈等方案。此方法能够在无监督条件下提取图像的优选特征,并以具有较好语义表达能力的属性作为区分个体的介质,且在由于光线、视角等因素而造成部分属性缺失时对整体类别的判断没有太大影响,具有良好的识别鲁棒性能。本专利技术采用的技术方案如下:本专利技术提出了一种安卓平台下基于属性学习和交互反馈的图像在线识别、检索方法,共分为三层:用户层,服务器层和数据库层。系统具体功能及实现步骤为:识别功能:S1.获取待识别图片:用户可以选择要识别的目标对象图像,客户端主界面提供了两个功能选项,一个是进入拍摄图片的按钮,另一个是选择已经拍摄好的图片的按钮;S2.选择图片之后,客户端对选择的图片提取特征;S3.将提取好的特征压缩打包,上传到服务器;S4.得到服务器返回的识别结果,并显示识别结果;S5.服务器端接收客户端图像特征;S6.服务器端进行类别模板训练:训练模块用于管理员进行图像模板训练和管理,选择服务器端系统中“添加类别”按钮,添加图像类别;系统还包括用户管理类别模板的功能,选择“查看类别”按钮,可查看所有类别模板;选择相应的类别,可以查看该类别所具有的所有属性列表,通过右击选择的类别模板,选择删除该类别;S7.图像识别:服务器端对接收的客户端图像特征进行属性分类获取其所具备的属性列表,并映射到相应类别;服务器端默认为自动识别后将结果反馈至客户端,若需在服务器端显示识别结果,可选择服务器端的“识别”按钮,进行图像预测识别。检索功能:S1.获取用户对所要检索图像的属性描述,本系统客户端提供参考属性选项勾选,亦可由用户增加。或通过用户提供的样例图像获取其欲检索图像的属性列表,相关方法步骤同“识别功能”步骤。S2.服务器端获取待检属性组合列表后,与数据库中存放的类别模板所对应的属性列表进行匹配,并按匹配度高低进行排序,同时将匹配度前5位的类别其在数据库中存储的对应样例图像反馈给客户端用户。S3:用户通过客户端显示的检索结果,进行确认或选择,同时将用户的选择结果反馈至服务器端,以调整属性分类器参数。进一步,以上步骤所述图像识别和检索过程中采用基于属性的交互反馈式图像识别方法,包括:第一步:数据库的建立运用Microsoft SQLServer2012进行数据库的建立,将不同类别图像录入数据库作为样本库;第二步:图像的预处理采用图像预处理程序对样本库中的图像进行去噪、归一化大小、亮度、对比度等操作,并进行图像增强;第三步:图像的特征提取对于样本图像,选择使用颜色直方图、颜色矩或者颜色集来提取颜色特征;用几何法、模型法来提取尺度特征;用傅里叶形状描述法、几何参数法提取形状特征。第四步:属性学习及图像分类系统的图像识别与分类采用属性学习方法,即利用训练好的各属性分类器逐个对该图像特征进行测试,测定其是否具有当前属性,在这个过程中,采用排序功能,将属性分类器中预测置信度高的结果排在前面,并展现予用户;此时,用户可核查识别的属性是否正确,并给予纠错,否则默认系统属性测定结果正确,并将该测试图像添加至所具属性对应的图像池中,以便后续进一步训练该属性分类器;当测定获取了这些属性组合后就可查询属性-类别映射表以获知该待测图像所属类别,并反馈给用户。进一步,所述属性学习方法的实现包括:首先为每个属性设定一个属性分类器,将具有某属性的样本特征输入属性分类器,以此来训练属性分类器,得到样本与属性之间的映射关系;再结合属性与类别之间的映射关系,得到样本与类别之间的关系;具体是将样本xt输入卷积神经网络得到优选特征,将优选特征输入各属性分类器得到样本xt具有属性a1,a2,...,ak的后验概率,然后根据贝叶斯公式结合属性类别映射关系表得到类别的后验概率,根据后验概率的排序来判断样本所属的类别。进一步,所述属性类别映射关系表是通过训练数据统计出具有某属性的样本中属于某类别的比例得到。进一步,所述属性学习过程中属性集的确定方法为基于交互的机器挖掘属性法,包括如下步骤:第1步:从底层特征空间中产生一个候选属性a,该候选属性a须具有能够提高现有属性集A对类别Y的分类能力;第2步:将该候选属性a提交用户,进行命名;若该属性不具可命名性,则丢弃该候选属性,转至第1步;若该属性具有可命名性,则给予命名,并将该候选属性并入原属性集A=A∪a,形成新的属性集A;第3步:利用新的属性集A及样本来重新训练分类器h;第4步:当所需属性数目达到既定数量,停止算法,否则转至第1步。进一步,所述候选属性的产生方法包括如下步骤:第1步:利用现有属性集A对训练样本进行类别Y分类,即分类器h:A→Y;第2步:计算分类器h当前的混淆矩阵,混淆矩阵的值表示类别i被分类器标记为类别j的样本数量;混淆矩阵也可看成是基于类别全连接图的关联矩阵,当不同的两个类别关联性强时说明其混淆性强;第3步:通过图论的本文档来自技高网
...
一种安卓平台下基于属性学习和交互反馈的图像在线识别、检索方法

【技术保护点】
一种安卓平台下基于属性学习和交互反馈的图像在线识别、检索方法,其特征在于,包括用户层、服务器层和数据库层;所述用户层为安卓智能手机客户端,具体执行过程包括如下:识别功能:S1.获取待识别图片:用户可以选择要识别的目标对象图像,客户端主界面提供了两个功能选项,一个是进入拍摄图片的按钮,另一个是选择已经拍摄好的图片的按钮;S2.选择图片之后,客户端对选择的图片提取特征;S3.将提取好的特征压缩打包,上传到服务器;S4.得到服务器返回的识别结果,并显示识别结果;检索功能:获取用户对所要检索图像的属性描述,客户端提供参考属性选项勾选,亦可由用户增添;或通过用户提供的样本图像获取其欲检索图像的属性列表;所述服务器层包括识别模块、训练模块、检索匹配模块;所述识别模块用于响应用户发出的识别请求;所述训练模块用于管理员训练属性分类器及相关类别模板,训练好的模板存放在所述数据库里,当识别模块发出请求时,将模板发送给识别模块;所述检索匹配模块负责完成检索任务中的属性组合匹配;所述服务器层的具体执行过程包括如下:识别和训练:S5.接收客户端图像特征;S6.进行类别模板训练:所述训练模块用于管理员进行图像模板训练和管理,选择服务器端系统中“添加类别”按钮,添加图像类别;系统还包括用户管理类别模板的功能,选择“查看类别”按钮,可查看所有类别模板;选择相应的类别,可以查看该类别所具有的所有属性列表,通过右击选择的类别模板,选择删除该类别;S7.图像识别:对接收的客户端图像特征进行属性分类获取其所具备的属性列表,并映射到相应类别;服务器端默认为自动识别后将结果反馈至客户端,若需在服务器端显示识别结果,可选择服务器端的“识别”按钮,进行图像预测识别;检索功能:S8.服务器端获取待检属性组合列表后,与数据库中存放的类别模板所对应的属性列表进行匹配,并按匹配度高低进行排序,同时将匹配度前5位的类别其在数据库中存储的对应样例图像反馈给客户端用户;S9.用户通过客户端显示检索结果,进行确认或选择,同时将用户的选择结果反馈至服务器端,以调整属性分类器参数。...

【技术特征摘要】
1.一种安卓平台下基于属性学习和交互反馈的图像在线识别、检索方法,其特征在于,包括用户层、服务器层和数据库层;所述用户层为安卓智能手机客户端,具体执行过程包括如下:识别功能:S1.获取待识别图片:用户可以选择要识别的目标对象图像,客户端主界面提供了两个功能选项,一个是进入拍摄图片的按钮,另一个是选择已经拍摄好的图片的按钮;S2.选择图片之后,客户端对选择的图片提取特征;S3.将提取好的特征压缩打包,上传到服务器;S4.得到服务器返回的识别结果,并显示识别结果;检索功能:获取用户对所要检索图像的属性描述,客户端提供参考属性选项勾选,亦可由用户增添;或通过用户提供的样本图像获取其欲检索图像的属性列表;所述服务器层包括识别模块、训练模块、检索匹配模块;所述识别模块用于响应用户发出的识别请求;所述训练模块用于管理员训练属性分类器及相关类别模板,训练好的模板存放在所述数据库里,当识别模块发出请求时,将模板发送给识别模块;所述检索匹配模块负责完成检索任务中的属性组合匹配;所述服务器层的具体执行过程包括如下:识别和训练:S5.接收客户端图像特征;S6.进行类别模板训练:所述训练模块用于管理员进行图像模板训练和管理,选择服务器端系统中“添加类别”按钮,添加图像类别;系统还包括用户管理类别模板的功能,选择“查看类别”按钮,可查看所有类别模板;选择相应的类别,可以查看该类别所具有的所有属性列表,通过右击选择的类别模板,选择删除该类别;S7.图像识别:对接收的客户端图像特征进行属性分类获取其所具备的属性列表,并映射到相应类别;服务器端默认为自动识别后将结果反馈至客户端,若需在服务器端显示识别结果,可选择服务器端的“识别”按钮,进行图像预测识别;检索功能:S8.服务器端获取待检属性组合列表后,与数据库中存放的类别模板所对应的属性列表进行匹配,并按匹配度高低进行排序,同时将匹配度前5位的类别其在数据库中存储的对应样例图像反馈给客户端用户;S9.用户通过客户端显示检索结果,进行确认或选择,同时将用户的选择结果反馈至服务器端,以调整属性分类器参数。2.根据权利要求1所述的一种安卓平台下基于属性学习和交互反馈的图像在线识别、检索方法,其特征在于,在所述图像识别和检索过程中采用基于属性的交互反馈式图像识别方法,包括:第一步:数据库的建立运用Microsoft SQLServer2012进行数据库的建立,将不同类别图像录入数据库作为样本库;第二步:图像的预处理采用图像预处理程序对样本库中的图像进行去噪、归一化大小、亮度、对比度等操作,并进行图像增强;第三步:图像的特征提取对于样本图像,选择使用颜色直方图、颜色矩或者颜色集来提取颜色特征;用几何法、模型法来提取尺度特征;用傅里叶形状描述法、几何参数法提取形状特征。第四步:属性学习及图像分类系统的图像识别与分类采用属性学习...

【专利技术属性】
技术研发人员:成科扬张忠敏
申请(专利权)人:江苏大学
类型:发明
国别省市:江苏;32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1