一种多模态细粒度特征混合识别系统及方法技术方案

本发明专利技术提供一种多模态细粒度特征混合识别系统及方法，涉及细粒度特征混合识别技术领域。该系统，包括自适应多模传感器、多模态细粒度图像采集和图像信息预处理，所述多模态细粒度图像采集包括权值附加模态特征，所述图像信息预处理包括高频系数处理和低频系数处理，所述自适应多模传感器连接有多模态细粒度信息，所述多模态细粒度信息连接至权值附加模态特征。该系统及方法有效去除噪声的同时，保存原采集图像的细粒度特征信息，在一定程度上提高了去噪性能，并且可以成功地用于预测真实反映几乎所有尺度多模态细粒度特征的能谱能量分布，有望在多种模态的细粒度特征之间相互预测和建立流动中类湍流行为的多尺度相互作用模型。型。型。

【技术实现步骤摘要】
一种多模态细粒度特征混合识别系统及方法


[0001]本专利技术涉及细粒度特征混合识别
，具体为一种多模态细粒度特征混合识别系统及方法。

技术介绍

[0002]随着现在互联网技术的飞速发展和智慧生活的概念逐渐完善，文字、图像、音频、视频等数据正在呈指数式增长，人们生活中越来越多地运用带各种图像识别技术，通过对图像进行采集以及细粒度分析，进而对图像识别系统进行逐步完善，多种模态的数据从不同的角度描述着同一个事件或者主题，使人们对其的理解更加充分与丰富，而如何有效利用多模态数据完成相应场景下的指定任务，成为研究领域的研究热点。近几年来，随着深度学习技术的快速发展，人们越来越有能力解决更加复杂的机器学习问题，在分析处理多模态数据方面也取得了巨大的进步。
[0003]在进行个人身份识别时，数据处理者利用生物特征进行个人身份认证的，应当对必要性、安全性进行风险评估，不得将人脸、步态、指纹、虹膜、声纹等生物特征作为唯一的个人身份认证方式，以强制个人同意收集其个人生物特征信息。单模态的生物特征识别技术，如指纹识别、人脸识别、掌纹识别、虹膜识别、手本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态细粒度特征混合识别系统，包括自适应多模传感器(3)、多模态细粒度图像采集(1)和图像信息预处理(2)，其特征在于：所述多模态细粒度图像采集(1)包括权值附加模态特征(5)，所述图像信息预处理(2)包括高频系数处理(7)和低频系数处理(8)，所述自适应多模传感器(3)连接有多模态细粒度信息(4)，所述多模态细粒度信息(4)连接至权值附加模态特征(5)，所述权值附加模态特征(5)连接有小波包分解图像特征(6)，所述小波包分解图像特征(6)连接至高频系数处理(7)和低频系数处理(8)，所述高频系数处理(7)和低频系数处理(8)分别连接有Wiener滤波(9)和最优阈值计算(10)，所述Wiener滤波(9)和最优阈值计算(10)分别连接有小波包阈值去噪(11)，所述小波包阈值去噪(11)连接有中值滤波(12)，所述中值滤波(12)连接有特征识别输出(13)。2.根据权利要求1所述的一种多模态细粒度特征混合识别系统，其特征在于：所述特征识别输出(13)包括多模态特征噪音图像(14)，所述多模态特征噪音图像(14)连接有噪音类型分辨(15)，所述噪音类型分辨(15)连接有分解图像数据(16)，所述分解图像数据(16)连接有数学线性滤波(17)，所述数学线性滤波(17)连接有非线性滤波(18)，所述非线性滤波(18)连接有重构图像(19)，所述重构图像(19)连接有图像平滑处理(20)，所述图像平滑处理(20)连接有图像去噪(21)。3.根据权利要求1所述的一种多模态细粒度特征混合识别系统，其特征在于：所述小波包阈值去噪(11)使用小波阈值去噪法。4.根据权利要求1所述的一种多模态细粒度特征混合识别系统，其特征在于：所述小波包阈值去噪(11)包括信号小波包分解、选取最优小波包基、小波包分解系数阈值量化和量化信号小波包重构。5.一种多模态细粒度特征混合识别方法，其特征在于：具体包括以下步骤：S1.图像信号获取根据自适应多模图像获取传感器，模板生成器基于细粒度微动作，利用注意力机制和统计函数聚合局部相邻的各帧，并获得若干局部微动模板将多个微动模板进行聚合，通过时间池化模块获得多特征细粒度信号；S2.多模态特征赋予从输入的多特征细粒度信号序列中获得剪影和姿势热图，将其送入相应的特征提取...

【专利技术属性】
技术研发人员：杨杰，
申请(专利权)人：重庆工贸职业技术学院，
类型：发明
国别省市：