多任务协同识别方法及系统技术方案

本发明专利技术提供了一种多任务协同识别方法和系统，属于人工智能的任务识别技术领域，该系统包括通用特征提取模块、协同特征学习模块、适境反馈评估识别模块；基于时间同步匹配机制，提取多源异构数据的通用特征，实现所述多源异构数据的通用特征描述；结合基于外部依赖的协同注意机制，将所述通用特征作为先验知识进行训练，生成通用特征间的关联记忆关系；提取多源异构数据的环境感知参数，结合所述关联记忆关系，实现多任务识别。本发明专利技术结合环境感知的适境计算理论，通过深度增强反馈判断出待识别任务的权重，自适应地根据环境变化调整待识别任务的优先级，实现多个视听觉感知识别结果同时输出的效果。

【技术实现步骤摘要】
多任务协同识别方法及系统本申请要求2018年07月09日提交的申请号为201810746362.3的中国专利技术专利申请的优先权。
本专利技术涉及人工智能的任务识别
，具体涉及一种多任务协同识别方法和系统。
技术介绍
人工智能在以深度神经网络算法为基础，以大数据、云计算、智能终端为支撑，即将进入全面爆发的新纪元。通信带宽的不断增长和传输速度的持续提升，使得海量音/视频数据获取的门槛迅速降低。面对海量数据在存储和处理上超高速、移动化和普适化的迫切需求，传统意义上基于单模态单任务处理的弱人工智能已经成为掣肘该领域发展的主要瓶颈。所谓视听媒体多任务感知识别是指基于生物视听觉感知机理，提取多源异构视听觉信息的通用特征，结合持续性深度层次递归模型,学习出具备长时记忆的时空域共享语义关联信息，实现增强反馈机制下，对不同的视听觉任务的适境感知协同识别结果。例如，一段“小明蹦蹦跳跳到学校说‘老师好！’”的音视频数据中，实现类脑认知下的多种视听觉任务同时识别的效果，即同时识别出场景(学校)、目标(小明)、目标行为(蹦跳)、目标情感(高兴)和目标语言(老师好)，而不是传统方法中对每一个识别任务建立一套单独的识别框架，分别输出识别结果，既浪费计算资源，又难以处理海量数据。大数据时代，来源于社交、信息和物理空间不同平台和终端的视听媒体数据呈现出海量异构性，传统基于人工选择特征的模式识别方法已不能满足多任务协同识别的需求。这些多源异构数据又共享着相同的语义信息，具有丰富的潜在关联。以“马”的主题为例，所有图像、视频、音频片段、立体图像和三维模型都可以从互补支撑的角度更好地描述“马”这个相同的语义概念。为了更好地满足当前通用化强人工智能发展的需要，寻找一种基于关联语义的、多源视听媒体数据的通用特征描述方法，成为进一步提高智能感知识别的处理速度、存储容量和鲁棒性的前提和基础，为视听媒体多任务协同感知识别提供有效的数据保证。对于海量多源数据，随着用户规模、地域分布和时间演变，基于深度学习的特征学习方法又产生了一些新问题：深度神经网络训练时需要大量训练数据，使其对小规模数据任务无能为力，面对海量数据的高昂训练标记成本，使其对持续数据流输入的真实识别任务性能欠佳。深度神经网络模型复杂，参数数目巨大，训练过程需要强大的计算设施，同时在面对不同的识别任务时，采用不同的卷积层结构，难以实现网络资源迅速而均衡的配置。面对复杂多样的场景变化无法根据已处理的数据时序信息，建立长时关联选择性记忆和遗忘机制，实现适境高效的自适应学习机制。例如目标从教学楼走向食堂的一段视频数据中，根据前期对教学楼和食堂两个场景的识别记忆可以将目标行为识别从学习推理为吃饭，相应的对话话题也会变化。因此，视听觉感知识别中面向多任务的持续性深度协同学习和增强反馈，成为当前视听觉智能感知识别中亟待解决的核心问题之一。
技术实现思路
本专利技术的目的在于提供一种可结合环境感知的适境计算理论，通过深度增强反馈判断出待识别任务的权重，自适应地根据环境变化调整待识别任务的优先级，实现多个视听觉感知识别任务判别的融合视听觉感知的多任务协同识别方法和系统，以解决上述
技术介绍
中存在的技术问题。为了实现上述目的，本专利技术采取了如下技术方案：一方面，本专利技术提供了一种多任务协同识别方法，包括如下步骤：步骤S110：基于时间同步匹配机制，提取多源异构数据的通用特征，实现所述多源异构数据的通用特征描述；步骤S120：结合基于外部依赖的协同注意机制，将所述通用特征作为先验知识进行训练，生成通用特征间的关联记忆关系；步骤S130：提取多源异构数据的环境感知参数，结合所述关联记忆关系，实现多任务识别。进一步的，所述步骤S110中，所述时间同步匹配机制包括：提取所述多源异构数据的低层特征流，为每个信道的数据建立一个编码概念流，作为复杂事件的参考语义编码，对所述低层特征流与所述参考语义编码进行动态时间规整，产生时间平移函数，实现语义对齐；其中，所述提取所述多源异构数据的低层特征流包括：对音频信号声波采样后，进行频谱变换，构建频谱图；对二维视频信号进行频谱变换，引入共生统计特性得到具有旋转平移不变性的二维时序信号；对三维视频序列，引入多尺度理论进行尺度空间变换，再进行频谱变换和统计共生，生成时序金字塔频谱特征。进一步的，步骤S110中，所述提取多源异构数据的通用特征，实现所述多源异构数据的通用特征描述包括：对S类异构特征，将记为ni个训练样本的特征矩阵，数据噪声部分为E，Γ为旋转因子，建立正交约束下的优化函数为：其中，Xi表示一个特征类型，Θi为Xi的投影矩阵，{Θi}表示通用语义特征子空间，W0表示语义共享矩阵，{Wi}表示特定特征矩阵，R1(W0,{Wi},{Θi})表示损失函数，R2({Θi})表示重构损失函数，R3(W0,{Wi})表示正则函数，λ表示共享矩阵系数，T表示矩阵进行转置运算，Yi表示第i个特征类别标注，F表示Frobenius范数，表示投影矩阵Θi的转置，α、β、μ1和μ2为乘数因子，rank(X)为特征矩阵X的秩，E是噪声矩阵；对多源异构数据中未标注数据的迁移自标注学习，记未标注数据集为迁移学习的标注目标集，使目标集与补充集通过{Θi}联合优化特征自主标注学习，为补充集样本特征描述，为补充集标注信息，为目标集样本特征描述，为目标集标注信息，迁移自标注学习模型表示如下：其中F(·)是目标函数，ρ是乘数因子，使用三阶段优化算法求解所述迁移自标注学习模型，获得所述通用特征描述。进一步的，所述步骤S120具体包括：对通用特征描述集e≤T＝{e1,e2,···,eT}和对应的隐变量集z≤T＝{z1,z2,···,zT}，使用平移映射ht＝fh(ht-1,et,zt)修正每个时间点的确定性隐状态变量ht，先验映射函数fz(ht-1)描述过去观察和隐变量的非线性依赖并提供隐变量分布参数；非线性观察映射函数fe(zt,ht-1)提供依赖于隐变量和状态的似然函数，利用外部记忆模型修正时序变量自动编码器，在每个时间点产生一个记忆文本ψt,得具有关联记忆关系的先验信息和后验信息如下：先验信息pθ(zt|z＜T,e＜T)＝Ν(zt|fzμ(Ψt),fzσ(Ψt-1))后验信息qφ(zt|z＜T,e≤T)＝Ν(zt|fqμ(Ψt-1,et),fqσ(Ψt-1,et))，其中，是隐变量z状态μ的平移映射函数，是隐变量z状态σ的平移映射函数，是后验概率q状态μ的平移映射函数，后验概率q状态σ的平移映射函数，先验信息是依赖于先验映射fz记忆文本的对角高斯分布函数，而对角高斯近似后验分布依赖于通过后验映射函数fq关联的记忆文本Ψt-1和当前观察et。进一步的，所述步骤S120还包括：采用协同模式感知理论，计算通用特征在任务影响下产生的时序记忆偏置值，根据所述时序记忆偏置值和通用特征生成与识别任务相关的自适应感知注意时区；使用记忆网络(LSTM)frnn提升状态历史ht，利用来自于前一时刻的隐变量和外部文本信息ct生成外部记忆Mt，产生状态更新模型如下：状态更新(ht,Mt)＝frnn(ht-1,Mt-1,zt-1,ct)利用余弦相似度评测将与记忆Mt-1每一行进行对比，产生注意权重，检索的记忆由注意权重和记忆Mt-1的加本文档来自技高网...

【技术保护点】
1.一种多任务协同识别方法，其特征在于，包括如下步骤：步骤S110：基于时间同步匹配机制，提取多源异构数据的通用特征，实现所述多源异构数据的通用特征描述；步骤S120：结合基于外部依赖的协同注意机制，将所述通用特征作为先验知识进行训练，生成通用特征间的关联记忆关系；步骤S130：提取多源异构数据的环境感知参数，结合所述关联记忆关系，实现多任务识别。

【技术特征摘要】
2018.07.09 CN 20181074636231.一种多任务协同识别方法，其特征在于，包括如下步骤：步骤S110：基于时间同步匹配机制，提取多源异构数据的通用特征，实现所述多源异构数据的通用特征描述；步骤S120：结合基于外部依赖的协同注意机制，将所述通用特征作为先验知识进行训练，生成通用特征间的关联记忆关系；步骤S130：提取多源异构数据的环境感知参数，结合所述关联记忆关系，实现多任务识别。2.根据权利要求1所述的多任务协同识别方法，其特征在于，所述步骤S110中，所述时间同步匹配机制包括：提取所述多源异构数据的低层特征流，为每个信道的数据建立一个编码概念流，作为复杂事件的参考语义编码，对所述低层特征流与所述参考语义编码进行动态时间规整，产生时间平移函数，实现语义对齐；其中，所述提取所述多源异构数据的低层特征流包括：对音频信号声波采样后，进行频谱变换，构建频谱图；对二维视频信号进行频谱变换，引入共生统计特性得到具有旋转平移不变性的二维时序信号；对三维视频序列，引入多尺度理论进行尺度空间变换，再进行频谱变换和统计共生，生成时序金字塔频谱特征。3.根据权利要求2所述的多任务协同识别方法，其特征在于，步骤S110中，所述提取多源异构数据的通用特征，实现所述多源异构数据的通用特征描述包括：对S类异构特征，将i(i＝1,...,S),记为ni个训练样本的特征矩阵，数据噪声部分为E，Γ为旋转因子，建立正交约束下的优化函数为：其中，Xi表示一个特征类型，Θi为Xi的投影矩阵，{Θi}表示通用语义特征子空间，W0表示语义共享矩阵，{Wi}表示特定特征矩阵，R1(W0,{Wi},{Θi})表示损失函数，R2({Θi})表示重构损失函数，R3(W0,{Wi})表示正则函数，λ表示共享矩阵系数，T表示矩阵进行转置运算，Yi表示第i个特征类别标注，F表示Frobenius范数，表示投影矩阵Θi的转置，α、β、μ1和μ2为乘数因子，rank(X)为特征矩阵X的秩，E是噪声矩阵；对多源异构数据中未标注数据的迁移自标注学习，记未标注数据集为迁移学习的标注目标集，使目标集与补充集通过{Θi}联合优化特征自主标注学习，为补充集样本特征描述，{Yia}为补充集标注信息，为目标集样本特征描述，{Yit}为目标集标注信息，迁移自标注学习模型表示如下：其中F(·)是目标函数，ρ是乘数因子，使用三阶段优化算法求解所述迁移自标注学习模型，获得所述通用特征描述。4.根据权利要求3所述的多任务协同识别方法，其特征在于，所述步骤S120具体包括：对通用特征描述集e≤T＝{e1,e2,…,eT}和对应的隐变量集z≤T＝{z1,z2,…,zT}，使用平移映射ht＝fh(ht-1,et,zt)修正每个时间点的确定性隐状态变量ht，先验映射函数fz(ht-1)描述过去观察和隐变量的非线性依赖并提供隐变量分布参数；非线性观察映射函数fe(zt,ht-1)提供依赖于隐变量和状态的似然函数，利用外部记忆模型修正时序变量自动编码器，在每个时间点产生一个记忆文本ψt,得具有关联记忆关系的先验信息和后验信息如下：先验信息pθ(zt|z＜T,e＜T)＝N(zt|fzμ(Ψt),fzσ(Ψt-1))后验信息qφ(zt|z＜T,e≤T)＝N(zt|fqμ(Ψt-1,et),fqσ(Ψt-1,et))，其中，是隐变量z状态μ的平移映射函数，是隐变量z状态σ的平移映射函数，是后验概率q状态μ的平移映射函数，后验概率q状态σ的平移映射函数，先验信息是依赖于先验映射fz记忆文本的对角高斯分布函数，而对角高斯近似后验分布依赖于通过后验映射函数fq关联的记忆文本Ψt-1和当前观察et。5.根据权利要求4所述的多任务协同...

【专利技术属性】
技术研发人员：明悦，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11