资源限制下优化动作识别精度的多模型选择及融合方法技术

本发明专利技术公开了一种资源限制下优化动作识别精度的多模型选择及融合方法，属于智能感知和多模态融合领域，包括：步骤1，资源限制参数和单个动作识别模型资源参数的建模；步骤2，训练actor

【技术实现步骤摘要】
资源限制下优化动作识别精度的多模型选择及融合方法


[0001]本专利技术涉及智能行为感知领域，尤其涉及一种资源限制下优化动作识别精度的多模型选择及融合方法。

技术介绍

[0002]随着智能感知设备和人工智能识别技术的发展，智能行为感知越来越受到关注。对于多模态感知场景，例如智能家居、病患看护、无人驾驶等场景，融合多种模型的识别结果来提升对这些场景采集多模态感知数据的识别精度，既带来了机会，同时也具有新的挑战。
[0003]现有的智能行为感知方法主要分为以下几种：1)以提升精度为目标的方法；2)以平衡资源消耗与精度的方法。前一种方法聚焦于最终的识别精度，而不考虑资源的开销。后一种方法将资源约束考虑在内，例如考虑设备占用率、能源消耗等因素。
[0004]然而，现有以平衡资源消耗与精度的方法只定性地考虑了能源消耗，而没有考虑更严格定量的资源限制，例如内存占用、计算时间造成的时延等限制。除此之外，现有以平衡资源消耗与精度的方法只涉及了两种模型或两种模态的融合，并未实现多于两种以上模型或模态的融合。

技术实现思路

[0005]针对现有技术所存在的问题，本专利技术的目的是提供一种资源限制下优化动作识别精度的多模型选择及融合方法，能解决现有以平衡资源消耗与精度的智能感知识别方法，没有考虑更严格定量的资源限制，以及仅涉及两种模型或两种模态融合的问题。
[0006]本专利技术的目的是通过以下技术方案实现的：
[0007]本专利技术实施方式提供一种资源限制下优化动作识别精度的多模型选择方法，包括：
[0008]步骤1，资源限制参数建模和每个动作识别模型的资源参数建模：
[0009]将根据处理资源确定的资源限制参数建模为总长方形模型，所述资源限制参数的总内存限制参数作为总长方形模型的长，所述资源限制参数的总时延限制参数作为总长方形模型的宽；
[0010]将动作识别模型库中的每个动作识别模型的资源参数建模为分长方形模型，所述资源参数的内存参数作为分长方形模型的长，所述资源参数的时延参数作为分长方形模型的宽；
[0011]所述分长方形模型的长与宽分别小于所述总长方形模型的长与宽；
[0012]步骤2，以actor
‑
critic强化学习模型作为在线选择模型，用时间对齐的多模态感知数据作为输入训练该在线选择模型的actor网络，运行该actor网络从所述动作识别模型库中选择出的模型组合中的各动作识别模型，并融合各动作识别模型的识别结果，得到最终识别结果，通过对比最终识别结果与实际的数据标签判断最终识别结果是否正确；
[0013]以多模态感知数据和所述actor网络输出的模型组合作为输入训练actor
‑
critic强化学习模型的critic网络，得出当前模型组合的价值；
[0014]利用所述步骤1的资源限制参数建模和每个动作识别模型的资源参数建模，判断模型组合是否超出资源限制参数；
[0015]结合最终识别结果是否正确和模型组合是否超出资源限制计算奖励函数，根据奖励函数基于梯度下降法更新actor网络和critic网络的参数；
[0016]步骤3，在线动作识别：
[0017]将待识别的多模态感知数据输入到训练好的在线选择模型中，由所述在线选择模型输出模型组合，运行模型组合中的各动作识别模型并融合每个动作识别模型的识别结果，得到最终的识别结果。
[0018]由上述本专利技术提供的技术方案可以看出，本专利技术实施例提供的资源限制下优化动作识别精度的多模型选择方法，其有益效果为：
[0019]通过将资源限制参数建模为总长方形模型，便于利用矩形打包方式判断在线选择模型选出的模型组合是否符合资源限制，进而能在资源限制下得出最优的模型组合，进而优化多模型融合后的识别精度。该符合能在内存和时间限制下，动态融合多种模型和模态，优化动作识别精度。
附图说明
[0020]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0021]图1为本专利技术实施例提供的资源限制下优化动作识别精度的多模型选择及融合方法流程图；
[0022]图2为本专利技术实施例提供的资源限制参数建模的示意图；
[0023]图3为本专利技术实施例提供的方法收集多模态数据的系统示意图；
[0024]图4为本专利技术实施例提供的在线识别方法示意图；
具体实施方式
[0025]下面结合本专利技术的具体内容，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。本专利技术实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
[0026]参见图1，本专利技术实施例提供一种资源限制下优化动作识别精度的多模型选择及融合方法，包括：
[0027]步骤1，资源限制参数建模和每个动作识别模型的资源参数建模：
[0028]将根据处理资源确定的资源限制参数建模为总长方形模型，所述资源限制参数的总内存限制参数作为总长方形模型的长，所述资源限制参数的总时延限制参数作为总长方
形模型的宽；
[0029]将动作识别模型库中的每个动作识别模型的资源参数建模为分长方形模型，所述资源参数的内存参数作为分长方形模型的长，所述资源参数的时延参数作为分长方形模型的宽；
[0030]所述分长方形模型的长与宽分别小于所述总长方形模型的长与宽；
[0031]步骤2，以actor
‑
critic强化学习模型作为在线选择模型，用时间对齐的多模态感知数据作为输入训练该在线选择模型的actor网络，运行该actor网络从所述动作识别模型库中选择出的模型组合中的各动作识别模型，并融合各动作识别模型的识别结果，得到最终识别结果，通过对比最终识别结果与实际的数据标签判断最终识别结果是否正确；
[0032]以多模态感知数据和所述actor网络输出的模型组合作为输入训练actor
‑
critic强化学习模型的critic网络，得出当前模型组合的价值；
[0033]利用所述步骤1的资源限制参数建模和每个动作识别模型的资源参数建模，判断模型组合是否超出资源限制参数；
[0034]结合最终识别结果是否正确和模型组合是否超出资源限制计算奖励函数，根据奖励函数基于梯度下降法更新actor网络和critic网络的参数；
[0035]步骤3，在线动作识别：
[0036]将待识别的多模态感知数据输入到训练好的在线选择模型中，由所述在线选择模型输出模型组合，运行模型组合中的各动作识别模型并融合每个动作识别模型的识别结果，得到最终本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种资源限制下优化动作识别精度的多模型选择及融合方法，其特征在于，包括：步骤1，资源限制参数建模和每个动作识别模型的资源参数建模：将根据处理资源确定的资源限制参数建模为总长方形模型，所述资源限制参数的总内存限制参数作为总长方形模型的长，所述资源限制参数的总时延限制参数作为总长方形模型的宽；将动作识别模型库中的每个动作识别模型的资源参数建模为分长方形模型，所述资源参数的内存参数作为分长方形模型的长，所述资源参数的时延参数作为分长方形模型的宽；所述分长方形模型的长与宽分别小于所述总长方形模型的长与宽；步骤2，以actor
‑
critic强化学习模型作为在线选择模型，用时间对齐的多模态感知数据作为输入训练该在线选择模型的actor网络，运行该actor网络从所述动作识别模型库中选择出的模型组合中的各动作识别模型，并融合各动作识别模型的识别结果，得到最终识别结果，通过对比最终识别结果与实际的数据标签判断最终识别结果是否正确；以多模态感知数据和所述actor网络输出的模型组合作为输入训练actor
‑
critic强化学习模型的critic网络，得出当前模型组合的价值；利用所述步骤1的资源限制参数建模和每个动作识别模型的资源参数建模，判断模型组合是否超出资源限制参数；结合最终识别结果是否正确和模型组合是否超出资源限制计算奖励函数，根据奖励函数基于梯度下降法更新actor网络和critic网络的参数；步骤3，在线动作识别：将待识别的多模态感知数据输入到训练好的在线选择模型中，由所述在线选择模型输出模型组合，运行模型组合中的各动作识别模型并融合每个动作识别模型的识别结果，得到最终的识别结果。2.根据权利要求1所述的资源限制下优化动作识别精度的多模型选择及融合方法，其特征在于，所述actor网络的损失函数是critic网络输出的价值的均值...

【专利技术属性】
技术研发人员：张兰，李向阳，刘梦境，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：