多模态信息对齐应用方法、系统、介质及设备技术方案

本发明专利技术提供了一种多模态信息对齐应用方法、系统、介质及设备，包括：在多个功能模块之间构建脑语特征信息编码；利用持续反馈学习以对齐统一多模块的脑语特征编码信息；调整长时记忆LTM模块间竞争成为短时记忆STM模块的权重信息；输出STM脑语特征信息至执行LTM单元实现决策可视化和学习性能评估。本发明专利技术在LTM模块脑语信息提取过程中，结合注意力机制，充分考虑LTM模块之间的相互影响，使得不同功能模块产生关联的决策评估，确保从不同模块提取的信息具有统一对齐的表达；结合分布式的类赫布学习算法优化信息块的权重，提升模型的预测评估能力，从而全面提升类脑行为决策架构的竞争决策和协同学习性能，使类脑行为决策系统更具适应性和智能性。

【技术实现步骤摘要】

本专利技术涉及类脑计算的，具体地，涉及多模态信息对齐应用方法及系统，尤其涉及基于协同注意力机制的多模态信息对齐应用方法及计算机系统。

技术介绍

1、在类脑计算领域，实现真正意义上的自主机器人关键在于构建能够模拟人类意识的行为决策计算模型和架构，从而使机器人具备处理未预见事件的能力。类脑行为决策架构，如基于意识图灵机(ctm)的模型，为这一目标的实现提供了可能。然而，当前的类脑行为决策架构在实际应用中仍面临诸多挑战。

2、首先，多个功能模块之间的协作和竞争活动依赖于模块之间传递的特定信息编码。由于不同模块基于不同的算法和数据源工作，它们产生的信息可能存在不一致性和噪声。这些不一致性不仅增加了信息处理的复杂度，还可能导致错误的决策结果。因此，如何实现多个功能模块之间信息的统一编码和准确决策评估是一个亟待解决的问题。

3、其次，传统的方法在处理多个功能模块之间的相互影响时往往存在不足。它们往往难以充分考虑不同模块之间的相互作用和动态变化，导致预测能力不足和决策效果不佳。此外，不同模块之间的信息编码能力差异较大，协同方式单一低效，缺乏学习和本文档来自技高网...

【技术保护点】

1.一种多模态信息对齐应用方法，其特征在于，所述方法包括如下步骤：

2.根据权利要求1所述的多模态信息对齐应用方法，其特征在于，所述步骤S1中：

3.根据权利要求1所述的多模态信息对齐应用方法，其特征在于，所述步骤S2中：

4.根据权利要求1所述的多模态信息对齐应用方法，其特征在于，所述步骤S3中：

5.根据权利要求1所述的多模态信息对齐应用方法，其特征在于，所述步骤S4中：

6.根据权利要求1所述的多模态信息对齐应用方法，其特征在于，所述步骤S5中：

7.一种多模态信息对齐应用系统，其特征在于，所述系统包括如下模块...

【技术特征摘要】

1.一种多模态信息对齐应用方法，其特征在于，所述方法包括如下步骤：

2.根据权利要求1所述的多模态信息对齐应用方法，其特征在于，所述步骤s1中：

3.根据权利要求1所述的多模态信息对齐应用方法，其特征在于，所述步骤s2中：

4.根据权利要求1所述的多模态信息对齐应用方法，其特征在于，所述步骤s3中：

5.根据权利要求1所述的多模态信息对齐应用方法，其特征在于，所述步骤s4中：

6.根据权利要求1所述的多模态信息对齐应用方法，其特征在于，所述步骤s5中：

...

【专利技术属性】
技术研发人员：陈发全，田清扬，计星武，牛昊晨，吴良顺，应忍冬，刘佩林，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：