基于人工智能的记忆保存和记忆提取方法及相关设备技术

本申请涉及人工智能技术领域，尤其涉及一种基于人工智能的记忆保存和记忆提取方法及相关设备。本申请通过采集用户所在场景的视频数据和音频数据，分别进行处理得到图像信息与音频信息后，再进行分类识别，得到记忆原始文本；调用大语言模型对记忆原始文本进行处理，并将处理得到的记忆摘要与记忆原始文本存储在数据库中。在接收到用户针对过往发生事情的查询问题时，在数据库中查询并输出与查询问题对应的记忆摘要。本申请能够填补用户记忆的不足，减少用户记忆遗漏和记忆失误的可能性，减少用户脑力负担，提高工作效率和生活质量；另外基于用户输入的查询问题输出问答结果，形成记忆保存和记忆提取的闭环，方便用户使用，提高用户工作生活效率。高用户工作生活效率。

【技术实现步骤摘要】
基于人工智能的记忆保存和记忆提取方法及相关设备


[0001]本申请涉及人工智能
，尤其是涉及一种基于人工智能的记忆保存和记忆提取方法及相关设备。

技术介绍

[0002]互联网的出现与普及给用户带来了大量的信息，使得人类需要处理的信息越来越多，导致了人类存在记忆信息遗漏的现象。随着人工智能的不断发展，虽然出现了许多帮助人类完成记忆的工具，比如纸质笔记本，电脑上的笔记软件，视频会议的会议纪要软件等，但这些都需要人类主动的去打开使用，存在不方便携带和使用问题。

技术实现思路

[0003]有鉴于此，本申请提供一种基于人工智能的记忆保存和记忆提取方法及相关设备，用于填补用户记忆的不足，减少用户记忆遗漏和记忆失误的可能性，并解决现有技术存在的不方便携带和使用的技术问题。
[0004]本申请的第一方面提供基于人工智能的记忆保存和记忆提取方法，所述方法包括：采集用户所在场景的视频数据和音频数据用户所在场景的；对所述视频数据进行处理得到图像信息，及对所述音频数据进行处理得到音频信息；对所述图像信息和所述音频信息进行分类识别，得到记忆原始文本；调用大语言模型对所述记忆原始文本进行处理，并将处理得到的记忆摘要与所述记忆原始文本存储在数据库中；接收到所述用户的查询问题时，在所述数据库中查询并输出与所述查询问题对应的记忆摘要。
[0005]在一个可选的实施方式中，所述对所述视频数据进行处理得到图像信息包括：结合场景变换检测算法和速率预测算法对所述视频数据进行动态分帧采集，得到多个图像数据；对每个所述图像数据进行内容分割，得到图像数据块；对所述图像数据块进行图像识别，得到所述图像信息。
[0006]在一个可选的实施方式中，所述结合场景变换检测算法和速率预测算法对所述视频数据进行动态分帧采集，得到多个图像数据包括：运用场景变化检测算法对所述视频数据进行场景检测，得到视频场景类型；运用速率预测算法对每一种视频场景类型对应的视频数据进行自适应变换速率预测；当预测的变换速率高于预设速率阈值时，采用第一预设帧率对所述视频数据进行帧率采集，得到所述视频场景类型对应的多个图像数据；
当预测的变换速率低于所述预设速率阈值时，采用第二预设帧率对所述视频数据进行帧率采集，得到所述视频场景类型对应的多个图像数据；其中，所述第一预设帧率大于所述第二预设帧率。
[0007]在一个可选的实施方式中，所述对所述音频数据进行处理得到音频信息包括：对所述音频数据进行分帧采集，得到多个子音频数据；根据场景变换检测算法检测所述音频数据的采集场景是否发生变换；当所述音频数据的采集场景发生变换时，对所述采集场景发生变换的子音频数据进行场景分类，得到音频场景类型；对每个所述子音频数据进行音频分层，得到分层音频；对所述分层音频进行音频识别，得到所述音频信息。
[0008]在一个可选的实施方式中，所述对所述图像信息和所述音频信息进行分类识别，得到记忆原始文本包括：对所述图像信息进行分类识别得到图像文本，对所述音频信息进行分类识别得到音频文本，对所述图像文本及所述音频文本进行语义关联，得到所述记忆原始文本。
[0009]在一个可选的实施方式中，所述对所述图像文本及所述音频文本进行语义关联包括：基于场景或时间或地点或主题将所述图像文本及所述音频文本进行语义关联，以对所述图像文本及所述音频文本进行结构化合并。
[0010]在一个可选的实施方式中，所述方法还包括：根据所述视频场景类型对对应的所述图像信息进行分类压缩存储；及将所述音频场景类型及对应的所述音频信息进行存储。
[0011]在一个可选的实施方式中，当所述查询问题为所述用户通过语音形式输入的语音查询问题时，所述在所述数据库中查询并输出与所述查询问题对应的记忆摘要包括：对所述语音查询问题进行语音识别，得到文本查询问题；在所述数据库中查询并输出与所述文本查询问题对应的记忆摘要。
[0012]本申请的第二方面提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于人工智能的记忆保存和记忆提取方法的步骤。
[0013]本申请的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于人工智能的记忆保存和记忆提取方法的步骤。
[0014]综上所述，本申请实施例提供的基于人工智能的记忆保存和记忆提取方法及相关设备，采集用户所在场景的视频数据和音频数据，并分别进行处理得到图像信息与音频信息后，对所述图像信息和所述音频信息进行分类识别，得到记忆原始文本，调用大语言模型对所述记忆原始文本进行处理，并将处理得到的记忆摘要与所述记忆原始文本存储在数据库中，能够填补用户记忆的不足，减少用户记忆遗漏和记忆失误的可能性，减少用户脑力负担，提高工作效率和生活质量；另外基于用户输入的查询问题输出问答结果，形成记忆保存和记忆提取的闭环，可以方便用户使用，提高用户工作生活效率。
附图说明
[0015]图1是本申请实施例示出的基于人工智能的记忆保存和记忆提取方法的流程图；图2是本申请实施例示出的对视频数据进行处理的数据流图；图3是本申请实施例示出的对视频数据进行处理的流程图；图4是本申请实施例示出的对音频数据进行处理的数据流图；图5是本申请实施例示出的对音频数据进行处理的流程图；图6是本申请实施例示出的一种电子设备的结构图；图7是本申请实施例示出的另一种电子设备的结构图。
具体实施方式
[0016]本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指包含一个或多个所列出项目的任何或所有可能组合。
[0017]以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0018]图1是本申请实施例示出的基于人工智能的记忆保存和记忆提取方法的流程图。所述基于人工智能的记忆保存和记忆提取方法可以由电子设备执行，所述基于人工智能的记忆保存和记忆提取方法具体包括以下步骤。
[0019]S11，采集用户所在场景的视频数据和音频数据。
[0020]将用户所在场景的数据实时采集起来，作为记忆进行存储处理，起到记忆保存作用；后续当用户遗忘或者模糊不清时，可以从存储的数据中进行查找或检索，从而起到记忆提取的作用。用户所在场景的数据包括用户所在场景的视频数据和音频数据。
[0021]用户所在场景的视频数据可以包括用户面前的视觉信息及用户在用户端设备（例如，电脑）的显示器上浏览的所有图像信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的记忆保存和记忆提取方法，其特征在于，所述方法包括：采集用户所在场景的视频数据和音频数据；对所述视频数据进行处理得到图像信息，及对所述音频数据进行处理得到音频信息；对所述图像信息和所述音频信息进行分类识别，得到记忆原始文本；调用大语言模型对所述记忆原始文本进行处理，并将处理得到的记忆摘要与所述记忆原始文本存储在数据库中；接收到所述用户的查询问题时，在所述数据库中查询并输出与所述查询问题对应的记忆摘要。2.根据权利要求1中所述的基于人工智能的记忆保存和记忆提取方法，其特征在于，所述对所述视频数据进行处理得到图像信息包括：结合场景变换检测算法和速率预测算法对所述视频数据进行动态分帧采集，得到多个图像数据；对每个所述图像数据进行内容分割，得到图像数据块；对所述图像数据块进行图像识别，得到所述图像信息。3.根据权利要求2中所述的基于人工智能的记忆保存和记忆提取方法，其特征在于，所述结合场景变换检测算法和速率预测算法对所述视频数据进行动态分帧采集，得到多个图像数据包括：运用场景变化检测算法对所述视频数据进行场景检测，得到视频场景类型；运用速率预测算法对每一种视频场景类型对应的视频数据进行自适应变换速率预测；当预测的变换速率高于预设速率阈值时，采用第一预设帧率对所述视频数据进行帧率采集，得到所述视频场景类型对应的多个图像数据；当预测的变换速率低于所述预设速率阈值时，采用第二预设帧率对所述视频数据进行帧率采集，得到所述视频场景类型对应的多个图像数据；其中，所述第一预设帧率大于所述第二预设帧率。4.根据权利要求1至3中任意一项所述的基于人工智能的记忆保存和记忆提取方法，其特征在于，所述对所述音频数据进行处理得到音频信息包括：对所述音频数据进行分帧采集，得到多个子音频数据；根据场景变换检测算法检测所述音频数据的采集场景是否发生变换；当所述音频数据的采集场景发生变换时，对所...

【专利技术属性】
技术研发人员：凌瑞端，宋少鹏，
申请(专利权)人：深圳米唐科技有限公司，
类型：发明
国别省市：