【技术实现步骤摘要】
本专利技术涉及医学数据处理与人工智能，尤其涉及一种养老照护跨模态标准化评估模型的构建方法及评估系统。
技术介绍
1、近些年，人口的快速老龄化给我国带来了较大的挑战，其中一个重要问题是养老照护以及相关养老照护人员供给不足以及技能水平参差不齐的问题。解决养老相关从业人员的供给缺口问题，除了通过提高从业人员薪资以及强化养老照护技术的培训等社会、经济层面的措施之外，计算机与人工智能技术也可以有效地帮助提升养老照护人员的素质以及预防非标准化照护、医疗操作对老人的身心健康造成的伤害。
2、遵循各种照护手册的指导，可以防止养老照护人员在操作时发生事故和故障。例如在医院时，医疗照护手册要求卫生专业人员在对患者进行医疗程序之前先消毒双手，因为仔细的手部消毒可以保护患者免受医院获得性感染。文本往往是描述操作标准的权威或关键元素，其常见形式包括书籍、手册、说明书、技巧等。因为操作规范或标准往往只存在于文本版本中，所以管理员通常需要以视觉方式观察与评估这些操作是否符合规范。在公共场所，摄像头可以用视频记录养老照护人员的行为，提供视频记录供管理员来评估养老照护人员的操作是否遵循文字手册。但逐个查看视频评估行为是否规范费神费力，效率低，还受制于评估人员的专业程度和细心程度。
3、因此，亟需一种能够自动评估养老照护人员在视频中的操作是否遵循文本指令的养老照护跨模态标准化评估模型，以提高管理员的检查效率，并加强养老照护人员的操作规范性。
技术实现思路
1、本专利技术提供一种养老照护跨模态标
2、本专利技术提供一种养老照护跨模态标准化评估模型的构建方法，包括：
3、构建跨模态文本-视频片段序列数据集，其中，跨模态文本-视频片段序列数据集中包括养老照护标准文本样本数据集以及养老照护标准文本对应的视频片段序列样本数据集，视频片段序列样本数据集包括正样本数据集和负样本数据集，正样本数据集和负样本数据集中的每一视频片段均具有对应的标准化程度标签；
4、根据跨模态文本-视频片段序列数据集，通过分别对养老照护标准文本样本数据集的养老照护标准文本样本数据和视频片段序列样本数据集的视频片段序列样本数据进行编码，得到养老照护标准文本向量序列和视频片段编码序列，并对养老照护标准文本向量序列和视频片段编码序列进行编码、解码、跨模态信息融合，得到跨模态文本-视频片段序列融合表示，使模型学习养老照护标准文本与正样本数据集和负样本数据集中视频片段序列的映射关系，训练得到养老照护跨模态标准化评估模型。
5、根据本专利技术提供的一种养老照护跨模态标准化评估模型的构建方法，所述构建跨模态文本-视频片段序列数据集，包括：
6、获取养老照护标准文本样本数据集，其中的每一条养老照护标准文本样本数据记为a|t{t1,t2,..,tk}，a表示文字形式的养老照护操作名称，t表示k个对应a的养老照护操作过程文字描述；
7、根据养老照护标准文本样本数据集中的养老照护操作名称，获取养老照护操作视频集合，记为a|v{v1,v2,..,vm}，其中a表示文字形式的养老照护操作名称，v表示m个对应a的养老照护操作过程展示视频；
8、对于养老照护标准文本样本数据集中的每一条养老照护标准文本样本数据，根据养老照护操作过程文字描述，从养老照护操作视频集合中获取对应的多个视频片段并对多个视频片段进行排列，得到视频片段序列样本数据集的正样本数据集，并对正样本数据集中的视频片段序列进行负样本生成处理，得到视频片段序列样本数据集的负样本数据集，其中，负样本生成处理包括以下任一项或其任意组合：对正样本数据集中的视频片段序列进行顺序打乱处理、对正样本数据集中的视频片段序列进行部分删除处理、对正样本数据集中的视频片段序列加入冗余视频片段；
9、对正样本数据集和负样本数据集中的视频片段序列的每一视频片段标注标准化程度标签。
10、根据本专利技术提供的一种养老照护跨模态标准化评估模型的构建方法，所述对于养老照护标准文本样本数据集中的每一条养老照护标准文本样本数据，根据养老照护操作过程文字描述，从养老照护操作视频集合中获取对应的多个视频片段并对多个视频片段进行排列，得到视频片段序列样本数据集的正样本数据集，包括：
11、对于养老照护操作视频集合中的每一个养老照护操作过程展示视频，根据其场景切换时间点，对每一个养老照护操作过程展示视频进行分割，得到多个场景片段，并根据多个场景片段中每一个与养老照护标准文本样本数据中养老照护操作过程文字描述的相似度fsim(t,v)，构建多个场景片段与养老照护操作过程文字描述的映射关系；
12、根据养老照护标准文本样本数据中对应养老照护操作名称的养老照护操作过程文字描述，通过文本视频定位模型对养老照护操作视频集合中的养老照护操作过程展示视频进行片段时间戳定位，并利用视频截取工具根据定位得到的片段时间戳从养老照护操作过程展示视频中截取一个或多个时间戳视频片段，得到一个或多个时间戳视频片段与养老照护操作过程文字描述的映射关系，记为mapping＝{t※v}。
13、根据本专利技术提供的一种养老照护跨模态标准化评估模型的构建方法，所述分别对养老照护标准文本样本数据集的养老照护标准文本样本数据和视频片段序列样本数据集的视频片段序列样本数据进行编码，得到养老照护标准文本向量序列和视频片段编码序列，包括：
14、根据养老照护标准文本样本数据，通过文本编码模型将养老照护操作过程文字描述编码为养老照护标准文本向量序列，记为s＝embedding(t)，s表示养老照护标准文本向量序列，其长度为养老照护操作过程文字描述的文本长度ls，维度为ds；
15、根据视频片段序列样本数据，通过视频编码模型将视频片段序列样本数据编码为视频片段编码序列，记为{v}o+1＝embedding({v})，{v}o+1表示长度为o的视频片段序列的视频片段编码序列，视频片段编码序列的长度为o+1个，以及视频片段编码序列中的首个视频片段编码为伪视频片段编码，用于描述视频片段序列样本数据对应养老照护操作过程文字描述中包括的养老照护操作总数。
16、根据本专利技术提供的一种养老照护跨模态标准化评估模型的构建方法，文本编码模型为预训练的词向量模型或基于transformer的预训练语言模型(例如bert模型、roberta模型等)；视频编码模型为预训练的三维卷积神经网络(3d-cnn)模型或预训练的图像处理模型(例如resnet模型、vit模型等)。
17、根据本专利技术提供的一种养老照护跨模态标准化评估模型的构建方法，所述对养老照护标准文本向量序列和视频片段编码序列进行编码、解码、跨模态信息融合，得到跨模态文本-视频片段序列融合表示，包括：
18、通过第一多头自注意力机制对养老照护标准文本向量序列进行编码和解码，本文档来自技高网...
【技术保护点】
1.一种养老照护跨模态标准化评估模型的构建方法，其特征在于，包括：
2.根据权利要求1所述的养老照护跨模态标准化评估模型的构建方法，其特征在于，所述构建跨模态文本-视频片段序列数据集，包括：
3.根据权利要求2所述的养老照护跨模态标准化评估模型的构建方法，其特征在于，所述对于养老照护标准文本样本数据集中的每一条养老照护标准文本样本数据，根据养老照护操作过程文字描述，从养老照护操作视频集合中获取对应的多个视频片段并对多个视频片段进行排列，得到视频片段序列样本数据集的正样本数据集，包括：
4.根据权利要求3所述的养老照护跨模态标准化评估模型的构建方法，其特征在于，所述分别对养老照护标准文本样本数据集的养老照护标准文本样本数据和视频片段序列样本数据集的视频片段序列样本数据进行编码，得到养老照护标准文本向量序列和视频片段编码序列，包括：
5.根据权利要求4所述的养老照护跨模态标准化评估模型的构建方法，其特征在于，所述对养老照护标准文本向量序列和视频片段编码序列进行编码、解码、跨模态信息融合，得到跨模态文本-视频片段序列融合表示，包括：>
6.根据权利要求5所述的养老照护跨模态标准化评估模型的构建方法，其特征在于，所述通过第一多头自注意力机制对养老照护标准文本向量序列进行编码和解码，得到养老照护标准文本特征，包括：
7.一种养老照护标准化评估方法，其特征在于，包括：
8.一种养老照护标准化评估系统，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的养老照护跨模态标准化评估模型的构建方法和/或如权利要求7所述的养老照护标准化评估方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的养老照护跨模态标准化评估模型的构建方法和/或如权利要求7所述的养老照护标准化评估方法。
...【技术特征摘要】
1.一种养老照护跨模态标准化评估模型的构建方法，其特征在于，包括：
2.根据权利要求1所述的养老照护跨模态标准化评估模型的构建方法，其特征在于，所述构建跨模态文本-视频片段序列数据集，包括：
3.根据权利要求2所述的养老照护跨模态标准化评估模型的构建方法，其特征在于，所述对于养老照护标准文本样本数据集中的每一条养老照护标准文本样本数据，根据养老照护操作过程文字描述，从养老照护操作视频集合中获取对应的多个视频片段并对多个视频片段进行排列，得到视频片段序列样本数据集的正样本数据集，包括：
4.根据权利要求3所述的养老照护跨模态标准化评估模型的构建方法，其特征在于，所述分别对养老照护标准文本样本数据集的养老照护标准文本样本数据和视频片段序列样本数据集的视频片段序列样本数据进行编码，得到养老照护标准文本向量序列和视频片段编码序列，包括：
5.根据权利要求4所述的养老照护跨模态标准化评估模型的构建方法，其特征在于，所述对养老照护标准文本向量序列和视频...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。