一种基于BERT的体能训练数据特征提取方法技术

本发明专利技术实施例提供一种基于BERT的体能训练数据特征提取方法，将进行体能训练的人群日常训练数据的80％作为模型的训练集，10％作为验证集，10％作为测试集，进行K折交叉验证，在BERT部分，使用word2vec预训练体能训练项目的embedding，将训练进行聚类；改进MLM，将原始直接mask包括属性在内的整个训练信息的形式，改为仅进行mask训练的一部分信息；融合部分将满足预设条件的开展体能训练人群的年龄、性别、生理状态和心理状态分布融入到网络当中；输出部分，对受训人员的年龄、性别、生理状态、心理状态分布进行分类预测，输出采用不同训练实现有效训练的用户类别概率；将模型训练至收敛后结束。结束。结束。

【技术实现步骤摘要】
一种基于BERT的体能训练数据特征提取方法


[0001]本专利技术涉及数据处理
，特别涉及一种基于BERT的体能训练数据特征提取方法。

技术介绍

[0002]随着经济水平与国民素质的不断发展，进行体能锻炼的人群日益庞大，各类体能训练的数据也不断丰富。当对大量的体能训练数据进行分类与进一步数据分析时，只有对体能训练数据进行特征提取，将对高维原始数据映射到低维流形，才能使得体能训练数据变得可分。
[0003]期刊论文“数据挖掘技术在消防部队体能训练中的应用[J].消防技术与产品信息,2017(08):74
‑
77.”使用利用模糊分类法实现系统分类，为分类实训提供依据。利用AHP法结合学员不同项目的训练成绩和标准，逐分解计算。
[0004]但是，上述论文技术方案中，采取的模糊分类法和AHP法由于以专家的主观因素作为关键特征的判断依据，主观因素影响过大，难以实现隐性知识挖掘，不能做到科学有效的特征提取，将影响了数据分析的效果。

技术实现思路

[0005]本专利技术实施例提供了一种基于BERT的体能训练数据特征提取方法，通过特征工程，根据时序体能训练数据的差异，提取出相应的关键特征，降低训练数据特征维度,进而降低体能训练的数据分析难度，提高数据分析的效率和有效性，最终实现对训练目标效果的预测。
[0006]本专利技术实施例提供一种基于BERT的体能训练数据特征提取方法，所述方法将进行体能训练的人群日常训练数据的80％作为模型的训练集，10％作为验证集，10％作为测试集，并进行K折交叉验证，所述方法包括：
[0007]BERT部分，其具体为使用word2vec预训练体能训练项目的embedding，将训练进行聚类；改进MLM，将原始直接mask包括属性在内的整个训练信息的形式，改为仅进行mask训练的一部分信息；
[0008]融合部分，其具体为将满足预设条件的开展体能训练人群的年龄、性别、生理状态和心理状态分布融入到网络当中；
[0009]输出部分，对受训人员的年龄、性别、生理状态、心理状态分布进行分类预测，输出采用不同训练能够实现有效训练的用户类别概率；
[0010]将模型训练至收敛后结束训练，其中，所述模型的BERT部分即为训练特征提取器。
[0011]在本专利技术的一些实施例中，所述将满足预设条件的开展体能训练人群的年龄、性别、生理状态和心理状态分布融入到网络当中，包括：
[0012]将满足预设条件的开展体能训练人群分成多个部分；
[0013]若受训者进行多项训练并来自第一个部分的人群，则将剩下的作为种子人群，计
算出每项训练的年龄、性别、生理状态和心理状态分布，采用12层的Transformer进行融合。
[0014]在本专利技术的一些实施例中，所述将满足预设条件的开展体能训练人群分成多个部分，具体为：
[0015]将满足预设条件的开展体能训练人群分成64个部分。
[0016]在本专利技术的一些实施例中，所述采用12层的Transformer进行融合，具体为：
[0017]采用包含12层Transformer的BERT模型作为编码器进行编码，每层Transformer将上一层的隐变量作为输入，输出信息交互度更高的隐变量。
[0018]在本专利技术的一些实施例中，所述满足预设条件为满足预设训练时长且以预设频率进行训练。
[0019]在本专利技术的一些实施例中，所述的基于BERT的体能训练数据特征提取方法，还包括：
[0020]在采用使用改进后的MLM预测训练时，能够使用最近进行的具体项目名称ID及其属性进行预测，以使不同属性的embedding在语义空间中对齐。
[0021]本专利技术实施例提供的基于BERT的体能训练数据特征提取方法，具有以下优点：其在收到体能训练数据输入后，通过改进的BERT方法进行体能训练特征提取假设每项训练为一个单词，将受训用户的训练序列看作一句话，即将原问题转化为了NLP(自然语言处理)领域的文本分类问题，借助该领域的成熟embedding方法，同时将训练目标效果预测问题转换为根据稳定训练人员类型的分类问题，实现体能训练数据特征提取和训练效果预测。建立了基于BERT的体能训练特征提取方法，借助BERT成熟有效的语言特征提取能力，实现了对体能训练数据特征的有效提取。
附图说明
[0022]图1为本专利技术实施例的基于BERT的体能训练数据特征提取方法的流程图；
[0023]图2为本专利技术实施例的基于BERT的体能训练数据特征提取方法的框架图。
具体实施方式
[0024]为使本领域技术人员能够更好的理解本专利技术的技术方案，下面结合附图和具体实施方式对本专利技术做进一步的说明。
[0025]在本说明书中可使用词组“在一种实施例中”、“在另一实施例中”、“在又一实施例中”、“在一实施例中”、“在一些实施例中”或“在其它实施例中”，均可指代根据本专利技术的相同或不同实施例中的一个或多个。
[0026]此后参照附图描述本专利技术的具体实施例；然而，应当理解，所专利技术的实施例仅仅是本专利技术的实施例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详尽描述以根据用户的历史的操作，判明真实的意图，避免不必要或多余的细节使得本专利技术模糊不清。因此，本专利技术的具体的结构性和功能性细节并非意在限定，而仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样性地使用本专利技术。
[0027]本专利技术实施例提供了一种基于BERT的体能训练数据特征提取方法，如图1和图2所示，所述方法将进行体能训练的人群日常训练数据的80％作为模型的训练集，10％作为验证集，10％作为测试集，并进行K折交叉验证，所述方法包括：
[0028]BERT(Bidirectional Encoder Representation From Transformer)部分，其具体为使用word2vec预训练体能训练项目的embedding，将训练进行聚类；改进MLM，将原始直接mask包括属性在内的整个训练信息的形式，改为仅进行mask训练的一部分信息；
[0029]融合部分，其具体为将满足预设条件的开展体能训练人群的年龄、性别、生理状态和心理状态分布融入到网络当中；
[0030]输出部分，对受训人员的年龄、性别、生理状态、心理状态分布进行分类预测，输出采用不同训练能够实现有效训练的用户类别概率；
[0031]将模型训练至收敛后结束训练，其中，所述模型的BERT部分即为训练特征提取器。
[0032]在本专利技术的一些实施例中，所述将满足预设条件的开展体能训练人群的年龄、性别、生理状态和心理状态分布融入到网络当中，包括：
[0033]将满足预设条件的开展体能训练人群分成多个部分；
[0034]若受训者进行多项训练并来自第一个部分的人群，则将剩下的作为种子人群，计算出每项训练的年龄、性别、生理状态和心理状态分布，采用12层的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于BERT的体能训练数据特征提取方法，其特征在于，所述方法将进行体能训练的人群日常训练数据的80％作为模型的训练集，10％作为验证集，10％作为测试集，并进行K折交叉验证，所述方法包括：BERT部分，其具体为使用word2vec预训练体能训练项目的embedding，将训练进行聚类；改进MLM，将原始直接mask包括属性在内的整个训练信息的形式，改为仅进行mask训练的一部分信息；融合部分，其具体为将满足预设条件的开展体能训练人群的年龄、性别、生理状态和心理状态分布融入到网络当中；输出部分，对受训人员的年龄、性别、生理状态、心理状态分布进行分类预测，输出采用不同训练能够实现有效训练的用户类别概率；将模型训练至收敛后结束训练，其中，所述模型的BERT部分即为训练特征提取器。2.根据权利要求1所述的基于BERT的体能训练数据特征提取方法，其特征在于，所述将满足预设条件的开展体能训练人群的年龄、性别、生理状态和心理状态分布融入到网络当中，包括：将满足预设条件的开展体能训练人群分成多个部分；若受训者进行多项训练并来自第一个部分的人群，...

【专利技术属性】
技术研发人员：刘翔，何晓，
申请(专利权)人：中国船舶集团有限公司系统工程研究院，
类型：发明
国别省市：