【技术实现步骤摘要】
本申请涉及计算机，尤其涉及一种可转移表格变换器模型训练方法、装置及存储介质。
技术介绍
1、表格数据，作为机器学习领域的重要数据类型，广泛应用于各个领域，如人口统计、医疗、金融、教育等。这种数据类型以行列的形式表达，每行代表一个样本，每列代表一个特征。针对表格数据，目前的处理方法主要包括数据预处理、数据分析、和数据建模等方面。变换器模型(transformer)在处理序列数据上展现出了卓越的性能，特别是在文本、语音和图像等领域。该模型主要由编码器和解码器两部分组成，通过自注意力机制实现输入序列与输出序列的转换。尽管这种模型在处理序列数据上具有优势，但针对表格数据，它表现出了一定的局限性。
2、首先，表格数据的特点，如多元特征、异构类型和结构化信息等，使其与其他序列数据存在显著差异。现有变换器模型处理表格数据时，往往简化地将其视为文本序列，忽略了其中的重要信息，如列描述和单元格类型等。这种简化的处理方式限制了模型的性能。其次，尽管变换器模型可以并行处理整个序列，但在计算注意力权重矩阵时，其需求的计算资源和内存空间逐渐增加，特别是当处理大规模或高维度的表格数据时。另外，虽然现有的变换器模型可以利用大量的文本数据进行预训练，但这种预训练策略并没有针对表格数据的特性进行定制化优化。这意味着，当模型从文本数据进行预训练后用于表格数据时，其迁移能力和泛化能力可能受到限制。
技术实现思路
1、有鉴于此，本申请实施例提供了一种可转移表格变换器模型训练方法、装置及存储介质，以解决现有技术
2、本申请实施例的第一方面，提供了一种可转移表格变换器模型训练方法，包括：获取原始表格数据，将原始表格数据输入到待训练的可转移表格变换器模型的输入处理器中；利用输入处理器中的列描述生成器对原始表格数据中的每个列的信息进行描述，生成列描述序列；利用输入处理器中的单元编码器对原始表格数据中的每个单元格的数据进行编码，生成单元编码序列；将列描述序列和单元编码序列组成样本序列，利用门控变换器模型将样本序列转换成嵌入向量；根据预设的机器学习任务，利用全连接层以及机器学习任务对应的损失函数对嵌入向量进行处理；利用预定的自监督垂直分区对比学习训练方法，以及有监督垂直分区对比学习训练方法，将待训练的可转移表格变换器模型在多个异构表格数据上进行预训练，得到训练后的可转移表格变换器模型。
3、本申请实施例的第二方面，提供了一种可转移表格变换器模型训练装置，包括：输入模块，被配置为获取原始表格数据，将原始表格数据输入到待训练的可转移表格变换器模型的输入处理器中；描述模块，被配置为利用输入处理器中的列描述生成器对原始表格数据中的每个列的信息进行描述，生成列描述序列；编码模块，被配置为利用输入处理器中的单元编码器对原始表格数据中的每个单元格的数据进行编码，生成单元编码序列；转换模块，被配置为将列描述序列和单元编码序列组成样本序列，利用门控变换器模型将样本序列转换成嵌入向量；处理模块，被配置为根据预设的机器学习任务，利用全连接层以及机器学习任务对应的损失函数对嵌入向量进行处理；训练模块，被配置为利用预定的自监督垂直分区对比学习训练方法，以及有监督垂直分区对比学习训练方法，将待训练的可转移表格变换器模型在多个异构表格数据上进行预训练，得到训练后的可转移表格变换器模型。
4、本申请实施例的第三方面，提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。
5、本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
6、本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
7、通过获取原始表格数据，将原始表格数据输入到待训练的可转移表格变换器模型的输入处理器中；利用输入处理器中的列描述生成器对原始表格数据中的每个列的信息进行描述，生成列描述序列；利用输入处理器中的单元编码器对原始表格数据中的每个单元格的数据进行编码，生成单元编码序列；将列描述序列和单元编码序列组成样本序列，利用门控变换器模型将样本序列转换成嵌入向量；根据预设的机器学习任务，利用全连接层以及机器学习任务对应的损失函数对嵌入向量进行处理；利用预定的自监督垂直分区对比学习训练方法，以及有监督垂直分区对比学习训练方法，将待训练的可转移表格变换器模型在多个异构表格数据上进行预训练，得到训练后的可转移表格变换器模型。本申请提供了一种灵活且高效的预训练策略，确保模型能够在不同的应用场景中都能达到良好的性能，不仅提高了计算效率，而且在处理大规模表格数据时，减少了计算资源的消耗，提高了模型的解释性，使得模型预测的结果更为透明和可靠。
本文档来自技高网...【技术保护点】
1.一种可转移表格变换器模型训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述利用所述输入处理器中的列描述生成器对所述原始表格数据中的每个列的信息进行描述，生成列描述序列，包括：
3.根据权利要求1所述的方法，其特征在于，所述利用所述输入处理器中的单元编码器对所述原始表格数据中的每个单元格的数据进行编码，生成单元编码序列，包括：
4.根据权利要求1所述的方法，其特征在于，所述利用门控变换器模型将所述样本序列转换成嵌入向量，包括：
5.根据权利要求1所述的方法，其特征在于，所述根据预设的机器学习任务，利用全连接层以及所述机器学习任务对应的损失函数对所述嵌入向量进行处理，包括：
6.根据权利要求1所述的方法，其特征在于，利用预定的自监督垂直分区对比学习训练方法，将待训练的可转移表格变换器模型在多个异构表格数据上进行预训练，包括：
7.根据权利要求1所述的方法，其特征在于，利用预定的有监督垂直分区对比学习训练方法，将待训练的可转移表格变换器模型在多个异构表格数据上进行预训练，包括：
...【技术特征摘要】
1.一种可转移表格变换器模型训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述利用所述输入处理器中的列描述生成器对所述原始表格数据中的每个列的信息进行描述，生成列描述序列，包括：
3.根据权利要求1所述的方法，其特征在于，所述利用所述输入处理器中的单元编码器对所述原始表格数据中的每个单元格的数据进行编码，生成单元编码序列，包括：
4.根据权利要求1所述的方法，其特征在于，所述利用门控变换器模型将所述样本序列转换成嵌入向量，包括：
5.根据权利要求1所述的方法，其特征在于，所述根据预设的机器学习任务，利用全连接层以及所述机器学习任务对应的损失函数对所述嵌入向量进行处理，包括：
6.根据权利要求1所述的方法，其...
【专利技术属性】
技术研发人员：杜梦雪，王芳，
申请(专利权)人：深圳须弥云图空间科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。