【技术实现步骤摘要】
本文件涉及计算机，尤其涉及一种多模态数据的融合方法、装置及设备。
技术介绍
1、随着人们对自己的隐私数据越来越重视，资源交易中的风险防控业务也变得越来越重要。资源交易中的风险防控业务中，最常使用的数据模态是表格型tabular数据对应的模态与资源交易序列数据模态，在对风险防控进行建模时，如何有效融合不同模态的模态数据，以获得更好的模型效果。
2、神经网络中进行模态融合的处理过程可以如对不同模态的模态数据进行编码处理后，将各自模态的模态数据的表征拼接在一起，然后，可以连接一个分类头进行分类预测，该方式简单且适用，但通过上述方式进行多模态的模态数据的融合时，往往会遇到不同模态的模态数据之间“负迁移”的情况，即在进行模型训练时由于不同模态的表证模型收敛速度不一致，导致最终融合的效果可能相比于较优单模态的模态数据融合更差一些，一种可行的解决方式是对不同模态的表证模型对应的网络结构设定不同的学习率，但是，上述方式是一个非常繁琐的调参过程。为此，需要提供一种更优且更简化的多模态数据的融合方案。
技术实现思路<
本文档来自技高网...
【技术保护点】
1.一种多模态数据的融合方法，所述方法包括：
2.根据权利要求1所述的方法，所述基于每个所述第一数据表征和相应的第二位置编码信息，以及所述输入编码信息，生成所述业务数据对应的输入序列编码信息，包括：
3.根据权利要求2所述的方法，所述将每种所述非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种所述非序列化模态的模态数据对应的第一数据表征，包括：
4.根据权利要求3所述的方法，所述获取所述序列化模态的模态数据对应的输入编码信息，包括：
5.根据权利要求4所述的方法，所述方法还包括：
...
【技术特征摘要】
1.一种多模态数据的融合方法，所述方法包括：
2.根据权利要求1所述的方法，所述基于每个所述第一数据表征和相应的第二位置编码信息，以及所述输入编码信息，生成所述业务数据对应的输入序列编码信息，包括：
3.根据权利要求2所述的方法，所述将每种所述非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种所述非序列化模态的模态数据对应的第一数据表征，包括：
4.根据权利要求3所述的方法，所述获取所述序列化模态的模态数据对应的输入编码信息，包括：
5.根据权利要求4所述的方法，所述方法还包括：
6.根据权利要求5所述的方法，所述基于所述非序列化模态的第一模态数据样本和预设的第一损失函数对...
【专利技术属性】
技术研发人员：欧建永，赵文龙，马博群，刘腾飞，张天翼，傅幸，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。