模型数据处理方法、装置、设备、存储介质和程序产品制造方法及图纸

本申请提供了一种模型数据处理方法和装置，涉及互联网技术领域，可以应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景，包括：响应于第一端发送的携带有目标随机标识的连接请求，向第一端发送用于与第一端建立目标传输连接的连接响应；目标随机标识用于标识目标传输连接；响应于第一端通过目标传输连接发送的携带有目标随机标识的模型数据请求，获取对应的目标模型数据；通过目标传输连接向第一端发送携带有目标模型数据的数据响应，以使第一端基于目标模型数据执行对应的模型训练；在模型数据请求携带有第一端生成的模型更新数据的情况下，基于模型更新数据更新模型数据库。本申请能够有效提高数据连接效率和传输效率，进而提高训练效率。进而提高训练效率。进而提高训练效率。

【技术实现步骤摘要】
模型数据处理方法、装置、设备、存储介质和程序产品


[0001]本申请涉及互联网
，尤其涉及一种模型数据处理方法、装置、设备、存储介质和程序产品。

技术介绍

[0002]随人工智能技术的发展，机器和深度学习模型被广泛应用于计算机视觉、语音处理技术、自然语言处理、智能驾驶和智能医疗等领域，在相关应用中涉及大量模型的训练和存储。以计算机视觉应用中的信息流推荐场景为例，机器学习模型对文章图片和视频进行打分，然后将打分的结果应用于内容排序，让用户获取到对其有价值的内容。相关信息流产品需要训练各种机器学习模型以用于推荐系统的排序与召回环节。通常情况下，模型的训练服务和参数等训练数据的存储服务部署在不同服务器上，且训练数据需要在多台服务器中进行存储和更新，因此在模型训练中存在大量的模型数据处理需求。由于上述的分布部署方式，若训练数据存储服务端发生部署更新或异常，训练服务端需更新训练数据服务端的通信地址，进而增加重连时间成本且导致训练服务重启。
[0003]因此，需提供一种模型数据处理方案，以解决现有技术中存在的上述问题，提高模型训练效率。

技术实现思路

[0004]本申请提供了一种模型数据处理方法、装置、设备、存储介质和程序产品，可以有效降低模型数据处理的速度，优化web性能。
[0005]一方面，本申请提供了一种模型数据处理方法，所述方法包括：
[0006]接收终端发送的页面加载请求，所述页面加载请求包括页面信息；
[0007]确定与所述页面信息关联的精简样式数据；精简样式数据是对匹配的页面数据的类型信息对应的全量样式数据进行精简处理得到的；
[0008]从所述关联的精简样式数据中获取与所述目标页面数据的类型信息匹配的目标精简样式数据；
[0009]根据所述目标页面数据和所述目标精简样式数据生成目标页面文件，所述目标页面文件是用于生成所述页面加载请求对应的目标页面的文件。
[0010]另一方面提供了一种模型数据处理装置，所述装置包括：
[0011]请求接收模块：用于接收终端发送的页面加载请求，所述页面加载请求包括页面信息；
[0012]页面数据获取模块：用于获取所述页面信息对应的目标页面数据和所述目标页面数据的类型信息；
[0013]关联样式数据确定模块：用于确定与所述页面信息关联的精简样式数据；精简样式数据是对匹配的页面数据的类型信息对应的全量样式数据进行精简处理得到的；
[0014]目标样式数据获取模块：用于从所述关联的精简样式数据中获取与所述目标页面
数据的类型信息匹配的目标精简样式数据；
[0015]模型数据处理模块：用于根据所述目标页面数据和所述目标精简样式数据生成目标页面文件，所述目标页面文件是用于生成所述页面加载请求对应的目标页面的文件。
[0016]另一方面提供了一种模型数据处理设备，所述设备包括处理器和存储器，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的模型数据处理方法。
[0017]另一方面提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的模型数据处理方法。
[0018]另一方面提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的模型数据处理方法。
[0019]另一方面提供了一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的模型数据处理方法。
[0020]另一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令被处理器执行时实现如上述的模型数据处理方法。
[0021]本申请提供的模型数据处理方法、装置、设备、存储介质和服务器，具有如下技术效果：
[0022]本申请响应于第一端发送的携带有目标随机标识的连接请求，向第一端发送用于与第一端建立目标传输连接的连接响应；目标随机标识用于标识目标传输连接；响应于第一端通过目标传输连接发送的携带有目标随机标识的模型数据请求，获取对应的目标模型数据；通过目标传输连接向第一端发送携带有目标模型数据的数据响应，以使第一端基于目标模型数据执行对应的模型训练；在模型数据请求携带有第一端生成的模型更新数据的情况下，基于模型更新数据更新模型数据库。本申请的传输连接建立的连接时延小，过程简短，有效提高连接效率，在模型训练的多节点传输的场景中，能够有效提高数据连接效率和传输效率，进而提高训练效率。
附图说明
[0023]为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0024]图1是本申请实施例提供的一种系统的结构示意图；
[0025]图2是本申请实施例提供的一种模型数据处理方法的流程示意图；
[0026]图3是本申请实施例提供的一种系统的框架结构图；
[0027]图4是本申请实施例提供的一种系统的通信框架图；
[0028]图5是本申请实施例提供的一种系统的模型数据处理流程示意图；
[0029]图6是本申请实施例提供的一种模型数据处理方法的流程示意图；
[0030]图7是本申请实施例提供的一种模型数据处理方法的流程示意图；
[0031]图8是本申请实施例提供的一种模型数据处理装置的结构示意图；
[0032]图9是本申请实施例提供的一种模型数据处理装置的结构示意图；
[0033]图10是本申请实施例提供的一种模型数据处理方法的服务器的硬件结构框图；
[0034]图11是本申请实施例提供的一个区块链系统的结构示意图。
具体实施方式
[0035]云计算(cloud computing)指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。云计算是网格计算(Grid Computing)、分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network Storage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型数据处理方法，应用于第二端，其特征在于，所述方法包括：响应于第一端发送的携带有目标随机标识的连接请求，向所述第一端发送用于与所述第一端建立目标传输连接的连接响应；所述目标随机标识用于标识所述目标传输连接；响应于所述第一端通过所述目标传输连接发送的携带有所述目标随机标识的模型数据请求，获取对应的目标模型数据；通过所述目标传输连接向所述第一端发送携带有所述目标模型数据的数据响应，以使所述第一端基于所述目标模型数据执行对应的模型训练；在所述模型数据请求携带有所述第一端生成的模型更新数据的情况下，基于所述模型更新数据更新模型数据库。2.根据权利要求1所述的方法，其特征在于，在所述目标传输连接对应的连接地址变更的情况下，在所述通过所述目标传输连接向所述第一端发送携带有所述目标模型数据的数据响应之前，所述方法还包括：生成携带有变更后的连接地址和所述目标模型数据的数据响应。3.根据权利要求2所述的方法，其特征在于，在所述连接地址变更为所述目标传输连接对应的第二端节点的地址变更的情况下，所述模型数据请求还携带有第一端节点的当前地址和地址拉取信息；在所述生成携带有变更后的连接地址和所述目标模型数据的数据响应之前，所述方法还包括：基于所述地址拉取信息，根据所述第一端节点的当前地址和所述第二端节点的更新地址确定所述变更后的连接地址。4.根据权利要求1所述的方法，其特征在于，在所述获取对应的目标模型数据之前，所述方法还包括：响应于所述携带有所述目标随机标识的模型数据请求，解析所述模型数据请求的请求包头，得到包头时间信息；根据所述包头时间信息和当前时间确定所述模型数据请求的请求延时；若所述请求延时大于等于所述模型数据请求对应的超时上限值，丢弃所述模型数据请求对应的请求数据包。5.根据权利要求4所述的方法，其特征在于，所述模型数据请求的请求包头中还包括训练样本量信息；在所述若所述请求延时大于等于所述模型数据请求对应的超时上限值，丢弃所述模型数据请求对应的请求数据包之前，所述方法还包括：基于所述训练样本量信息确定所述模型数据请求对应的训练耗时阈值和/或传输时延阈值；根据所述训练耗时阈值和所述传输时延阈值中的至少一个确定所述超时上限值。6.根据权利要求4或5所述的方法，其特征在于，在所述丢弃所述模型数据请求对应的请求数据包之前，所述方法还包括：根据第一单位时间内所述目标传输连接中请求数据包的丢弃包量和到达包量确定当前丢包比率；若所述当前丢包比率小于预设丢包比率，执行所述丢弃所述模型数据请求对应的请求数据包的步骤；若所述当前丢包比率大于等于预设丢包比率，执行所述通过所述获取对应的目标模型
数据的步骤。7.根据权利要求4或5所述的方法，其特征在于，在所述丢弃所述模型数据请求对应的请求数据包之前，所述方法还包括：在监测到第二单位时间内所述目标传输连接中请求数据包的到达包量大于等于第一包量阈值，或所述第二端的当前负载大于等于第一负载阈值的情况下，获取所述模型数据请求的包头时间在所述目标传输连接中的请求排序；若所述请求排序满足预设丢弃条件，执行所述丢弃所述模型数据请求对应的请求数据包的步骤，并向所述第一端发送用于指示所述目标传输连接对应的第一端节点降低发送窗口的第一指示信息。8.根据权利要求7所述的方法，其特征在于，所述方法还包括...

【专利技术属性】
技术研发人员：王自昊，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：