在线训练的特征数据写入方法和系统技术方案

本申请提供一种在线训练的特征数据写入方法、系统、计算机设备和存储介质，所述方法包括：接收多个针对在线训练的特征数据的写入操作；将各个写入操作依次汇总至预设脚本当中，其中，预设脚本预先配置写入在线训练特征数据的处理指令；请求redis服务端运行预设脚本，以通过redis服务端依次执行各个写入操作和在redis集群中写入在线训练的特征数据。上述方法仅需将多个请求通过预设脚本一次发送，向redis服务端请求一次，减少网络开销和网络时延，即可触发多个在线训练的特征数据的写入以及进行特征数据的在线训练，提高在线训练特殊数据的效率。

【技术实现步骤摘要】
在线训练的特征数据写入方法和系统
本申请涉及数据处理
，具体而言，本申请涉及一种在线训练的特征数据写入方法、系统、计算机设备和存储介质。
技术介绍
Redis(RemoteDictionaryServer，远程字典服务)性能十分优越，可以支持每秒十几万此的读/写操作，其性能远超数据库，并且还支持集群、分布式、主从同步等配置，原则上可以无限扩展，让更多的数据存储在内存中。机器学习有许多训练特征，针对在线数据会存储很多维度的特征数据。在训练过程中需要调用大量在线特征以及训练后产生大量在线特征都会存储在redis集群中。在redis中读写操作分离，在线特征通过writer服务写入到redis集群，以及由reader服务从redis集群中汇总或者读取对应的特征数据。导致在每次在线训练中读写数据都得分别直接调用若干次redis操作中的writer服务和reader服务，对redis的操作频率高，影响了在线训练效率。
技术实现思路
基于此，有必要针对上述的技术缺陷，特别是操作redis频率高，在线训练效率低的技术缺陷，提供一种在线训练的特征数据写入方法、系统、计算机设备和存储介质。一种在线训练的特征数据写入方法，包括如下步骤：接收多个针对在线训练的特征数据的写入操作；将各个写入操作依次汇总至预设脚本当中，其中，所述预设脚本预先配置写入在线训练所述特征数据的处理指令；请求redis服务端运行所述预设脚本，以通过所述redis服务端依次执行各个写入操作和在redis集群中写入在线训练的特征数据。在一个实施例中，所述预设脚本是Lua脚本语言编写的脚本。在一个实施例中，在所述将各个写入操作依次汇总至预设脚本当中的步骤之前，还包括：将各个在线训练所述特征数据的读取操作写入所述预设脚本中，以使处理指令调用所述在线训练的特征数据。在一个实施例中，所述redis服务端还用于在约束条件满足时，启动执行所述预设脚本。在一个实施例中，所述请求redis服务端运行所述预设脚本的步骤，包括：向所述redis服务端上传所述预设脚本；向所述redis服务端发送执行请求，以请求所述redis服务端运行所述预设脚本。在一个实施例中，所述redis服务端还用于接收其他redis客户端发送的执行请求来运行所述预设脚本。在一个实施例中，所述redis服务端还用于在检测到所述预设脚本发生更新时执行更新后的预设脚本。一种在线训练的特征数据写入系统，包括：接收模块，用于接收针多个对在线训练的特征数据的写入操作；汇总模块，用于将各个写入操作依次汇总至预设脚本当中，其中，所述预设脚本预先配置写入在线训练所述特征数据的处理指令；运行模块，用于请求redis服务端运行所述预设脚本，以通过所述redis服务端依次执行各个写入操作和在redis集群中写入在线训练的特征数据。一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例所述在线训练的特征数据写入方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述在线训练的特征数据写入方法的步骤。上述的在线训练的特征数据写入方法、系统、计算机设备和存储介质，通过接收多个针对在线训练的特征数据的写入操作，将各个写入操作依次汇总至预设脚本当中，其中，预设脚本预先配置写入在线训练特征数据的处理指令，请求redis服务端运行预设脚本，通过redis服务端依次执行各个写入操作和在redis集群中写入在线训练的特征数据；仅需将多个请求通过预设脚本一次发送，向redis服务端请求一次，减少网络开销和网络时延，即可触发多个在线训练的特征数据的写入以及进行特征数据的在线训练，提高在线训练特殊数据的效率。本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过实践了解到。附图说明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为一个实施例中提供的在线训练的特征数据写入方法的实施环境图；图2为redis操作的原理示意图；图3为一个实施例中在线训练的特征数据写入方法的流程图；图4为一个实施例中在线训练的特征数据写入系统的结构示意图；图5为一个实施例中计算机设备的内部结构示意图。具体实施方式下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。本
技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。如图1所示，图1为一个实施例中提供的在线训练的特征数据写入方法的实施环境图，在该实施环境中，包括计算机设备110以及服务器设备120。服务器设备120上配置有redis的数据库并且安装有redis服务端，redis服务端可以对redis集群进行读写操作，以及计算机设备110上安装有redis客户端。计算机设备110可以通过redis客户端向redis服务端发送请求和向redis服务端的数据库配置脚本文件，redis服务端响应所接收的请求，以及执行所配置的脚本文件。需要说明的是，计算机设备110可为台式计算机、笔记本电脑、平板电脑等，但并不局限于此。计算机设备110以及服务器设备120可以通过网络进行连接，本申请在此不做限制。如图2所示，图2为redis操作的原理示意图，在redis数据库中，大量的在线特征存储在redis集群当中。redis操作中读写分离，特征数据流需要通过writer写入到redis集群，以及reader负责从redis集群中汇总或者读取对应的特征数据。由于存储着特征数据的redis集群中读本文档来自技高网...

【技术保护点】
1.一种在线训练的特征数据写入方法，其特征在于，包括如下步骤：/n接收多个针对在线训练的特征数据的写入操作；/n将各个写入操作依次汇总至预设脚本当中，其中，所述预设脚本预先配置写入在线训练所述特征数据的处理指令；/n请求redis服务端运行所述预设脚本，以通过所述redis服务端依次执行各个写入操作和在redis集群中写入在线训练的特征数据。/n

【技术特征摘要】
1.一种在线训练的特征数据写入方法，其特征在于，包括如下步骤：
接收多个针对在线训练的特征数据的写入操作；
将各个写入操作依次汇总至预设脚本当中，其中，所述预设脚本预先配置写入在线训练所述特征数据的处理指令；
请求redis服务端运行所述预设脚本，以通过所述redis服务端依次执行各个写入操作和在redis集群中写入在线训练的特征数据。


2.根据权利要求1所述的在线训练的特征数据写入方法，其特征在于，所述预设脚本是Lua脚本语言编写的脚本。


3.根据权利要求1所述的在线训练的特征数据写入方法，其特征在于，在所述将各个写入操作依次汇总至预设脚本当中的步骤之前，还包括：
将各个在线训练所述特征数据的读取操作写入所述预设脚本中，以使处理指令调用所述在线训练的特征数据。


4.根据权利要求1所述的在线训练的特征数据写入方法，其特征在于，所述redis服务端还用于在约束条件满足时，启动执行所述预设脚本。


5.根据权利要求1所述的在线训练的特征数据写入方法，其特征在于，所述请求redis服务端运行所述预设脚本的步骤，包括：
向所述redis服务端上传所述预设脚本；
向所述redis服务端发送执行请求，以请求所述redis服务端运行所述...

【专利技术属性】
技术研发人员：饶慧林，
申请(专利权)人：广州华多网络科技有限公司，
类型：发明
国别省市：广东;44