数据并发处理方法、装置及系统、计算机设备及可读介质制造方法及图纸

本发明专利技术提供一种数据并发处理方法、装置及系统、计算机设备及可读介质。其方法包括：设置待传输的目标事件对应的原子类型的参数，初始化为0；建立数据队列，存放目标事件包括的N个数据的相关信息，各数据的相关信息中携带原子类型参数的地址信息，由多个数据发送装置根据数据队列中N个数据的相关信息，并行向远端服务器发送对应的N个数据，各数据发送装置发送完一个数据后根据原子类型参数的地址信息对原子类型参数累加1；监控原子类型参数的数值是否等于N；若等于，确定目标事件中的所有数据发送完成。本发明专利技术的技术方案，能够有效地提高数据的并发处理效率，缩短数据传输的时长，满足实时性要求比较高的场景的需求。

Data Concurrent Processing, Devices and Systems, Computer Equipment and Readable Media

【技术实现步骤摘要】
数据并发处理方法、装置及系统、计算机设备及可读介质
本专利技术涉及计算机应用
，尤其涉及一种数据并发处理方法、装置及系统、计算机设备及可读介质。
技术介绍
数据并发处理与发送技术是指通过并发的方式，把多份数据进行处理，然后在把处理完的数据发送给其他服务的技术。在现有的互联网技术中，有些数据需要经过一些步骤进行处理，然后再发送给其他服务。这类数据还有一个特点是，接收端只有接收到全部的被处理的数据，才可以组成一个有意义的数据单元供自己使用。例如一个包含图片名列表的json数据包，只把这个数据包发送给对方是没有什么用处的，因为对方得到的只是图片名列表。在这种情况下，只有把图片名对应的图片经过简单的处理之后先传给对方，然后再把这个json文件传给对方，对方才可以真正的组织出有意义的数据。现有技术中，最传统的做法是：把json中图片名列表对应的图片依次经过处理之后，和json一块儿打包发送给对方。这种方式在一个进程或者线程中，顺序处理所有任务。且现有的这种技术方案逻辑简单，实现起来比较容易。但是上述技术方案实现时，需要将全部的任务都放一个进程或者线程中顺序处理，数据的传输时间会较长，无法满足实时性要求比较高的场景的需求。
技术实现思路
本专利技术提供了一种数据并发处理方法、装置及系统、计算机设备及可读介质，用于缩短数据传输的时长，满足实时性要求比较高的场景的需求。。本专利技术提供一种数据并发处理方法，所述方法包括：设置待传输的目标事件对应的原子类型的参数，并初始化为0；建立数据队列，所述数据队列用于存放所述目标事件中包括的N个数据的相关信息，各所述数据的相关信息中携带有所述原子类型的参数的地址信息，以由多个数据发送装置根据所述数据队列中所述N个数据的相关信息，并行向远端服务器发送对应的所述N个数据，且每个所述数据发送装置发送完一个所述数据后，根据所述原子类型的参数的地址信息对所述原子类型的参数累加1；监控所述原子类型的参数的数值是否等于N；若等于，确定所述目标事件中的所有数据发送完成。本专利技术还提供一种数据并发处理方法，所述方法包括：从待传输的目标事件的数据队列中获取数据的相关信息；所述数据队列为所述数据管理装置为所述目标事件建立的，用于存放所述目标事件中包括的N个所述数据的相关信息，各所述数据的相关信息中携带有原子类型的参数的地址信息；所述原子类型的参数为所述数据管理装置为所述目标事件设置的，并初始化为0；根据所述数据的相关信息，获取对应的数据；向远端服务器发送获取的所述数据；根据所述原子类型的参数的地址信息，对原子类型的参数累加1。本专利技术提供一种数据管理装置，所述装置包括：设置模块，用于设置待传输的目标事件对应的原子类型的参数，并初始化为0；建立模块，用于建立数据队列，所述数据队列用于存放所述目标事件中包括的N个数据的相关信息，所述数据的相关信息中携带有所述原子类型的参数的地址信息，以由多个数据发送装置根据所述数据队列中所述N个数据的相关信息，并行向远端服务器发送对应的所述N个数据，且每个所述数据发送装置发送完一个所述数据后，根据所述原子类型的参数的地址信息对所述原子类型的参数累加1；监控模块，用于监控所述原子类型的参数的数值是否等于N；确定模块，用于若监控到所述原子类型的参数的数值等于N，确定所述目标事件中的所有数据发送完成。本专利技术还提供一种数据发送装置，所述装置包括：获取模块，用于从待传输的目标事件的数据队列中获取数据的相关信息；所述数据队列为所述数据管理装置为所述目标事件建立的，用于存放所述目标事件中包括的N个所述数据的相关信息，各所述数据的相关信息中携带有原子类型的参数的地址信息；所述原子类型的参数为所述数据管理装置为所述目标事件设置的，并初始化为0；所述获取模块，还用于根据所述数据的相关信息，获取对应的数据；发送模块，用于向远端服务器发送获取的所述数据；修改模块，用于根据所述原子类型的参数的地址信息，对原子类型的参数累加1。本专利技术还提供一种数据并发处理系统，包括数据管理装置和多个数据发送装置，所述多个数据发送装置采用多线程并发的工作模式；各所述数据发送装置与所述数据管理装置通信连接；所述数据管理装置采用如上所述的数据管理装置；各所述数据发送装置采用如上所述的数据发送装置。本专利技术还提供一种计算机设备，所述设备包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的数据并发处理方法。本专利技术还提供一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的数据并发处理方法。本专利技术的数据并发处理方法、装置及系统、计算机设备及可读介质，通过采用多个数据发送装置并行传输数据，能够有效地提高数据并发处理的效率，缩短数据传输的时长，满足实时性要求比较高的场景的需求；且本实施例通过设置待传输的目标事件对应的原子类型的参数，可以实现并行发送的多线程的互斥，能够有效的保证多个数据并发传输的准确性和传输效率。【附图说明】图1为本专利技术的数据并发处理方法实施例一的流程图。图2为本专利技术的数据并发处理方法实施例二的流程图。图3为本专利技术的数据并发处理方法的一种示例图。图4为本专利技术的数据管理装置实施例的结构图。图5为本专利技术的数据发送装置实施例的结构图。图6为本专利技术的数据并发处理系统实施例的结构图。图7为本专利技术的计算机设备实施例的结构图。图8为本专利技术提供的一种计算机设备的示例图。【具体实施方式】为了使本专利技术的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本专利技术进行详细描述。图1为本专利技术的数据并发处理方法实施例一的流程图。如图1所示，本实施例的数据并发处理方法，具体可以包括如下步骤：S100、设置待传输的目标事件对应的原子类型的参数，并初始化为0；本实施例的数据并发处理方法，可以应用在一个事件中具有大量的待传输数据的场景下。例如可以在新零售这个场景下，该场景中有大量的监控事件需要传输到远端服务器中。且每个监控事件中除了包含各种算法的参数、置信度之外，还有大量的图片文件名。最终需要保证在远端服务器上，可以使用这些文件名，查看到对应图片的内容。所以这种情况下除了需要发送这些监控事件本身之外，还需要把其对应的图片传输到远端服务器上。本实施例的待传输的目标事件可以为上述场景下的监控事件。实际应用中，还可以为其他类似场景下的包含大量数据的事件信息，且事件信息中包含的大量数据中的每个数据又是独立。例如本实施例的待传输的目标事件中具体可以包括N个数据，每个数据可以为一个独立的个体。本实施例中的数据可以为图片、语音或者文字等形式的数据。需要说明的是，本实施例的目标事件中除了包括N个数据外，还可以包括数据之外的其他信息如包含的各种算法的参数、置信度等，以及每个数据的标识信息如名称等。且在本实施例的场景中，数据发送端可以先发送目标事件中的N个数据，确定N个数据发送完之后，再发送目标事件中数据之外的其他信息，使得远端服务器接收其他信息后，也有N个数据做支撑，这样接收到的目标事件就是完整的，后续可以对目标事件进行相应的后续操作。本实施例的数据并发处理方法的执行主体可以为位于数据发送端的数据管理装置，该数据管理装置可以为一个独立的实体、或本文档来自技高网...

【技术保护点】
1.一种数据并发处理方法，其特征在于，所述方法包括：设置待传输的目标事件对应的原子类型的参数，并初始化为0；建立数据队列，所述数据队列用于存放所述目标事件中包括的N个数据的相关信息，各所述数据的相关信息中携带有所述原子类型的参数的地址信息，以由多个数据发送装置根据所述数据队列中所述N个数据的相关信息，并行向远端服务器发送对应的所述N个数据，且每个所述数据发送装置发送完一个所述数据后，根据所述原子类型的参数的地址信息对所述原子类型的参数累加1；监控所述原子类型的参数的数值是否等于N；若等于，确定所述目标事件中的所有数据发送完成。

【技术特征摘要】
1.一种数据并发处理方法，其特征在于，所述方法包括：设置待传输的目标事件对应的原子类型的参数，并初始化为0；建立数据队列，所述数据队列用于存放所述目标事件中包括的N个数据的相关信息，各所述数据的相关信息中携带有所述原子类型的参数的地址信息，以由多个数据发送装置根据所述数据队列中所述N个数据的相关信息，并行向远端服务器发送对应的所述N个数据，且每个所述数据发送装置发送完一个所述数据后，根据所述原子类型的参数的地址信息对所述原子类型的参数累加1；监控所述原子类型的参数的数值是否等于N；若等于，确定所述目标事件中的所有数据发送完成。2.根据权利要求1所述的方法，其特征在于，确定所述目标事件中的所有数据发送完成之后，所述方法还包括：向所述远端服务器发送所述目标事件中的数据之外的其他信息。3.根据权利要求1所述的方法，其特征在于，设置目标事件对应的原子类型的参数，并初始化为0，包括：为所述目标事件分配事件内存空间，在所述事件内存空间中存储所述目标事件的信息，并在所述事件内存空间中设置原子类型的参数，并初始化为0；所述目标事件的信息中包括所述N个数据以及数据之外的其他信息。4.根据权利要求3所述的方法，其特征在于，建立数据队列，包括：根据所述目标事件的信息，为所述目标事件的所述N个数据中的每个所述数据分配数据内存空间，在所述数据内存空间中存储对应的所述数据的标识信息和所述事件内存空间的地址信息；将所述N个数据的数据内存空间的地址信息存入一队列中，作为所述数据队列，以由所述多个数据发送装置依次根据所述数据队列中各个所述数据内存空间的地址信息获取对应的所述数据，并行向所述远端服务器发送，且每个所述数据发送装置发送完一个所述数据后，根据所述事件内存空间的地址信息，对存储的所述原子类型的参数累加1。5.根据权利要求1-4任一所述的方法，其特征在于，所述数据为图片、语音或者文字数据。6.一种数据并发处理方法，其特征在于，所述方法包括：从待传输的目标事件的数据队列中获取数据的相关信息；所述数据队列为所述数据管理装置为所述目标事件建立的，用于存放所述目标事件中包括的N个所述数据的相关信息，各所述数据的相关信息中携带有原子类型的参数的地址信息；所述原子类型的参数为所述数据管理装置为所述目标事件设置的，并初始化为0；根据所述数据的相关信息，获取对应的数据；向远端服务器发送获取的所述数据；根据所述原子类型的参数的地址信息，对原子类型的参数累加1。7.根据权利要求6所述的方法，其特征在于，从待传输的目标事件的数据队列中获取数据的相关信息，包括：从所述数据队列中获取所述数据的数据内存空间的地址信息，所述数据的数据内存空间为所述数据管理装置为所述目标事件中每个所述数据创建的，用于存储所述数据的标识信息和所述目标事件的事件内存空间的地址信息，所述目标事件的事件内存空间为所述数据管理装置创建的，用于存储所述目标事件的信息，所述目标事件的信息中包括所述N个数据以及数据之外的其他信息。8.根据权利要求6所述的方法，其特征在于，根据所述数据的相关信息，获取对应的数据，包括：根据所述数据的数据内存空间的地址信息，从对应的所述数据内存空间中获取数据的标识信息和所述目标事件的事件内存空间的地址信息；从所述事件内存空间的地址信息对应的事件内存空间中，获取所述数据的标识信息对应的所述数据。9.根据权利要求6所述的方法，其特征在于，根据所述数据的相关信息，获取对应的数据之后，向远端服务器发送获取的所述数据之前，所述方法还包括：按照预设的处理规则，对所述数据进行处理。10.根据权利要求6-9任一所述的方法，其特征在于，所述数据为图片、语音或者文字数据。11.一种数据管理装置，其特征在于，所述装置包括：设置模块，用于设置待传输的目标事件对应的原子类型的参数，并初始化为0；建立模块，用于建立数据队列，所述数据队列用于存放所述目标事件中包括的N个数据的相关信息，各所述数据的相关信息中携带有所述原子类型的参数的地址信息，以由多个数据发送装置根据所述数据队列中所述N个数据的相关信息，并行向远端服务器发送对应的所述N...

【专利技术属性】
技术研发人员：杨松，刘涛，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11