一种数据处理方法和装置制造方法及图纸

本发明专利技术实施例公开了一种数据处理方法和装置，该方案包括：首先接收数据发送端发送的携带待处理数据的数据属性信息的数据处理指令；然后根据该数据属性信息以及预设的该数据处理系统的当前最大处理数据量，计算该数据处理系统的当前最大接收数据量；根据该当前最大接收数据量，向该数据发送端发送数据确定指令，以使该数据发送端根据该数据确定指令，向该数据处理系统发送该数据处理指令所对应的部分待处理数据或全部待处理数据；在该缓存池中缓存该数据处理指令所对应的部分数据内容或全部数据内容。应用本发明专利技术实施例可以实时地动态调整该可缓存的数据量，提高数据处理系统的资源利用率以及稳定性。

【技术实现步骤摘要】
一种数据处理方法和装置
本专利技术涉及智能分析
，特别涉及一种数据处理方法和装置。
技术介绍
随着信息时代的飞速发展，智能时代的来临，各种数据处理系统层出不同，一般的数据处理系统的设计方式，是将超过该数据处理系统处理能力外的数据存储在数据发送端，以实现数据流控，即在某一时间内，该数据处理系统能够处理1000个数据，而数据发送端需发送10000个，那该数据处理系统只会接收1000个数据，其余9000个数据需存储于该数据发送端，以达到数据控流的效果，这种设计方式使得该数据处理系统的数据处理的缺乏实时性与友好性。而为了提高数据处理系统的数据处理的实时性与友好性，该数据处理系统开启缓存数据机制，但当该缓存数据机制开启后，不管该数据处理系统所实际接收的数据的数量以及质量，该为缓存数据预留的空间以及占用资源不会改变，当所接收数据数量非常少时，会使该数据处理系统的资源造成浪费；当所接收数据的数量非常多时，会使得数据处理系统的处理压力增大，使数据处理系统的稳定性降低。那么如何解决提高数据处理系统的资源利用率以及稳定性的问题亟待解决。
技术实现思路
本专利技术实施例公开了一种数据处理方法和装置，可以本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，应用于数据处理系统，所述数据处理系统预设缓存池，所述方法包括：接收数据发送端发送的数据处理指令，所述数据处理指令携带待处理数据的数据属性信息；根据所述数据属性信息以及预设的所述数据处理系统的当前最大处理数据量，计算所述数据处理系统的当前最大接收数据量；根据所述当前最大接收数据量，向所述数据发送端发送数据确定指令，以使所述数据发送端接收所述数据确定指令后，根据所述数据确定指令，向所述数据处理系统发送所述数据处理指令所对应的部分待处理数据或全部待处理数据；在所述缓存池中缓存所述数据处理指令所对应的部分数据内容或全部数据内容。

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于数据处理系统，所述数据处理系统预设缓存池，所述方法包括：接收数据发送端发送的数据处理指令，所述数据处理指令携带待处理数据的数据属性信息；根据所述数据属性信息以及预设的所述数据处理系统的当前最大处理数据量，计算所述数据处理系统的当前最大接收数据量；根据所述当前最大接收数据量，向所述数据发送端发送数据确定指令，以使所述数据发送端接收所述数据确定指令后，根据所述数据确定指令，向所述数据处理系统发送所述数据处理指令所对应的部分待处理数据或全部待处理数据；在所述缓存池中缓存所述数据处理指令所对应的部分数据内容或全部数据内容。2.根据权利要求1所述的方法，其特征在于，当所述数据属性信息表明所述待处理数据为至少一张图片时，所述数据属性信息还包括：作为待处理数据的各图片的分辨率以及各分辨率所对应的图片的数量。3.根据权利要求2所述的方法，其特征在于，所述根据所述数据属性信息以及预设的所述数据处理系统的当前最大处理数据量，计算所述数据处理系统的当前最大接收数据量，包括：根据第一预设计算规则、作为待处理数据的各图片的分辨率和各分辨率所对应的图片的数量，确定所述待处理数据的平均分辨率；利用第二预设计算规则、所述平均分辨率和所述当前最大处理数据量，计算所述数据处理系统的当前最大接收数据量；其中，所述第二预设计算规则为：所述当前最大接收数据量＝所述当前最大处理数据量*第一预设数值*(预设恒定分辨率/所述平均分辨率)；其中，所述第一预设阈值的取值范围为(0，1)。4.根据权利要求3所述的方法，其特征在于，所述根据第一预设计算规则、作为待处理数据的各图片的分辨率和各分辨率所对应的图片的数量，确定所述待处理数据的平均分辨率，包括：根据所述各图片的分辨率以及所述各分辨率所对应的图片的数量，确定中间分辨率；以所确定的中间分辨率为基准，确定所述各分辨率所对应的权重数值；根据所述权重数值与所述各分辨率所对应的图片的数量，确定所述待处理数据的平均权重数值，其中，所利用公式为：其中，所述为平均权重数值，所述Bi为所述分辨率i所对应的图片的数量，所述di为所述分辨率i所对应的图片对应的权重数值，所述N为各分辨率所对应的图片的数量之和；将与所述平均权重数值最接近的权重数值所对应的分辨率确定为平均分辨率。5.根据权利要求2-4任一项所述的方法，其特征在于，所述根据所述当前最大接收数据量，向所述数据发送端发送数据确定指令，包括：当所述当前最大接收数据量大于等于所述数据处理指令所对应的数据量时，向所述数据发送端发送数据确定指令，其中，所述数据确定指令携带所述数据处理指令所对应的全部待处理数据的数据属性信息；当所述当前最大接收数据量小于所述数据处理指令所对应的数据量时，向所述数据发送端发送数据确定指令，其中，所述数据确定指令携带所述数据处理指令所对应的部分待处理数据的数据属性信息；其中，所述数据处理指令所对应的数据量为所述各分辨率所对应的图片的数量之和。6.根据权利要求1所述的方法，其特征在于，所述在所述缓存池中缓存所述数据处理指令所对应的部分待处理数据或全部待处理数据，包括：通过预设接口方式在所述缓存池中缓存所述数据处理指令所对应的部分待处理数据或全部待处理数据，其中，所述预设接口方式至少包括：根据所述数据发送端的优先级，预设缓存所述部分待处理数据或全部待处理数据的顺序。7.一种数据处理装置，其特征在于，应用于数据处理系统，所述数据处理系统预设缓存池，所述装置包括：数据处理指令接收模块、当前最大接收数据量计算模块、数据确定指令发送模块和数...

【专利技术属性】
技术研发人员：周明耀，浦世亮，闫春，王志杰，谢忠贤，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江,33