数据处理方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:21362922 阅读:30 留言:0更新日期:2019-06-15 09:39
本申请涉及一种数据处理方法、装置、计算机设备和存储介质。所述方法包括:获取待处理数据;将所述待处理数据输入数据处理模型;获取所述数据处理模型中各预处理子模型分别输出的预处理结果;统计各预处理结果分别对应的预判概率;根据所述各预处理结果分别对应的预判概率,生成所述待处理数据对应的处理结果。根据各预处理结果分别对应的预判概率,可以验证多个预处理结果的一致性,并根据各预判概率生成待处理数据对应的处理结果,提高了模型数据处理的准确性。

Data Processing Method, Device, Computer Equipment and Storage Media

The application relates to a data processing method, device, computer equipment and storage medium. The method includes: acquiring the data to be processed; inputting the data to be processed into the data processing model; acquiring the preprocessing results output by each preprocessing sub-model in the data processing model; counting the corresponding prejudging probability of each preprocessing result; and generating the corresponding processing results of the data to be processed according to the corresponding prejudging probability of each preprocessing result. According to the corresponding pre-processing probability of each pre-processing result, the consistency of multiple pre-processing results can be verified, and the corresponding processing results of data to be processed can be generated according to each pre-processing probability, which improves the accuracy of model data processing.

【技术实现步骤摘要】
数据处理方法、装置、计算机设备和存储介质
本申请涉及计算机
,特别是涉及一种数据处理方法、装置、计算机设备和存储介质。
技术介绍
随着计算机技术的发展,出现了机器学习技术。在机器学习时,首先需要建立模型、给模型提供训练数据进行训练,利用训练后的模型对未知数据进行预测。机器学习是人工智能的核心,已经广泛地应用于识别及分类等领域。然而,传统的机器学习技术中,为了提高模型对输入数据处理的准确度,往往是在训练时给模型输入大量的训练数据,以便训练数据可以涵盖各种情况。即便如此,单一的模型在进行数据处理时仍存在出错的可能,且模型的处理结果只能由人工随机查验,准确性较低。
技术实现思路
基于此,有必要针对上述技术问题,提供一种能够提高模型对数据处理准确性的数据处理方法、装置、计算机设备和存储介质。一种数据处理方法,所述方法包括:获取待处理数据;将所述待处理数据输入数据处理模型;获取所述数据处理模型中各预处理子模型分别输出的预处理结果;统计各预处理结果分别对应的预判概率;根据所述各预处理结果分别对应的预判概率,生成所述待处理数据对应的处理结果。一种数据处理装置,所述装置包括:数据获取模块,用于获取待处理数据;数据输入模块,用于将所述待处理数据输入数据处理模型;结果获取模块,用于获取所述数据处理模型中各预处理子模型分别输出的预处理结果;概率统计模块,用于统计各预处理结果分别对应的预判概率;结果生成模块,用于根据所述各预处理结果分别对应的预判概率,生成所述待处理数据对应的处理结果。一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:获取待处理数据;将所述待处理数据输入数据处理模型;获取所述数据处理模型中各预处理子模型分别输出的预处理结果;统计各预处理结果分别对应的预判概率;根据所述各预处理结果分别对应的预判概率,生成所述待处理数据对应的处理结果。一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:获取待处理数据;将所述待处理数据输入数据处理模型;获取所述数据处理模型中各预处理子模型分别输出的预处理结果;统计各预处理结果分别对应的预判概率;根据所述各预处理结果分别对应的预判概率,生成所述待处理数据对应的处理结果。上述数据处理方法、装置、计算机设备和存储介质,获取待处理数据,将待处理数据输入数据处理模型中的多个预处理子模型,由多个预处理子模型同时对待处理数据进行处理;获取各预处理子模型分别输出的预处理结果,并统计各预处理结果分别对应的预判概率;根据各预处理结果分别对应的预判概率,可以验证多个预处理结果的一致性,并根据各预判概率生成待处理数据对应的处理结果,提高了模型数据处理的准确性。附图说明图1为一个实施例中数据处理方法的应用环境图;图2为一个实施例中数据处理方法的流程示意图;图3为一个实施例中训练初始子模型的步骤的流程示意图;图4为另一个实施例中训练初始子模型的步骤的流程示意图;图5为一个实施例中构建数据处理模型的步骤的流程示意图;图6为一个实施例中结构来源模型的结构示意图;图7为一个实施例中生成处理结果的步骤的流程示意图;图8为一个实施例中生成处理异常通知的步骤的流程示意图;图9为一个实施例中训练数据的示意图;图10为一个实施例中数据处理的示意图;图11为一个实施例中数据处理装置的结构框图;图12为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。本申请提供的数据处理方法,可以应用于如图1所示的应用环境中,应用环境中可以包括终端102和服务器104,终端102通过网络与服务器104进行通信。该方法既可以应用在终端102,也可以应用于服务器104。其中,终端102可以但不限于是各种工业计算机、个人计算机、笔记本电脑、智能手机和平板电脑。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。在一个实施例中,如图2所示,提供了一种数据处理方法,以该方法应用于图1中的终端为例进行说明,包括以下步骤:步骤202,获取待处理数据。其中,待处理数据是在使用模型时,被输入模型进行处理的数据。具体地,终端获取用户触发的数据处理指令,对数据处理指令进行解析,得到数据处理指令中待处理数据的存储地址。终端访问存储地址对应的存储空间,从访问的存储空间中提取存储的待处理数据。在一个实施例中,终端获取录入的数据标识,根据数据标识生成数据获取请求,通过网络将数据获取请求发送至服务器。服务器接收数据获取请求,根据数据获取请求中的数据标识从数据库中提取待处理数据,通过网络将待处理数据发送至终端。在一个实施例中,终端安装有图像采集装置。终端获取数据处理指令后,启动图像采集装置,终端将图像采集装置采集到的图像数据作为待处理数据。步骤204,将待处理数据输入数据处理模型。其中,数据处理模型是由多个预处理子模型组成的模型,用于对输入的待处理数据进行处理。具体地,终端获取到待处理数据后,触发数据输入指令,根据数据输入指令将获取到的待处理数据输入数据处理模型中。步骤206,获取数据处理模型中各预处理子模型分别输出的预处理结果。其中,预处理结果是数据处理模型中的预处理子模型对待处理数据的处理结果。具体地,数据处理模型由多个预处理子模型组成。终端将待处理数据输入数据处理模型后,数据处理模型中的每个预处理子模型都将对待处理数据进行处理,输出各自的预处理结果。终端获取数据处理模型中,每一个预处理子模型对待处理数据的预处理结果。步骤208,统计各预处理结果分别对应的预判概率。其中,预判概率是各预处理结果在全部预处理子模型输出的预处理结果中出现的概率,可以是各预处理结果出现的次数与预处理结果总数的比值。具体地,终端读取各预处理子模型输出的预处理结果,并统计不同的预处理结果出现的次数。终端分别计算各预处理结果出现的次数与预处理结果总数的比值,将计算得到的比值作为各预处理结果的预判概率。步骤210,根据各预处理结果分别对应的预判概率,生成待处理数据对应的处理结果。其中,处理结果是数据处理模型对输入的待处理数据的输出结果。具体地,终端统计得到各预处理结果分别对应的预判概率后,获取预设概率条件,逐个将预处理结果分别对应的预判概率同预设概率条件进行比较,筛选符合预设概率条件的预判概率所对应的预处理结果。当终端筛选到符合预设概率条件的预判概率所对应的预处理结果时,终端完成对待处理数据的处理,将筛选到的预处理结果作为输入的待处理数据对应的处理结果。其中,预设概率条件是预先设置好的用于从各预处理结果中筛选特定预处理结果的条件。预设概率条件可以是预判概率大于等于预设的概率阈值。在一个实施例中,终端通过排序算法对各预处理结果的预判概率进行排序,排序完成后,选取最高的预判概率所对应的预处理结果。排序算法可以是冒泡排序、选择排序、归并排序中的至少一种。在一个实施例中,终端根据各预处理结果和各预处理结果所对应的预判概率和处理结果,生成处理结果通知,通过显示屏对处理结果通知进行显示。在一个实施例中,数据处本文档来自技高网...

【技术保护点】
1.一种数据处理方法,所述方法包括:获取待处理数据;将所述待处理数据输入数据处理模型;获取所述数据处理模型中各预处理子模型分别输出的预处理结果;统计各预处理结果分别对应的预判概率;根据所述各预处理结果分别对应的预判概率,生成所述待处理数据对应的处理结果。

【技术特征摘要】
1.一种数据处理方法,所述方法包括:获取待处理数据;将所述待处理数据输入数据处理模型;获取所述数据处理模型中各预处理子模型分别输出的预处理结果;统计各预处理结果分别对应的预判概率;根据所述各预处理结果分别对应的预判概率,生成所述待处理数据对应的处理结果。2.根据权利要求1所述的方法,其特征在于,所述获取待处理数据之前,还包括:获取多个不同的初始子模型和训练数据;以所述训练数据对各初始子模型进行训练,得到多个预处理子模型;根据所述多个预处理子模型构建数据处理模型。3.根据权利要求1所述的方法,其特征在于,所述获取待处理数据之前,还包括:获取多个相同的初始子模型和训练数据;从所述训练数据中抽取与多个初始子模型一一对应的多个训练样本集;分别根据每个训练样本集训练对应的初始子模型,得到多个预处理子模型;根据所述多个预处理子模型构建数据处理模型。4.根据权利要求1所述的方法,其特征在于,所述将所述待处理数据输入数据处理模型包括:从训练好的结构来源模型中抽取多个不同的模型子结构;以每个模型子结构作为数据处理模型中的预处理子模型,构建所述数据处理模型;将所述待处理数据分别输入所述数据处理模型中的各预处理子模型。5.根据权利要求1所述的方法,其特征在于,所述根据所述各预处理结果分别对应的预判概率,生成所述待处理数据对应的处理结果包括:从所述各预处理结果中,筛选出符合预设概率条件的预判概率所对应的预处理结果;计算筛选到的预处理结果的不确定度...

【专利技术属性】
技术研发人员:何德裕
申请(专利权)人:鲁班嫡系机器人深圳有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1