数据分类方法、装置、电子设备和存储介质制造方法及图纸

本公开提供了一种数据分类方法、装置、电子设备和存储介质，涉及人工智能领域，具体涉及深度学习和大数据技术领域。数据分类方法的具体实现方式包括：将待处理数据输入数据分类模型，得到待处理数据针对预定类别的初始概率数据；根据目标损失函数和初始概率数据，确定待处理数据针对预定类别的调整后概率数据；其中，目标损失函数以待处理数据针对预定类别的调整后概率数据为自变量；以及基于调整后概率数据，确定待处理数据的类别。其中，目标损失函数包括以下约束条件：调整后概率数据的数据分布满足预定分布。布满足预定分布。布满足预定分布。

【技术实现步骤摘要】
数据分类方法、装置、电子设备和存储介质


[0001]本公开涉及人工智能领域，具体涉及深度学习和大数据
，更具体地涉及一种数据分类方法、装置、电子设备和存储介质。

技术介绍

[0002]在分类问题中，存在的基本问题包括长尾(Long
‑
Tail)效应问题。即在数据全集中，少数类别的数据的出现频率明显高于除少数类别外其他类别的数据的出现频率。该问题给分类模型的建模带来了较大的挑战。相关技术中通常采用重加权和重采样的方式来使得模型对出现频率低的数据得到充分学习，以期通过该方式提高模型的泛化能力。

技术实现思路

[0003]提供了一种降低计算资源的消耗和提升分类精度的数据分类方法、装置、电子设备和存储介质。
[0004]本公开的一个方面提供了一种数据分类方法，包括：将待处理数据输入数据分类模型，得到待处理数据针对预定类别的初始概率数据；根据目标损失函数和初始概率数据，确定待处理数据针对预定类别的调整后概率数据；其中，目标损失函数以待处理数据针对预定类别的调整后概率数据为自变量；以及基于调整后概率数据，确定待处理数据的类别，其中，目标损失函数包括以下约束条件：调整后概率数据的数据分布满足预定分布。
[0005]本公开的另一个方面提供了一种数据分类装置，包括：初始概率获得模块，用于将待处理数据输入数据分类模型，得到待处理数据针对预定类别的初始概率数据；调整后概率确定模块，用于根据目标损失函数和初始概率数据，确定待处理数据针对预定类别的调整后概率数据；其中，目标损失函数以待处理数据针对预定类别的调整后概率数据为自变量；以及类别确定模块，用于基于调整后概率数据，确定待处理数据的类别，其中，目标损失函数包括以下约束条件：调整后概率数据的数据分布满足预定分布。
[0006]本公开的另一个方面提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的数据分类方法。
[0007]根据本公开的另一个方面提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的数据分类方法。
[0008]根据本公开的另一个方面提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开提供的数据分类方法。
[0009]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0010]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0011]图1是根据本公开实施例的数据分类方法和装置的应用场景示意图；
[0012]图2是根据本公开实施例的数据分类方法的流程示意图；
[0013]图3是根据本公开实施例的数据分类方法的原理示意图；
[0014]图4是根据本公开另一实施例的数据分类方法的原理示意图；
[0015]图5是根据本公开实施例的数据分类装置的结构框图；以及
[0016]图6是用来实施本公开实施例的数据分类方法的电子设备的结构框图。
具体实施方式
[0017]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0018]本公开提供了一种数据分类方法，该方法包括初始概率获得阶段、调整后概率确定阶段和类别确定阶段。在初始概率获得阶段中，将待处理数据输入数据分类模型，得到待处理数据针对预定类别的初始概率数据。在调整后概率确定阶段中，根据目标损失函数和初始概率数据，确定待处理数据针对预定类别的调整后概率数据。其中，目标损失函数以待处理数据针对预定类别的调整后概率数据为自变量，目标损失函数包括以下约束条件：调整后概率数据的数据分布满足预定分布。在类别确定阶段中，基于调整后概率数据，确定待处理数据的类别。
[0019]以下将结合图1对本公开提供的方法和装置的应用场景进行描述。
[0020]图1是根据本公开实施例的数据分类方法和装置的应用场景图。
[0021]如图1所示，该应用场景100中可以包括电子设备110，该电子设备110可以为具有处理功能的任意电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和服务器等等。
[0022]该电子设备110例如可以对输入的图像121、文本122或音频片段123等进行分类，从而得到分类结果130。其中，分类结果130例如可以指示图像121中目标对象的类别(例如病变类别、非病变类别等)，文本122的类别(例如体育新闻类别、财经新闻类别等)或音频片段123对应的目标对象的类别(例如老人类别、青年人类别、儿童类别等)等，本公开对此不做限定。
[0023]根据本公开的实施例，可以采用数据分类模型来对输入的图像121、文本122或音频片段123等多媒体数据进行分类。该图像121、文本122或音频片段123的类别的分布例如可以预先统计得到。该实施例可以采用数据分类模型对批量的数据进行分类，并根据统计得到的类别的分布来调整数据分类模型得到的批量的数据的分类概率，并根据调整后的分类概率来确定数据的类别。通过该调整，可以使得最终确定的数据类别的分布更为贴合预先统计得到的类别的分布，因此可以在一定程度上提高分类精度。
[0024]根据本公开的实施例，还可以采用逻辑调整方法来调整分类概率。该逻辑调整方法是从贝叶斯最优准则中推导出来的。
[0025]根据本公开的实施例，如图1所示，该应用场景100还可以包括服务器140。电子设备110可以通过网络与服务器140通信连接，该网络可以包括无线或有线通信链路。
[0026]示例性地，服务器140可以用于训练数据分类模型，并响应于电子设备110发送的模型获取请求，将训练得到的数据分类模型150发送给电子设备110，便于电子设备110对输入的图像121、文本122或音频片段123进行分类，并根据预先统计得到的分类的分布对分类结果进行调整。
[0027]示例性地，电子设备110还可以通过网络将输入的图像121、文本122或音频片段123等发送给服务器140，由服务器140根据训练得到的数据分类模型150来对图像121、文本122或音频片段123等进行分类。
[0028]根据本公开的实施例，如图1所示，该应用场景100还可以包括数据库160，该数据库160可以维护有海量的图像、文本或音频片段。服务器140可以访问该数据库160，并从数据库160中抽取部分图像、文本或音频片段作为样本图像，对数据分类模型进行训练。
[0029]需要说明的是，本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据分类方法，包括：将待处理数据输入数据分类模型，得到所述待处理数据针对预定类别的初始概率数据；根据目标损失函数和所述初始概率数据，确定待处理数据针对所述预定类别的调整后概率数据；其中，所述目标损失函数以所述待处理数据针对所述预定类别的调整后概率数据为自变量；以及基于所述调整后概率数据，确定所述待处理数据的类别，其中，所述目标损失函数包括以下约束条件：所述调整后概率数据的数据分布满足预定分布。2.根据权利要求1所述的方法，其中，所述目标损失函数还包括以下约束条件：所述调整后概率数据的数据之和为预定值。3.根据权利要求1或2所述的方法，其中，所述目标损失函数采用以下公式表示：所述目标损失函数的约束条件包括：{Y}
T
{1}
N
＝μ；其中，表示Y与之间的距离，Y为所述调整后概率数据，为所述初始概率数据，Y与均为行数为N的矩阵数据；α为超参；{1}
N
表示包括N个元素、且该N个元素的取值均为1的列向量，μ为所述预定分布。4.根据权利要求3所述的方法，其中，根据目标损失函数和所述初始概率数据，确定待处理数据针对所述预定类别的调整后概率数据包括：采用Sinkhorn算法最小化所述目标损失函数，得到所述调整后概率数据。5.根据权利要求1或2所述的方法，其中，所述待处理数据包括多个数据；所述方法还包括：针对所述多个数据中的每个数据，确定所述多个数据中针对所述每个数据的近邻数据；基于针对所述每个数据的近邻数据，确定针对所述多个数据的数据关联信息；以及基于所述数据关联信息，确定与所述调整后概率数据关联的正则项，其中，所述正则项指示所述数据关联信息，且所述目标损失函数包括所述正则项。6.根据权利要求5所述的方法，其中，所述目标损失函数采用以下公式表示：所述目标损失函数的约束条件包括：{Y}
T
{1}
N
＝μ；其中，表示Y与之间的距离，Y为所述调整后概率数据，为所述初始概率数据，Y与均为行数为N的矩阵数据，α、β为超参，为所述正则项；为指示所述数据关联信息的拉普拉斯矩阵；{1}
N
表示包括N个元素、且该N个元素的取值均为1的列向量，μ为所述预定分布。7.根据权利要求5所述的方法，其中，根据目标损失函数和所述初始概率数据，确定待
处理数据针对所述预定类别的调整后概率数据包括：采用广义条件梯度算法最小化所述目标损失函数，得到所述调整后概率数据。8.一种数据分类装置，包括：初始概率获得模块，用于将待处理数据输入数据分类模型，得到所述待处理数据针对预定类别的初始概率数据；调整后概率确定模块，用于根据目标损失函数和所述初始概率数据，确定待处理数据针对所述预定类别的调整后概率数据；其中，所述目标损失函数以所...

【专利技术属性】
技术研发人员：彭涵宇，孙明明，李平，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：