用于训练神经网络的方法和装置以及神经网络系统制造方法及图纸

本公开涉及神经网络训练。该神经网络训练涉及训练方法、训练装置和包括神经网络的系统。该神经网络训练包括：使用基于训练数据训练的神经网络提取针对第一数据的注释数据和第一可靠性值，基于具有大于或等于阈值的第二可靠性值的第二数据从第一数据之中选择第二数据，基于第二数据扩展训练数据，以及基于经过扩展的训练数据对神经网络进行再训练。

【技术实现步骤摘要】
用于训练神经网络的方法和装置以及神经网络系统相关申请的交叉引用本申请要求于2020年2月21日在韩国知识产权局提交的韩国专利申请No.10-2020-0021798的权益，该申请的公开以引用方式全部并入本文中。
本专利技术构思涉及神经网络训练方法、神经网络训练装置以及用于执行神经网络训练方法的神经网络系统。
技术介绍
人工神经网络(ANN)系统是用于模仿功能或有机神经网络的计算机系统，使机器能够学习并做出决定。诸如ANN的人工智能(AI)系统可以提高模式识别率，并且能够通过训练更准确地了解用户偏好。结果，使用神经网络模型，AI系统已经应用于各种类型的电子装置和数据处理系统。在AI系统中使用了基于机器学习或深度学习的各种类型的神经网络模型。在一些情况下，大量的训练数据用于训练神经网络模型。训练数据包括原始数据和原始数据的注释或标签。训练数据可以包括图像、数据集等。然而，当训练数据不足或不够稳健(robust)时，经过训练的神经网络的性能会劣化。因此，在本领域中需要用各种数据源训练神经网络。
技术实现思路
本专利技术构思提供用于训练神经网络的方法和装置以及包括该装置的神经网络系统，通过该方法、装置和系统，可以通过处理获得的数据和将处理结果添加为训练数据来提高神经网络的性能。根据本专利技术构思的一方面，提供了一种神经网络训练方法，该方法包括：使用基于训练数据训练的神经网络来提取针对第一数据的注释数据和第一可靠性值；基于具有大于或等于阈值的第二可靠性值的第二数据从第一数据之中选择第二数据；基于第二数据扩展训练数据；以及基于经过扩展的训练数据对神经网络进行再训练。根据本专利技术构思的另一方面，提供了一种神经网络训练装置，该装置包括：存储器，其存储一个或多个指令；以及至少一个处理器，其被配置为执行存储在存储器中的一个或多个指令，以：通过用基于初始训练数据训练的神经网络对收集数据执行推断来提取针对收集数据的注释数据；基于收集数据之中的可靠性大于或等于阈值的参考数据添加训练数据；以及基于添加的训练数据和初始训练数据对神经网络进行再训练。根据本专利技术构思的另一方面，提供了一种神经网络系统，该系统包括：学习模块，其被配置为处理收集数据以产生注释数据，通过基于注释数据的可靠性将收集数据的处理的版本选择性地添加到训练数据库中来扩展训练数据库，以及基于经过扩展的训练数据库对神经网络进行再训练；以及数据识别模块，其被配置为通过基于经过再训练的神经网络对输入数据执行推断来提取针对输入数据的识别信息。根据本专利技术构思的另一方面，提供了一种片上系统，该片上系统包括：学习模块，其被配置为通过基于神经网络对从外部装置接收的外部数据执行推断来提取针对外部数据的注释数据，通过将外部数据中的一部分添加到训练数据库中来扩展训练数据库，针对外部数据的该部分，外部数据之中的对应的注释数据具有大于或等于阈值的可靠性，以及基于经过扩展的训练数据库对神经网络进行再训练；以及数据识别模块，其被配置为基于经过再训练的神经网络对输入数据执行数据识别。根据本专利技术构思的另一方面，提供了一种训练神经网络的方法，该方法包括：基于初始训练数据训练神经网络，使用经过训练的神经网络对附加数据执行推断以产生注释数据；基于注释数据中的可靠性高于预定阈值的对应部分来选择附加数据的一部分；以及基于初始训练数据和附加数据的选择的部分以及注释数据的对应部分对神经网络进行再训练。附图说明通过以下结合附图的详细描述，将更加清楚地理解本专利技术构思的实施例，在附图中：图1是根据本专利技术构思的示例实施例的电子系统的配置的框图；图2示出了根据本专利技术构思的示例实施例的应用于神经网络系统的神经网络的示例；图3是根据本专利技术构思的示例实施例的神经网络系统的操作方法的流程图；图4A示出了训练数据，图4B示出了根据本专利技术构思的示例实施例的带注释的数据的示例；图5是根据本专利技术构思的示例实施例的训练数据扩充方法的流程图；图6示出了根据本专利技术构思的示例实施例的训练数据扩充方法；图7是根据本专利技术构思的示例实施例的由神经网络系统执行的神经网络训练方法的流程图；图8是用于解释根据本专利技术构思的示例实施例的神经网络系统和数据扩充的推断结果的图；图9A和图9B示出了根据本专利技术构思的示例实施例的可靠性分布；图10A和图10B示出了根据本专利技术构思的示例实施例的由神经网络系统执行的基于可靠性分布将数据添加到训练数据中的方法；图11至图14分别示出了根据本专利技术构思的示例实施例的训练数据的添加；图15是根据本专利技术构思的示例实施例的神经网络训练装置的配置的框图；以及图16是示出了根据本专利技术构思的示例实施例的集成电路和包括集成电路的装置的框图。具体实施方式本公开总体上涉及人工神经网络(ANN)。更特别地，涉及用各种训练数据源进行训练的神经网络。本公开的实施例用带注释的数据和未注释的数据两者来训练神经网络，以提高准确性和标准化。ANN是包括与人脑中的神经元宽松地相对应的多个连接的节点(即，人工神经元)的硬件或软件部件。每个连接或边缘将信号从一个节点传输到另一个节点(如大脑中的物理突触)。当节点接收到信号时，该节点处理信号，然后将处理后的信号传输到其他连接的节点。在一些情况下，节点之间的信号包括实数，并且通过每个节点的输入的总和的函数来计算每个节点的输出。每个节点和边缘与确定如何处理和传输信号的一个或多个节点权重相关联。在训练处理期间，调整这些权重以提高结果的准确性(即，通过最小化以某种方式与当前结果和目标结果之间的差相对应的损失函数)。边缘的权重提高或降低节点之间传输的信号的强度。在一些情况下，节点具有阈值，低于该阈值根本不发送信号。在一些示例中，节点被聚合为层。不同的层对其输入执行不同的转换。初始层称为输入层，最后一层称为输出层。在一些情况下，信号多次遍历某些层。监督学习是与无监督学习和强化学习一起的三种基本机器学习范例之一。监督学习是基于学习这样的函数的机器学习任务：该函数基于示例输入-输出对(即，带注释的训练数据)将输入映射到输出。监督学习基于由一组训练示例组成的带标签的训练数据来生成用于预测带标签的数据的函数。在一些情况下，每个示例都是由输入对象(通常是向量)和期望的输出值(即，单个值或输出向量)组成的对。监督学习算法分析训练数据并产生可以用于映射新的示例的推断函数。在一些情况下，该学习产生了正确地确定未见实例的类别标签的函数。换句话说，学习算法根据训练数据概括未见示例。在一些情况下，大量的训练数据(带注释的数据)用于在监督学习环境中训练神经网络。然而，当训练数据不足时，可以对训练数据进行转换，并且可以将转换后的数据添加为训练数据。在一些情况下，可以使用聚类技术来识别特征，而无需添加训练数据。因此，可以增加用于监督学习的训练数据的数量，但是可能降低准确性或标准化。此外，当输入数据分布不均匀或者特征之间的距离变化时，神经网络可能产生错误的结果。<本文档来自技高网...

【技术保护点】
1.一种神经网络训练方法，包括：/n使用基于训练数据训练的神经网络提取针对第一数据的注释数据和第一可靠性值；/n基于具有大于或等于阈值的第二可靠性值的第二数据，从所述第一数据之中选择所述第二数据；/n基于所述第二数据扩展所述训练数据；以及/n基于经过扩展的训练数据对所述神经网络进行再训练。/n

【技术特征摘要】
20200221 KR 10-2020-00217981.一种神经网络训练方法，包括：
使用基于训练数据训练的神经网络提取针对第一数据的注释数据和第一可靠性值；
基于具有大于或等于阈值的第二可靠性值的第二数据，从所述第一数据之中选择所述第二数据；
基于所述第二数据扩展所述训练数据；以及
基于经过扩展的训练数据对所述神经网络进行再训练。


2.根据权利要求1所述的神经网络训练方法，其中，所述注释数据包括关于对所述第一数据进行推断的结果的信息。


3.根据权利要求1所述的神经网络训练方法，其中，扩展所述训练数据包括：
通过使用多种方法转换所述第二数据来生成与所述第二数据具有相同的注释数据的第三数据；以及
将与所述第三数据中的至少一些相对应的第四数据添加到所述训练数据中。


4.根据权利要求3所述的神经网络训练方法，其中，将所述第四数据添加到所述训练数据中包括：
提取针对所述第三数据的第三可靠性值；
基于具有大于或等于参考值的第四可靠性值的第四数据，从所述第三数据之中选择所述第四数据；以及
将所述第四数据添加到所述训练数据中。


5.根据权利要求4所述的神经网络训练方法，其中，选择所述第四数据包括：选择与相对于所述训练数据的数量设置的比率相对应的第四数据的数量。


6.根据权利要求4所述的神经网络训练方法，其中，选择所述第四数据包括：基于可靠性分布从所述第三数据之中选择所述第四数据。


7.根据权利要求1所述的神经网络训练方法，还包括：
测量经过再训练的神经网络的性能；
当经过再训练的神经网络的性能低于参考水平时，调整所述阈值；以及
基于调整后的阈值从所述第一数据之中重新选择所述第二数据。


8.根据权利要求1所述的神经网络训练方法，还包括：
确定是否满足用于完成训练的条件；
当满足所述条件时，输出经过再训练的神经网络；以及
当不满足所述条件时，提取附加的注释数据和附加的可靠性值。


9.根据权利要求8所述的神经网络训练方法，其中，确定是否满足用于完成所述训练的条件包括：当经过扩展的训练数据的数量大于或等于设置数量时，确定满足所述条件。


10.根据权利要求8所述的神经网络训练方法，其中，确定是否满足用于完成所述训练的条件包括：当经过再训练的神经网络的性能大于或等于参考水平时，确定满足所述条件。


11.一种神经网络训练装置，包括：
存储器，其存储一个或多个指令；以及
至少一个处理器，其被配置为执行存储在所述存储器中的所述一个或多个指令，以：
通过用基于初始训练数据训练的神经网络对收集数据执行推断来提取针对所述收集...

【专利技术属性】
技术研发人员：金炳秀，金冏荣，金哉坤，李昶权，河相赫，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR