推导装置、模型生成装置、推导方法以及推导程序制造方法及图纸

本发明专利技术的一方面的推导装置获取对象数据，使用通过机器学习而训练完毕的推导模型，对所获取的所述对象数据执行推导任务，且输出与执行推导任务的结果相关的信息。推导模型的多个参数的至少一部分是以矩阵来表达。矩阵包含第一局部矩阵及第二局部矩阵。第一局部矩阵及第二局部矩阵的行及列各自的要素的数量相同，第二局部矩阵的各要素的值被调节为与第一局部矩阵及对角矩阵的积一致。矩阵及对角矩阵的积一致。矩阵及对角矩阵的积一致。

【技术实现步骤摘要】
【国外来华专利技术】推导装置、模型生成装置、推导方法以及推导程序


[0001]本专利技术涉及一种推导装置、模型生成装置、推导方法以及推导程序。

技术介绍

[0002]以往，在制造线等制造产品的场景中，正在推进下述技术的开发，即，通过拍摄装置来拍摄所制造的产品，并对所获得的图像数据进行分析，由此来检查产品的良否。例如，专利文献1中提出一种检查装置，其使用训练完毕的第一神经网络来判定映照在图像中的对象物是正常还是异常，若判定为异常，则使用训练完毕的第二神经网络来对所述异常的种类进行分类。
[0003]根据利用训练完毕的神经网络的方法，即便未通过人工来详细规定图像处理的内容，也能够基于训练完毕的神经网络的运算结果来实施产品的外观检查。因此，能够简化外观检查的信息处理，降低制作检查程序的工时。此作用效果并不限于在利用神经网络的情形(case)下获得。在利用神经网络以外的、训练完毕的机器学习模型(例如，通过主成分分析所获得的主成分向量、支持向量机等)的方法中，也能够简化外观检查的信息处理，降低制作检查程序的工时。
[0004]除此以外，可由训练完毕的机器学习模型来执行的推导任务并不限于外观检查以及对图像的推导。通过在机器学习中使用与所期望的信息处理对应的学习数据，便能够生成获得了对规定种类的数据执行所期望的推导任务的能力的、训练完毕的机器学习模型。因此，根据利用训练完毕的机器学习模型的方法，能够简化对规定种类的数据执行所期望的推导任务的信息处理，降低制作推导程序的工时。
[0005]一般而言，机器学习模型具有在推导任务的运算中使用的参数。参数的值通过机器学习进行调节，以使得可相对于所期望的输入而获得所期望的输出(即，获得执行所期望的推导任务的能力)。在对机器学习模型采用神经网络的情况下，此参数例如为各神经元间的结合的权重等。存在下述倾向，即，越要提高推导任务的执行精度，则构成机器学习模型的参数的数量越增加。尤其，在对机器学习模型采用神经网络的情形中，为了提高推导任务的执行精度，存在加深神经网络的层级的倾向，神经网络的层级越深，则构成神经网络的参数的数量越增加。
[0006]当然，构成机器学习模型的参数的数量越增加，则越能预见推导任务的执行精度的提高，但会导致机器学习模型的运算处理所耗费的计算量增加。因此，在机器学习的场景以及执行推导任务的场景这两种场景下，例如会产生计算时间延迟、压迫存储器、因计算耗费时间导致消耗电力变高、若非昂贵的计算机则无法完成运算等伴随计算量增加造成的各种问题(即，对计算资源造成负担)。
[0007]因此，在专利文献2以及专利文献3中，提出了通过分散处理来使机器学习模型的运算处理高速化的方法。具体而言，在专利文献2中提出一种方法：通过在多个学习装置以及分散深层学习装置之间交换量化梯度，从而分散地进行深层学习。而且，在专利文献3中提出了一种方法：经由能够单向通信的环形通信网络来连接多个学习节点，通过各学习节
点间的协调处理来分散地进行深层学习。除此以外，在非专利文献1中提出了一种方法：将输入数据及参数的积的计算通过高速傅里叶变换而变换为其他表达的计算式，由此来降低卷积运算中的计算次数。
[0008]现有技术文献
[0009]专利文献
[0010]专利文献1：日本专利特开2012
‑
026982号公报
[0011]专利文献2：日本专利特开2018
‑
120441号公报
[0012]专利文献3：日本专利特开2020
‑
003848号公报
[0013]非专利文献
[0014]非专利文献1：Tyler Highlander、Andres Rodriguez，“使用快速傅立叶变换和重叠加法的卷积神经网络的高效训练(Very Efficient Training of Convolutional Neural Networks using Fast Fourier Transform and Overlap
‑
and
‑
Add)”，arXiv:1601.06815[cs.NE]，2016年1月25日

技术实现思路

[0015]专利技术所要解决的问题
[0016]本申请专利技术人发现在所述以往的方法中存在下述问题。即，在仅依据分散处理的方法中，通过连接多个计算机，虽能降低每一台计算机的负担且使运算处理高速化，但难以降低机器学习模型的运算处理所耗费的计算量。反而，因在各计算机间对计算过程的信息进行通信，而导致机器学习模型的运算处理所耗费的计算量相应地增加，在以整体来看的情况下，对计算资源造成的负担增加。而且，在像非专利文献1那样的、使用高速傅里叶变换的方法中，虽能使卷积运算高速化，但难以适用于其他运算。除此以外，因与机器学习模型的参数信息一同保持通过高速傅里叶变换而获得的其他表达的信息，对计算资源造成的负担相应地增加(尤其是存储器受到压迫)。因此，以往的方法中，难以降低机器学习模型的运算处理所耗费的计算量，抑制对计算资源造成的负担。
[0017]本专利技术在一方面是有鉴于此种情况而完成，其目的在于提供一种技术，用于降低机器学习模型的运算处理所耗费的计算量，抑制对计算资源造成的负担。
[0018]解决问题的技术手段
[0019]为了解决所述问题，本专利技术采用以下的结构。
[0020]即，本专利技术的一方面的推导装置包括：数据获取部，获取对象数据；推导部，使用通过机器学习而训练完毕的推导模型，对所获取的所述对象数据执行推导任务；以及输出部，输出与执行所述推导任务的结果相关的信息。所述推导模型的多个参数的至少一部分是以矩阵来表达。所述矩阵包含第一局部矩阵及第二局部矩阵。所述第一局部矩阵及所述第二局部矩阵的行及列各自的要素的数量相同，所述第二局部矩阵的各要素的值被调节为与所述第一局部矩阵及对角矩阵的积一致。
[0021]所述结构中，推导模型的多个参数的至少一部分可通过包含第一局部矩阵及第二局部矩阵的矩阵来表达，第二局部矩阵的各要素的值被调节为与第一局部矩阵及对角矩阵的积一致。因此，即便未保持第二局部矩阵的信息，也能够回头利用第一局部矩阵的运算结果来获得第二局部矩阵的运算结果。因此，根据所述结构，能够实质上降低构成推导模型的
参数的数量。具体而言，能够将参数的数量降低与第二局部矩阵的要素数与对角矩阵的0以外的要素数的差值相应的量。由此，能够降低推导模型的运算处理所耗费的计算量，抑制对计算资源造成的负担。
[0022]所述一方面的推导装置中，也可为，在所述矩阵的至少一部分中，有如下所述的定标关系成立，即，所述矩阵的至少一部分以行及列各自的要素的数量相同的局部矩阵在行上各排列M个且在列上各排列N个的方式，被分割为M
×
N个局部矩阵，在各列中，配置在任一行上的局部矩阵构成相对于配置在除了所述任一行以外的其他行上的各局部矩阵的所述第一局部矩阵，且配置在所述其他行上的各局部矩阵构成所述第二局部矩阵。根据所述结构，通过定标关系的成本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种推导装置，包括：数据获取部，获取对象数据；推导部，使用通过机器学习而训练完毕的推导模型，对所获取的所述对象数据执行推导任务；以及输出部，输出与执行所述推导任务的结果相关的信息，所述推导模型的多个参数的至少一部分是以矩阵来表达，所述矩阵包含第一局部矩阵及第二局部矩阵，所述第一局部矩阵及所述第二局部矩阵的行及列各自的要素的数量相同，所述第二局部矩阵的各要素的值被调节为与所述第一局部矩阵及对角矩阵的积一致。2.根据权利要求1所述的推导装置，其中在所述矩阵的至少一部分中，有如下所述的定标关系成立，即，所述矩阵的至少一部分以行及列各自的要素的数量相同的局部矩阵在行上各排列M个且在列上各排列N个的方式，被分割为M
×
N个局部矩阵，在各列中，配置在任一行上的局部矩阵构成相对于配置在除了所述任一行以外的其他行上的各局部矩阵的所述第一局部矩阵，且配置在所述其他行上的各局部矩阵构成所述第二局部矩阵。3.根据权利要求2所述的推导装置，其中所述M及所述N为相同的素数S。4.根据权利要求2或3所述的推导装置，其中通过反复进行构成所述第一局部矩阵的局部矩阵内的所述定标关系的成立，从而在所述矩阵的至少一部分内，所述定标关系递归地成立。5.根据权利要求4所述的推导装置，其中所述M及所述N为相同的素数S，所述矩阵的至少一部分包含要素的数量为素数S的幂的正方矩阵。6.根据权利要求2至5中任一项所述的推导装置，其中所述M及所述N分别为2。7.根据权利要求1至6中任一项所述的推导装置，其中所述推导模型包含神经网络，所述矩阵的各要素构成为，与所述神经网络中的各神经元间的结合的权重对应。8.根据权利要求1至7中任一项所述的推导装置，其中所述对象数据包含映照有产品的图像数据，所述推导任务是判定映照在所述图像数据中的产品是否存在缺陷。9.一种模型生成装置，包括：数据获取部，获取多个学习数据集，所述多个学习数据集分别包含训练数据及正解标签的组合，所述正解标签表示针对所述训练数据的推导任务的正解；以及学习处理部，使用所述多个学习数据集来实施推导模型的机器学习，且所述学习处理部中，所述推导模型的多个参数的至少一部分是以矩阵来表达，所述矩阵包含第一局部矩阵及第二局部矩阵，
所述第一局部矩阵及所述第二局部矩阵的行及列各自的要素的数量相同，所述机器学习是通过下述方式而构成，即，关于所述各学习数据集来训练所述推导模型，以使得使用所述推导模型来对所述训练数据执行所述推导任务的结果符合由所述正解标签所表示的正解，并且所述第二局部矩阵的各要素的值被调节为与所述第一局部矩阵及对角矩阵的积一致。10.根据权利要求9所述的模型生成装置，其中训练所述推导模型的处理包含：调节所述矩阵的各要素的值，以使得在所述矩阵的至少一部分中有如下所述的定标关系成立，即，所述矩阵的至少一部分以行及列各自的要素的数量相同的局部矩阵在行上各排列M个且在列上各排列N个的方式被分割为M
×
N个局部矩阵，在各列中，配置在任一行上的局部矩阵构成相对于配置在除了所述任一行以外的其他行上的各局部矩阵的所述第一局部矩阵，且配置在所述其他行上的各局部矩阵构成所述第二局部矩阵。11.根据权利要求9所述的模型生成装置，其中所述推导模型包含神经网络，所述矩阵的各要素构成为，与所述神经网络中的各神经元间的结合的权重对应，训练所述推导模型的处理包含：反复进行构成所述第一局部矩阵的局部矩阵内的所述定标关系的成立直至各局部矩阵成为1
×
1矩阵为止，由此来调节所述矩阵的至少一部分的各要素的值，以使得在所述矩阵的至少一部分内，所述定标关系递归地成立，调节所述矩阵的至少一部分的各要素的值的处理包含：以所述定标关系递归地成立的方式给予所述矩阵的至少一部分的各要素的初始值；在正向传播的阶段中，导出对所述各学习数据集的训练数据执行推导任务的结果；以及在反向传播的阶段中，对所导出的推导任务的执行结果以及由对应的正解标签所表示的正解之间的误差的梯度进行反向传播，由此来调节所述矩阵的至少一部分的各要素以及所述对角矩阵的各要素的值，所述正向传播的阶段的运算包含：第一步骤，计算构成初始的第一局部矩阵的所述1
×
1矩阵及输入向量的积；第二步骤，计算所获得的所述初始的第一局部矩阵的积的结...

【专利技术属性】
技术研发人员：长江成典，
申请(专利权)人：欧姆龙株式会社，
类型：发明
国别省市：