用于相机间个体及个体特性识别的系统和方法技术方案

系统、方法和机器可读介质，所述系统、方法和机器可读介质用于使用卷积神经网络来生成与对象实例相对应的哈希字符串，并且从而使用所述表示特性的哈希字符串来识别在不同时间处且由不同相机装置生成的图像中描绘的所述同一对象实例。

【技术实现步骤摘要】
【国外来华专利技术】用于相机间个体及个体特性识别的系统和方法相关申请本申请要求2018年3月13日提交的美国临时申请号62/642,578和2018年6月26日提交的美国临时申请号62/689,989的优先权。
本专利技术涉及使用神经网络图像分析来识别个体及个体特性的方法。
技术介绍
用于分类目的的常规卷积神经网络将图像作为输入，并且可生成包含各种分类的可能性的一维向量作为输出。这类传统分类可用于对不同类型的对象(例如，狗、猫、背包、飞机)进行分类，或者甚至可对一种类型的对象的子类型(例如，诸如德国牧羊犬、澳大利亚人牧牛犬、柯利牧羊犬的子类型或品种)进行分类。然而，常规的神经网络分类不能很好地适用于识别个体，而不是分类的成员。例如，在训练卷积神经网络以在某一对象X的N种类型之间进行区分之后，然后即使针对对象X的所有N种类型使用了良好的训练数据进行训练，所述网络也将对对象X的第(N+l)种类型不准确地分类。为了解决这个问题，可将N扩展到非常大的数目，但是随着N的增加，网络将变得更加难以训练。作为参考，当今的卷积神经网络可分类的分类/类型通常在50与几千个分类/类型之间。因此，需要为识别个体而不是分类的问题提供技术解决方案的系统和方法，并且本申请公开了解决此需求的方面的实施例。
技术实现思路
描述了用于例如使用卷积神经网络来生成用于标识对象实例的哈希字符串的实施例。在某些实施例中，一种系统可接收包括一个或多个第一训练图像的第一训练包、所述一个或多个第一训练图像中描绘的对象实例的真实分类类别向量，以及所述一个或多个第一训练图像中描绘的所述对象实例的第一真实对象实例标识符。所述系统可接收一组第二哈希字符串，每个第二哈希字符串与第二真实对象实例标识符相关联，其中所述组第二哈希字符串是由所述卷积神经网络生成的。可通过使用哈希增强的损失函数，训练所述卷积神经网络以针对所述一个或多个第一训练图像发出对象分类向量和对象实例哈希字符串，其中所述哈希增强的损失函数包括分类器损失项目和哈希损失项目，使得所述分类器损失项目惩罚所述对象分类向量与所述真实分类类别向量之间的距离量，并且所述哈希损失项目惩罚所述对象实例哈希字符串与所述组第二哈希字符串中的任何一者之间的类似性，其中所述第一真实对象实例标识符与所述第二真实对象实例标识符不匹配，并且所述哈希项目惩罚所述对象哈希字符串与所述组第二哈希字符串中的任何一者之间的距离，其中所述第一真实对象实例标识符与所述第二真实对象实例标识符匹配。所述系统可接收描绘当前对象实例的一个或多个当前图像，并且由通过所述卷积神经网络对所述一个或多个当前图像进行操作的正推法来确定所述当前对象实例的所述对象分类向量和所述当前对象实例的所述对象哈希字符串。如果所述对象哈希字符串是已知的，则所述系统可使用所述对象哈希字符串从数据存储中获得所述当前对象实例的对象实例性质，并且如果所述对象哈希字符串是未知的，则将基于所述对象分类向量的分类提供到所述数据存储。附图说明图1描绘根据本专利技术的一些实施例的图像生成相机装置的示例性部件；图2描绘根据本专利技术的一些实施例的关于神经网络的损失函数的图表；图3是根据本专利技术的一些实施例的关于用于相机间个体及个体性质识别的系统的示例性过程的流程图；图4描绘根据本专利技术的一些实施例的用于实时相机间个体及个体性质识别的示例性分布式系统的部件；图5示出根据本专利技术的一些实施例的示例性计算系统的框图；具体实施方式描述了用于部署用于相机间个体及个体性质识别的系统的设备、计算机系统、计算机可读介质和方法的实施例。现代卷积神经网络可用于基于期望跟踪的各种部件来生成标识哈希字符串。这些哈希字符串的合并可用于形成主哈希，所述主哈希对于标识图像和视频中描绘的对象实例的期望特点和特性是有用的。如果安装了相机装置，使得每个相机装置具有监测区域的不同视野，则可生成与对象实例相对应的标识哈希字符串，使得无论相机的视点如何，相同的对象实例导致相同的标识哈希，如下面所讨论。图1描绘图像生成相机装置100的示例性部件。相机装置100包括用于对装置100的环境进行成像的一个或多个图像传感器102。例如，图像传感器102可在相应传感器之间以一定间隔布置在装置100中，以便能够推断来自装置100的对象在装置100的环境中的深度。在某些实施例中，可收集来自定位在多个物理装置上的图像传感器102的对应信息，例如，以便有利于深度推断。图像传感器102可检测灰度(单通道)光信息、颜色(例如，生成三个或更多个颜色通道的RGB、HSV/HSB、HSL或YUV)或红外光信息。图像传感器102可能够提供4K分辨率图像(即，生成沿一维具有至少4,000像素的图像)或10K分辨率或更大分辨率图像。在某些实施例中，相机装置300可安装在地面上方固定高度处的固定位置处。与图像传感器102相关联的光学特性可包括，例如，传感器的分辨率、颜色检测配置文件、传感器相对于相机装置的其他传感器的位置、镜头性质(诸如广角镜头与常规镜头)、光信息的类型(红外、可见光等)、焦距、光圈等。在某些实施例中，相机装置100可安装在移动对象(诸如人、车辆或无人机)上；在某些实施例中，相机装置100被固定在监测区域中的特定高度和x、y位置处的位置。相机装置100可包括一个或多个相机装置处理器104。在某些实施例中，处理器104中的任何一个可以是用于计算神经网络推断计算的专用处理器，诸如卷积器处理器。在某些实施例中，处理器104是通用处理器。处理器104可与图像传感器102、通信模块106、其他传感器108、存储部件110以及电力系统和/或电池112通信。电力系统/电池112可与一个或多个端口114通信。相机装置100可包括一个或多个其他传感器108，诸如用于监测热负荷或环境温度的温度传感器、加速计、麦克风等。通信模块106可包括蜂窝无线电、蓝牙无线电、ZigBee无线电、近场通信(NFC)无线电、无线局域网(WLAN)无线电、用户身份模块(SIM)卡、GPS接收器以及由它们各自使用的用于通过各种网络(诸如，远程通信网络或无线局域网)传达数据的天线。存储器110可包括一种或多种类型的计算机可读介质，诸如，RAM、光学存储装置或快闪存储器，并且可存储操作系统、应用程序、通信程序和基于由图像传感器102生成的数据进行推断的机器学习模型(例如，本地机器学习模型)。电力系统/电池112可包括电力管理系统、一个或多个电源，诸如，电池和充电系统、AC、DC、电力状态指示灯等。在某些实施例中，相机装置100的部件可被封闭在单个外壳116中。图2描绘关于神经网络的损失函数的图表。所述图表包括神经网络204，所述神经网络204包括接收输入202(例如，图像数据)的连接节点206。神经网络生成输出208，所述输出208是通过对输入202进行操作的神经网络204的正推法的结果。输出202可包括包含N个元素的向量，所述向量是有关输入202是否描绘网络206被训练以识别的N个分类中的任何一者的预测。可训练这种神经网络206以使本文档来自技高网...

【技术保护点】
1.一种用于使用卷积神经网络来生成用于标识对象实例的哈希字符串的方法，所述方法包括：/n接收包括一个或多个第一训练图像的第一训练包、所述一个或多个第一训练图像中描绘的对象实例的真实分类类别向量，以及所述一个或多个第一训练图像中描绘的所述对象实例的第一真实对象实例标识符；/n接收一组第二哈希字符串，每个第二哈希字符串与第二真实对象实例标识符相关联，其中所述组第二哈希字符串是由所述卷积神经网络生成的；/n通过使用哈希增强的损失函数，训练所述卷积神经网络以针对所述一个或多个第一训练图像发出对象分类向量和对象实例哈希字符串，其中所述哈希增强的损失函数包括分类器损失项目和哈希损失项目，使得所述分类器损失项目惩罚所述对象分类向量与所述真实分类类别向量之间的距离量，并且所述哈希损失项目惩罚所述对象实例哈希字符串与所述组第二哈希字符串中的任何一者之间的类似性，其中所述第一真实对象实例标识符与所述第二真实对象实例标识符不匹配，并且所述哈希项目惩罚所述对象哈希字符串与所述组第二哈希字符串中的任何一者之间的距离，其中所述第一真实对象实例标识符与所述第二真实对象实例标识符匹配；/n接收描绘当前对象实例的一个或多个当前图像；/n由通过所述卷积神经网络对所述一个或多个当前图像进行操作的正推法来确定所述当前对象实例的所述对象分类向量和所述当前对象实例的所述对象哈希字符串；/n如果所述对象哈希字符串是已知的，则使用所述对象哈希字符串从数据存储中获得所述当前对象实例的对象实例性质，并且如果所述对象哈希字符串是未知的，则将基于所述对象分类向量的分类提供到所述数据存储。/n...

【技术特征摘要】
【国外来华专利技术】20180313 US 62/642,578;20180626 US 62/689,9891.一种用于使用卷积神经网络来生成用于标识对象实例的哈希字符串的方法，所述方法包括：
接收包括一个或多个第一训练图像的第一训练包、所述一个或多个第一训练图像中描绘的对象实例的真实分类类别向量，以及所述一个或多个第一训练图像中描绘的所述对象实例的第一真实对象实例标识符；
接收一组第二哈希字符串，每个第二哈希字符串与第二真实对象实例标识符相关联，其中所述组第二哈希字符串是由所述卷积神经网络生成的；
通过使用哈希增强的损失函数，训练所述卷积神经网络以针对所述一个或多个第一训练图像发出对象分类向量和对象实例哈希字符串，其中所述哈希增强的损失函数包括分类器损失项目和哈希损失项目，使得所述分类器损失项目惩罚所述对象分类向量与所述真实分类类别向量之间的距离量，并且所述哈希损失项目惩罚所述对象实例哈希字符串与所述组第二哈希字符串中的任何一者之间的类似性，其中所述第一真实对象实例标识符与所述第二真实对象实例标识符不匹配，并且所述哈希项目惩罚所述对象哈希字符串与所述组第二哈希字符串中的任何一者之间的距离，其中所述第一真实对象实例标识符与所述第二真实对象实例标识符匹配；
接收描绘当前对象实例的一个或多个当前图像；
由通过所述卷积神经网络对所述一个或多个当前图像进行操作的正推法来确定所述当前对象实例的所述对象分类向量和所述当前对象实例的所...

【专利技术属性】
技术研发人员：沙巴利瓦斯·阿比兰，
申请(专利权)人：雷哥尼公司，
类型：发明
国别省市：美国;US