AI称重系统和利用多种数据集增加AI模型的精度的方法技术方案

本发明专利技术涉及AI称重系统和利用多种数据集增加AI模型的精度的方法。其中，AI称重系统可包括：置物台，用于放置目标物，所述置物台能够对所述目标物进行称重；第一摄像装置，用于对放置在所述置物台上的所述目标物进行拍摄和识别，所述第一摄像装置包括图像传感器，所述图像传感器能够在离线状态下执行用以识别所述目标物的AI处理；以及输出部，用于输出所述目标物的识别结果以及称重结果。根据本发明专利技术的AI称重系统显著改善识别速度和精度。AI称重系统显著改善识别速度和精度。AI称重系统显著改善识别速度和精度。

【技术实现步骤摘要】
AI称重系统和利用多种数据集增加AI模型的精度的方法


[0001]本专利技术涉及AI(Antificial Intelligence)称重系统，更具体地，涉及利用具有AI处理功能的图像传感器的AI称重(AI scale)系统。

技术介绍

[0002]在例如超市等的销售场所，已经出现了顾客能够自助结算和支付的工具。例如，在超市中，顾客能够利用商品上的条形码自行扫描和结算。然而，条形码仍然需要人工粘附在商品上。尤其是，对于例如生鲜类商品，还需要人工识别和称重，再打印出条形码。由于商品种类繁多，人工识别商品耗时、费力且容易出现错误。
[0003]目前，也出现了基于计算机视觉技术的人工智能(AI)称重装置。这样的AI称重装置通过建立智能识别模型并利用模型分析商品图像来自动地识别商品。这样的AI称重装置避免了人工称重和打印条形码的步骤，且避免了需要人工查找或记忆各种商品的价格，从而极大改善了诸如超市这样的场所的工作效率且节省了人工费用。

技术实现思路

[0004]然而，在现有的AI称重装置中，对商品的识别是通过将照相机拍摄的图像发送到诸如云端的外部计算设备上进行的，并且AI模型的学习、建立、训练和再训练同样是在云端进行。因而，这存在至少以下三种问题。首先，数据传输取决于数据流量(data traffic)可能是不稳定的且存在延迟甚至错漏，从而显著影响识别速度和精度。其次，云端AI识别依赖于网络的稳定性，且在离线(off line)时无法实施。因此，云端AI识别显著依赖于云环境。第三，发往云端的图片可能包括隐私信息，例如用户的个人信息，从而存在隐私泄露的风险。
[0005]同时，现有AI称重装置的识别模型的识别精度有待改善。尤其是，在诸如超市这样的场所中，即使是同一种类的商品，其包装和出售形式等也多种多样。例如，对于生鲜类商品，其存在盒装、塑料袋等多种包装形式，还可能自带包装；同时，其可能完整出售，也可能分割出售(例如，切片、分块等等)。这些都给精准识别商品带来了难度。
[0006]为解决上述问题，本专利技术通过利用具有AI处理功能的图像传感器，能够在离线状态执行AI识别，从而显著改善了智能称重装置的识别精度、识别速度，并且能够离线使用。
[0007]本专利技术还通过利用包含多种数据集的图像数据显著改善了AI模型的识别精度。
[0008]根据本专利技术的AI称重系统可包括：置物台，用于放置目标物，所述置物台能够对所述目标物进行称重；第一摄像装置，用于对放置在所述置物台上的所述目标物进行拍摄和识别，所述第一摄像装置包括图像传感器，所述图像传感器能够在离线状态下执行用以识别所述目标物的AI处理；以及输出部，用于输出所述目标物的识别结果以及称重结果。
[0009]根据本专利技术的AI称重系统的摄像装置的图像传感器可为CMOS图像传感器芯片，所述CMOS图像传感器芯片包括第一基板和第二基板，所述第一基板具有将光信号转化为电信号的多个像素，且所述第二基板具有存储器和处理电路，所述存储器存储有AI模型，所述处
理电路具有通过使用所述AI模型基于所述电信号来执行所述AI处理的功能。
[0010]图像传感器上存储的AI模型包括第一推论模型。
[0011]根据本专利技术的一方面，堆叠式CMOS图像传感器芯片的所述处理电路生成图像数据，并且所述处理电路可包括：学习部，所述学习部基于所述图像数据再训练所述AI模型；以及推论部，所述推论部利用所述AI模型对所述目标物进行识别。
[0012]根据本专利技术的另一方面，AI称重系统还可包括位于云环境中的一个或多个计算设备，所述一个或多个计算设备具有相应的处理器和存储器。其中，第一摄像装置的堆叠式CMOS图像传感器芯片的所述处理电路生成图像数据，并且所述图像数据被发送至所述一个或多个计算设备。所述一个或多个计算设备基于所述堆叠式CMOS图像传感器芯片生成的所述图像数据创建第二推论模型，并且可直接将所述第二推论模型部署到所述堆叠式CMOS图像传感器芯片的所述存储器中，使得所述第一推论模型被更新。
[0013]根据本专利技术的另一方面，所述堆叠式CMOS图像传感器芯片能够选择所述图像数据的尺寸，所述尺寸包括全传感器尺寸和基于所述处理电路的所述AI处理的视频图形阵列(VGA)尺寸。
[0014]根据本专利技术的另一方面，当所述堆叠CMOS图像传感器输出具有全传感器尺寸的所述图像数据时，所述AI处理包括从具有所述全传感器尺寸的所述图像数据中截取所述目标物的整体图像或局部图像，所述局部图像包括VGA尺寸图像。
[0015]根据本专利技术的另一方面，AI称重系统的第一摄像装置拍摄的图像数据可包括：所述目标物的轮廓图像；和/或所述目标物的截面图像；和/或所述目标物的包装图像。
[0016]根据本专利技术的另一方面，AI称重系统的第一摄像装置拍摄的图像数据还可包括所述目标物的局部放大图像。
[0017]根据本专利技术的另一方面，AI称重系统的第一摄像装置还可包括ToF传感器，并且所述AI处理包括将所述图像传感器输出的RBG数据和所述ToF传感器输出的ToF数据进行组合。
[0018]根据本专利技术的另一方面，AI称重系统的第一摄像装置还可包括多波长传感器，并且所述AI处理能够利用所述多波长传感器的输出优化对所述目标物的识别。
[0019]根据本专利技术的另一方面，AI称重系统的第一摄像装置还可包括偏光传感器，并且所述AI处理能够利用所述偏光传感器的输出优化对所述目标物的识别。
[0020]根据本专利技术的另一方面，AI称重系统还可包括：第二摄像装置，用于获取目标人物的图像并发送给所述第一摄像装置，并且其中，所述AI处理包括从所述第二摄像装置获取的所述目标人物的图像获取特征数据并且利用所述特征数据辅助识别所述目标物。其中，所述特征数据包括所述目标人物的性别和年龄等匿名的特征数据。
[0021]根据本专利技术的另一方面，AI称重系统还可包括：第三摄像装置，用于获取目标人物的图像并发送给所述第一摄像装置，并且其中，所述AI处理包括对所述第三摄像装置获取的所述目标人物的图像进行SLAM处理，并输出处理结果的元数据以辅助识别所述目标物。其中，所述第三摄像装置还获取所述目标人物的购物车或购物筐的图像并发送给所述第一摄像装置，并且所述AI处理包括对所述购物车或购物筐的图像进行SLAM处理，并输出处理结果的元数据以辅助识别所述目标物。
[0022]优选地，本专利技术的第三摄像装置可包括定位在所述目标人物的移动范围内的不同
位置处的多个图像传感器。
[0023]根据本专利技术的另一方面，AI称重系统的AI处理还可包括获取包括环境温度、区域地址和/或气候条件的其它信息，并能够基于所述其它信息辅助识别所述目标物。
[0024]根据本专利技术的利用多种数据集来增加AI模型的识别精度的方法，包括：获取物品的图像数据；利用学习数据创建AI模型，所述学习数据包括所述图像数据和所述物品的名称以及属性；应用所述AI模型识别目标物，其中，所述学习数据包括以下三种数据集中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种AI称重系统，包括：置物台，用于放置目标物，所述置物台能够对所述目标物进行称重；第一摄像装置，用于对放置在所述置物台上的所述目标物进行拍摄和识别，所述第一摄像装置包括图像传感器，所述图像传感器能够在离线状态下执行用以识别所述目标物的AI处理；以及输出部，用于输出所述目标物的识别结果以及称重结果。2.如权利要求1所述的AI称重系统，其中，所述图像传感器包括具有第一基板和第二基板的堆叠式CMOS图像传感器芯片，所述第一基板具有将光信号转化为电信号的多个像素，且所述第二基板具有存储器和处理电路，所述存储器存储有AI模型，且所述处理电路通过使用所述AI模型基于所述电信号来执行所述AI处理。3.如权利要求2所述的AI称重系统，其中，所述AI模型包括第一推论模型。4.如权利要求3所述的AI称重系统，其中，所述堆叠式CMOS图像传感器芯片的所述处理电路生成图像数据，并且所述处理电路包括：学习部，所述学习部基于所述图像数据再训练所述第一推论模型；以及推论部，所述推论部利用所述第一推论模型对所述目标物进行识别。5.如权利要求3所述的AI称重系统，其还包括位于云环境中的一个或多个计算设备，所述一个或多个计算设备具有相应的处理器和存储器；其中，所述堆叠...

【专利技术属性】
技术研发人员：朱辰，西田翔，杉山聪，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：