智能设备性能测试方法、装置及智能设备制造方法及图纸

本申请提出一种智能设备性能测试方法、装置及智能设备，属于计算机应用技术领域。其中，该方法包括：获取包括多帧图片及每帧图片中对应的实际物体信息的图片集；利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，并根据确定的每帧图片中包括的各检测物体信息，与每帧图片对应的实际物体信息的匹配度，确定每帧图片中的有效检测物体；根据每帧图片中有效检测物体与实际物体间的关系，确定设备的性能。由此，通过这种智能设备性能测试方法，实现了通过数字化指标衡量设备的AI性能，有助于用户直观了解设备的AI性能。

Performance test method, device and intelligent equipment of intelligent equipment

【技术实现步骤摘要】
智能设备性能测试方法、装置及智能设备
本申请涉及计算机应用
，尤其涉及一种智能设备性能测试方法、装置及智能设备。
技术介绍
人工智能(ArtificialIntelligence，简称AI)，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术以及应用的一门新的技术科学。AI的应用很广泛，机器翻译、智能控制、专家系统、机器人学、语言和图像理解、遗传编程机器人工厂、自动程序设计、航天应用、庞大的信息处理、储存与管理、执行化合生命体无法执行的或复杂或规模庞大的任务等等。相关技术中，AI技术在智能设备中的应用快速发展，市面上的智能设备的AI性能正在快速提升。但是，不同厂商生产的智能设备，以及相同厂商生产的不同代产品的AI性能差异较大，并且不存在衡量设备AI性能的数字化指标，导致用户无法直观了解设备的AI性能。
技术实现思路
本申请提出的智能设备性能测试方法、装置及智能设备，用于解决相关技术中，不同厂商生产的智能设备，以及相同厂商生产的不同代产品的AI性能差异较大，并且不存在衡量设备AI性能的数字化指标，导致用户无法直观了解设备的AI性能的问题。本申请一方面实施例提出的智能设备性能测试方法，包括：获取图片集，所述图片集中包括多帧图片及每帧图片中包括的实际物体信息；利用预设的目标检测模型，对所述图片集中的每帧图片进行目标检测，确定每帧图片中包括的各检测物体信息；根据每帧图片中包括的各检测物体信息，与每帧图片中包括的实际物体信息的匹配度，确定每帧图片中的有效检测物体；根据每帧图片中有效检测物体与实际物体中间的关系，确定所述设备的性能。可选地，在第一方面实施例一种可能的实现形式中，所述根据每帧图片中有效检测物体与实际物体间的关系，确定所述设备的性能，包括：根据每帧图片中有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；根据有效图片在所述图片集中的占比，确定所述设备的性能。可选地，在第一方面实施例另一种可能的实现形式中，所述根据每帧图片中有效检测物体在各实际物体中的占比，确定每帧图片是否为有效图片，包括：若第二帧图片中有效检测物体在实际物体中的占比大于第一阈值，则确定所述第二帧图片为有效图片。可选地，在第一方面实施例再一种可能的实现形式中，所述根据每帧图片中有效检测物体与实际物体间的关系，确定所述设备的性能，包括：根据每帧图片中有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；根据每帧有效图片中每个有效检测物体的检测物体信息与实际物体信息，确定每个有效检测物体的交并比；根据所有有效图片中所有有效检测物体的交并比，确定所述设备的性能。可选地，在第一方面实施例又一种可能的实现形式中，所述方法，还包括：根据所述图片集的检测时间，确定设备画面每秒传输的帧数，根据所述每秒传输的帧数确定所述设备的性能。可选地，在第一方面实施例又一种可能的实现形式中，所述确定设备画面每秒传输的帧数之后，还包括：根据所述有效图片在所述图片集中的占比，对所述设备画面每秒传输的帧数进行修正；根据修正后的设备画面每秒传输的帧数，确定所述设备的性能。可选地，在第一方面实施例另一种可能的实现形式中，所述物体信息包括：坐标、所在边框的大小及名称三个维度的信息；所述确定每帧图片中的有效检测物体，包括：若第一帧图片中第一检测物体的至少两个维度的信息，分别与所述第一帧图片中包括的任一实际物体的至少两个维度的信息匹配，则确定所述第一检测物体为有效检测物体。可选地，在第一方面实施例再一种可能的实现形式中，所述确定每帧图片中包括的各检测物体信息之后，还包括：确定每个检测物体信息的置信度；按照置信度由大至小的顺序，将每帧图片中的各检测物体信息进行排序；保留每帧图片中置信度大于第二阈值、且位于前N位的各检测物体信息，其中，N为大于1的正整数。可选地，在第一方面实施例又一种可能的实现形式中，所述设备中包括显示屏组件，所述方法，还包括：在利用预设的目标检测模型，对所述图片集中的每帧图片进行目标检测时，在所述显示屏组件中，显示当前被检测图片及图片中的各检测物体信息。本申请另一方面实施例提出的智能设备性能测试装置，包括：获取模块，用于获取图片集，所述图片集中包括多帧图片及每帧图片中包括的实际物体信息；第一确定模块，用于利用预设的目标检测模型，对所述图片集中的每帧图片进行目标检测，确定每帧图片中包括的各检测物体信息；第二确定模块，用于根据每帧图片中包括的各检测物体信息，与每帧图片中包括的实际物体信息的匹配度，确定每帧图片中的有效检测物体；第三确定模块，用于根据每帧图片中有效检测物体与实际物体间的关系，确定所述设备的性能。可选地，在第二方面实施例一种可能的实现形式中，所述第三确定模块，具体用于：根据每帧图片中有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；根据有效图片在所述图片集中的占比，确定所述设备的性能。可选地，在第二方面实施例另一种可能的实现形式中，所述第三确定模块，还用于：若第二帧图片中有效检测物体在实际物体中的占比大于第一阈值，则确定所述第二帧图片为有效图片。可选地，在第二方面实施例再一种可能的实现形式中，所述第三确定模块，还用于：根据每帧图片中有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；根据每帧有效图片中每个有效检测物体的检测物体信息与实际物体信息，确定每个有效检测物体的交并比；根据所有有效图片中所有有效检测物体的交并比，确定所述设备的性能。可选地，在第二方面实施例又一种可能的实现形式中，所述装置，还包括：第四确定模块，用于根据所述图片集的检测时间，确定设备画面每秒传输的帧数，根据所述每秒传输的帧数确定所述设备的性能。可选地，在第二方面实施例又一种可能的实现形式中，所述装置，还包括：修正模块，用于根据所述有效图片在所述图片集中的占比，对所述设备画面每秒传输的帧数进行修正；第五确定模块，用于根据修正后的设备画面每秒传输的帧数，确定所述设备的性能。可选地，在第二方面实施例另一种可能的实现形式中，所述物体信息包括：坐标、所在边框的大小及名称三个维度的信息；所述第二确定模块，具体用于：若第一帧图片中第一检测物体的至少两个维度的信息，分别与所述第一帧图片中包括的任一实际物体的至少两个维度的信息匹配，则确定所述第一检测物体为有效检测物体。可选地，在第二方面实施例再一种可能的实现形式中，所述装置，还包括：第六确定模块，用于确定每个检测物体信息的置信度；排序模块，用于按照置信度由大至小的顺序，将每帧图片中的各检测物体信息进行排序；保留模块，用于保留每帧图片中置信度大于第二阈值、且位于前N位的各检测物体信息，其中，N为大于1的正整数。可选地，在第二方面实施例又一种可能的实现形式本文档来自技高网...

【技术保护点】
1.一种智能设备性能测试方法，其特征在于，包括：/n获取图片集，所述图片集中包括多帧图片及每帧图片中包括的实际物体信息；/n利用预设的目标检测模型，对所述图片集中的每帧图片进行目标检测，确定每帧图片中包括的各检测物体信息；/n根据每帧图片中包括的各检测物体信息，与每帧图片中包括的实际物体信息的匹配度，确定每帧图片中的有效检测物体；/n根据每帧图片中有效检测物体与实际物体间的关系，确定所述设备的性能。/n

【技术特征摘要】
1.一种智能设备性能测试方法，其特征在于，包括：
获取图片集，所述图片集中包括多帧图片及每帧图片中包括的实际物体信息；
利用预设的目标检测模型，对所述图片集中的每帧图片进行目标检测，确定每帧图片中包括的各检测物体信息；
根据每帧图片中包括的各检测物体信息，与每帧图片中包括的实际物体信息的匹配度，确定每帧图片中的有效检测物体；
根据每帧图片中有效检测物体与实际物体间的关系，确定所述设备的性能。


2.如权利要求1所述的方法，其特征在于，所述根据每帧图片中有效检测物体与实际物体间的关系，确定所述设备的性能，包括：
根据每帧图片中有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；
根据有效图片在所述图片集中的占比，确定所述设备的性能。


3.如权利要求2所述的方法，其特征在于，所述根据每帧图片中有效检测物体在各实际物体中的占比，确定每帧图片是否为有效图片，包括：
若第二帧图片中有效检测物体在实际物体中的占比大于第一阈值，则确定所述第二帧图片为有效图片。


4.如权要求1所述的方法，其特征在于，所述根据每帧图片中有效检测物体与实际物体间的关系，确定所述设备的性能，包括：
根据每帧图片中有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；
根据每帧有效图片中每个有效检测物体的检测物体信息与实际物体信息，确定每个有效检测物体的交并比；
根据所有有效图片中所有有效检测物体的交并比，确定所述设备的性能。


5.如权利要求2-4任一所述的方法，其特征在于，还包括：
根据所述图片集的检测时间，确定设备画面每秒传输的帧数，根据所述每秒传...

【专利技术属性】
技术研发人员：于振北，
申请(专利权)人：北京安兔兔科技有限公司，
类型：发明
国别省市：北京;11