本发明专利技术公开了一种基于智慧屏的智能摄像头进行体感交互的实现方法，通过摄像头实时视频流采集，采集原始图像数据，利用ISP和ISPP模块处理原始图像数据以及对图像进行编码和图像处理；接受用户对应用功能的需求，并根据所述功能的需求，将行人检测算法、deepsort特征计算、身体骨骼关键点算法在具有NPU算力的芯片上进行部署；数据编码与传输，算法关键点数据与图像采用同步模式，获取到的用户对应用功能的需求对应的行人框、身体骨骼关键点数据，结合图像的YUV数据格式，采用USB2.0或者USB3.0协议传输给应用端；实现智能摄像头采集的视频图像与算法结果数据的发送与接收，其中的图像数据用于画面展示，人体骨骼关键点数据结合具体的应用进行体感互动操作。结合具体的应用进行体感互动操作。结合具体的应用进行体感互动操作。
【技术实现步骤摘要】
一种基于智慧屏的体感交互的智能摄像头装置和实现方法
[0001]本专利技术涉及视频识别及体感交互的
，尤其涉及一种基于智慧屏的体感交互的智能摄像头装置和实现方法。
技术介绍
[0002]目前市面上主流的智能电视或者智慧屏主要搭载安卓系统，一般使用ARM处理器，主要为4核，绝大部分为4个小核如A55或A53，部分有2个大核，CPU相对偏弱，难以满足体感交互应用中基于深度学习的身体骨骼关键点识别的算力需求，无法达到实时性。
[0003]常规的AI健身应用或者交互应用，主要依赖身体骨骼关键点进行动作识别以及行为分析。为确保精度和最佳的体验效果，一般采用top
‑
down方法，依托行人检测、身体骨骼关键点检测以及deepsort跟踪。
[0004]基本身体骨骼关键点的体感交互应用，由于深度学习模型有较大的计算量，常规CPU运算无法达到实时，达不到实时互动的沉浸式体验效果。厂商一般会推出软硬件一体化产品，比如AI健身屏，互动屏，AI互动盒子等，这不仅仅会极大提高产品的成本，而且用户还需花费比较昂贵的价格购买新的硬件产品，无法复用已有的硬件产品，容易造成硬件产品的闲置与浪费。
技术实现思路
[0005]本专利技术依托常规的智能电视或者智慧屏，作为交互应用运行的载体和显示终端，使用具有NPU算力的芯片，如RV1126，作为摄像头的主芯片，交互类相关算法内置在摄像头中。摄像头可通过USB接口插入到智能终端设备上，可通过特定API控制获取图像数据以及选择性开启交互算法，采用USB通信协议进行数据传输，在获取画面的同时可同步获取身体骨骼关键点数据。
[0006]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术公开了一种基于智慧屏的智能摄像头进行体感交互的实现方法，所述方法包括如下步骤：
[0007]步骤1，通过摄像头实时视频流采集，采集原始图像数据，利用ISP和ISPP模块处理原始图像数据以及对图像进行降噪、曝光处理，接受应用程序的对于视频的需求信息，根据所述应用程序的需求信息的具体需求内容进行编码和图像处理；
[0008]步骤2，接受用户对应用功能的需求，并根据所述功能的需求，将行人检测算法、deepsort特征计算、身体骨骼关键点算法中的一种或多种在具有NPU算力的芯片上进行部署；
[0009]步骤3，数据编码与传输，算法关键点数据与图像采用同步模式，对于应用算法分析后获取到的用户对应用功能的需求对应的行人框、身体骨骼关键点数据，结合图像的YUV数据格式，采用USB2.0或者USB3.0协议传输给应用端；
[0010]步骤4，数据读取，所述数据读取包括智能摄像头设备检测、开启算法功能、获取图像格式、宽、高数据、读取图像数据、图像数据格式转换(根据终端显示需求)、获取算法关键
点结果、释放资源；
[0011]步骤5，通过步骤3和步骤4实现智能摄像头采集的视频图像与算法结果数据的发送与接收，其中的图像数据用于画面展示，人体骨骼关键点数据结合具体的应用进行体感互动操作。
[0012]更进一步地，所述步骤2进一步包括包括：所述具有NPU算力为Rv1126芯片。
[0013]更进一步地，所述Rv1126芯片内置NPU，具备2.0T算力，使用rknn
‑
toolkit工具对模型进行uint8量化以及模型转换处理，调用官方rknn相关API接口实现模型的使用。
[0014]更进一步地，所述步骤2中的功能的需求为行人检测和骨骼关键点检测，分别使用yolov5s和rlepose网络结构，对网络结构进行边缘端设备的适应性调整，调整网络的backbone，算法网络backbone选择mobilenet
‑
v2；
[0015]依托deepsort跟踪算法锁定一个人进行持续跟踪，具体流程说明如下：
[0016]基于行人检测结果detections，使用卡尔曼滤波器预测轨迹tracks，使用CNN网络来提取被检测行人的外观特征，接着使用匈牙利算法将预测得到的轨迹tracks和当前帧中的detections进行匹配，先进行级联匹配，利用外观特征和马氏距离来计算相似度，得到代价矩阵，再通过门控矩阵用于限制代价矩阵中过大的值；
[0017]其次进行数据关联匹配，基于数据丢失轨迹和detections进行匹配，没有丢失过的轨迹优先匹配，丢失较为久远的就靠后匹配，通过这部分处理，可以重新将被遮挡目标找回，降低被遮挡然后再出现的目标发生的ID切换次数；
[0018]其次再进行IOU匹配，确认是否产生新轨迹。
[0019]更进一步地，设置丢失的最大帧数N，当画面中行人超过丢失的最大帧数N帧时，则采用自动匹配策略方式对新目标进行跟踪，评价分值最高者即为新的跟踪目标对应，具体计算流程如下：
[0020]图像的宽和高分别为w、h，行人框左上角坐标以及行人框宽、高分别为(x
’
,y
’
),w
’
,h
’
[0021]行人框距离画面中心点直线距离如下：
[0022][0023]结合行人框面积以及具体画面中心点距离，综合得到最佳分值，具体计算如下：
[0024][0025]其中x1和x2代表权重，x1+x2＝1.0，默认均设置为0.5，可根据实际场景进行调整；
[0026]在确定锁定跟踪的行人目标后，即截取该区域图像进行2D骨骼关键点识别。
[0027]更进一步地，所述步骤3进一步包括：
[0028]定义图像数据结构体，专门用于存放图像数据，该数据结构中包含的成员包括图像类别、图像的长、图像的宽、图像通道、图像数据数组，读取摄像头相关YUV数据后即可按照图像数据结构体传入相关的结果；
[0029]定义算法结果数据结构体，专门用于存放算法结果，该数据结构包含的成员包括行人矩形框、行人框置信度、行人跟踪ID、身体骨骼关键点数据。根据指令开启算法后，算法读取RGB数据分析，获取上述行人矩形框、行人框置信度、行人跟踪ID、身体骨骼关键点数据，按照图像数据结构体传入相关的结果即可，若无数据，则对应数据为空；
[0030]为了保证图像数据与算法结果的同步，采用同步锁机制，在获取图像数据以及对应帧算法分析结果后，采用USB协议将数据推送出去。同时为了充分保证摄像头的流畅性，默认不开启交互算法，但提供指令给应用层决定是否开启。
[0031]更进一步地，所述步骤5进一步包括：利用腕部关键点以及结合身体肩部、胯部对应4个关键点，识别手臂向左或者向右挥动状态。
[0032]更进一步地，所述步骤5进一步包括：利用脚踝、腕部、肘部、肩部、胯部对应10个关键点进行站、走、跑、跳动作的识别。
[0033]更进一步地，所述步骤1中的所述根据所述应用程序的需求信息的具体需求内容进行编码和图像处理进一步包括：使用mpp、RGA模块对图像数据进行编解码以及缩放、裁剪、合成。
[0本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于智慧屏的智能摄像头进行体感交互的实现方法，其特征在于，所述方法包括如下步骤：步骤1，通过摄像头实时视频流采集，采集原始图像数据，利用ISP和ISPP模块处理原始图像数据以及对图像进行降噪、曝光处理，接受应用程序的对于视频的需求信息，根据所述应用程序的需求信息的具体需求内容进行编码和图像处理；步骤2，接受用户对应用功能的需求，并根据所述功能的需求，将行人检测算法、deepsort特征计算、身体骨骼关键点算法中的一种或多种在具有NPU算力的芯片上进行部署；步骤3，数据编码与传输，算法关键点数据与图像采用同步模式，对于应用算法分析后获取到的用户对应用功能的需求对应的行人框、身体骨骼关键点数据，结合图像的YUV数据格式，采用USB2.0或者USB3.0协议传输给应用端；步骤4，数据读取，所述数据读取包括智能摄像头设备检测、开启算法功能、获取图像格式、宽、高数据、读取图像数据、图像数据格式转换(根据终端显示需求)、获取算法关键点结果、释放资源；步骤5，通过步骤3和步骤4实现智能摄像头采集的视频图像与算法结果数据的发送与接收，其中的图像数据用于画面展示，人体骨骼关键点数据结合具体的应用进行体感互动操作。2.如权利要求1所述的一种基于智慧屏的智能摄像头进行体感交互的实现方法，其特征在于，所述步骤2进一步包括包括：所述具有NPU算力为Rv1126芯片。3.如权利要求1所述的一种基于智慧屏的智能摄像头进行体感交互的实现方法，其特征在于，所述Rv1126芯片内置NPU，具备2.0T算力，使用rknn
‑
toolkit工具对模型进行uint8量化以及模型转换处理，调用官方rknn相关API接口实现模型的使用。4.如权利要求1所述的一种基于智慧屏的智能摄像头进行体感交互的实现方法，其特征在于，所述步骤2中的功能的需求为行人检测和骨骼关键点检测，分别使用yolov5s和rlepose网络结构，对网络结构进行边缘端设备的适应性调整，调整网络的backbone，算法网络backbone选择mobilenet
‑
v2；依托deepsort跟踪算法锁定一个人进行持续跟踪，具体流程说明如下：基于行人检测结果detections，使用卡尔曼滤波器预测轨迹tracks，使用CNN网络来提取被检测行人的外观特征，接着使用匈牙利算法将预测得到的轨迹tracks和当前帧中的detections进行匹配，先进行级联匹配，利用外观特征和马氏距离来计算相似度，得到代价矩阵，再通过门控矩阵用于限制代价矩阵中过大的值；其次进行数据关联匹配，基于数据丢失轨迹和detections进行匹配，没有丢失过的轨迹优先匹配，丢失较为久远的就靠后匹配，通过这部分处理，可以重新将被遮挡目标找回，降低被遮挡然后再出现的目标...
【专利技术属性】
技术研发人员：苏鹏，张威，梁雪梅，
申请(专利权)人：广州紫为云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。