【技术实现步骤摘要】
一种基于智慧屏的体感交互的智能摄像头装置和实现方法
[0001]本专利技术涉及视频识别及体感交互的
，尤其涉及一种基于智慧屏的体感交互的智能摄像头装置和实现方法。
技术介绍
[0002]目前市面上主流的智能电视或者智慧屏主要搭载安卓系统，一般使用ARM处理器，主要为4核，绝大部分为4个小核如A55或A53，部分有2个大核，CPU相对偏弱，难以满足体感交互应用中基于深度学习的身体骨骼关键点识别的算力需求，无法达到实时性。
[0003]常规的AI健身应用或者交互应用，主要依赖身体骨骼关键点进行动作识别以及行为分析。为确保精度和最佳的体验效果，一般采用top
‑
down方法，依托行人检测、身体骨骼关键点检测以及deepsort跟踪。
[0004]基本身体骨骼关键点的体感交互应用，由于深度学习模型有较大的计算量，常规CPU运算无法达到实时，达不到实时互动的沉浸式体验效果。厂商一般会推出软硬件一体化产品，比如AI健身屏，互动屏，AI互动盒子等，这不仅仅会极大提高产品的成本，而且用户还需花费比较昂...
【技术保护点】
【技术特征摘要】
1.一种基于智慧屏的智能摄像头进行体感交互的实现方法，其特征在于，所述方法包括如下步骤：步骤1，通过摄像头实时视频流采集，采集原始图像数据，利用ISP和ISPP模块处理原始图像数据以及对图像进行降噪、曝光处理，接受应用程序的对于视频的需求信息，根据所述应用程序的需求信息的具体需求内容进行编码和图像处理；步骤2，接受用户对应用功能的需求，并根据所述功能的需求，将行人检测算法、deepsort特征计算、身体骨骼关键点算法中的一种或多种在具有NPU算力的芯片上进行部署；步骤3，数据编码与传输，算法关键点数据与图像采用同步模式，对于应用算法分析后获取到的用户对应用功能的需求对应的行人框、身体骨骼关键点数据，结合图像的YUV数据格式，采用USB2.0或者USB3.0协议传输给应用端；步骤4，数据读取，所述数据读取包括智能摄像头设备检测、开启算法功能、获取图像格式、宽、高数据、读取图像数据、图像数据格式转换(根据终端显示需求)、获取算法关键点结果、释放资源；步骤5，通过步骤3和步骤4实现智能摄像头采集的视频图像与算法结果数据的发送与接收，其中的图像数据用于画面展示，人体骨骼关键点数据结合具体的应用进行体感互动操作。2.如权利要求1所述的一种基于智慧屏的智能摄像头进行体感交互的实现方法，其特征在于，所述步骤2进一步包括包括：所述具有NPU算力为Rv1126芯片。3.如权利要求1所述的一种基于智慧屏的智能摄像头进行体感交互的实现方法，其特征在于，所述Rv1126芯片内置NPU，具备2.0T算力，使用rknn
‑
toolkit工具对模型进行uint8量化以及模型转换处理，调用官方rknn相关API接口实现模型的使用。4.如权利要求1所述的一种基于智慧屏的智能摄像头进行体感交互的实现方法，其特征在于，所述步骤2中的功能的需求为行人检测和骨骼关键点检测，分别使用yolov5s和rlepose网络结构，对网络结构进行边缘端设备的适应性调整，调整网络的backbone，算法网络backbone选择mobilenet
‑
v2；依托deepsort跟踪算法锁定一个人进行持续跟踪，具体流程说明如下：基于行人检测结果detections，使用卡尔曼滤波器预测轨迹tracks，使用CNN网络来提取被检测行人的外观特征，接着使用匈牙利算法将预测得到的轨迹tracks和当前帧中的detections进行匹配，先进行级联匹配，利用外观特征和马氏距离来计算相似度，得到代价矩阵，再通过门控矩阵用于限制代价矩阵中过大的值；其次进行数据关联匹配，基于数据丢失轨迹和detections进行匹配，没有丢失过的轨迹优先匹配，丢失较为久远的就靠后匹配，通过这部分处理，可以重新将被遮挡目标找回，降低被遮挡然后再出现的目标...
【专利技术属性】
技术研发人员：苏鹏，张威，梁雪梅，
申请(专利权)人：广州紫为云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。