一种基于深度学习的异物过滤视频编码芯片和方法技术

本发明专利技术提供了一种基于深度学习的异物过滤视频编码芯片和方法，所述方法通过神经网络分类识别单元对视频流图像中包含的物体一一进行分类，并在当前帧图像中识别出敏感物体的情况下，采用该敏感物体对应的处理方式对敏感物体进行处理，从而实现自动将当前帧图像中用户不期望看到的物体去除的目的。同时，当某一帧图像识别出敏感物体时，则会对接下来几帧图像都进行物体识别，反之，当某一帧图像未识别出敏感物体时，则对接下来几帧图像直接进行编码输出而不进行物体识别，相较于对每一帧图像都进行识别判断的方式，有效提升了处理效率。

A Foreign Object Filtering Video Coding Chip and Method Based on Deep Learning

The invention provides a foreign body filtering video coding chip and method based on deep learning. The method classifies the objects contained in the video stream image one by one through the neural network classification and recognition unit, and processes the sensitive objects using the corresponding processing mode of the sensitive objects in the current frame image when the sensitive objects are recognized. The purpose of object removal in front frame image that users do not expect to see. At the same time, when a frame image recognizes sensitive objects, it will recognize the next several frames of images. On the contrary, when a frame image does not recognize sensitive objects, it will directly encode and output the next several frames of images without object recognition. Compared with the way of recognizing and judging each frame of images, it effectively improves the processing efficiency.

【技术实现步骤摘要】
一种基于深度学习的异物过滤视频编码芯片和方法
本专利技术涉及芯片硬件电路领域，特别涉及一种基于深度学习的异物过滤视频编码芯片和方法。
技术介绍
当前，在采用摄像头进行拍摄过程中，在拍摄的视频流画面中往往存在用户不期望呈现的物体，对于这种情况，用户一般只能采用手动修图的方式，一一将视频流画面中不期望看到的物体从相应帧去除，费时费力。例如用户想要拍摄的是一段大草原景物视频流影像，假设草原上放置着一个垃圾桶，用户在拍摄过程中除了拍摄蓝天草地之外，也不可避免地将垃圾桶拍摄进视频流画面里，为此，当用户不期望垃圾桶出现在视频流画面中时，只能采用修图工具一一将垃圾桶从大量视频帧图像中去除，消耗了大量的时间精力。
技术实现思路
为此，需要提供一种基于深度学习的异物过滤视频编码的技术方案，用以解决当拍摄视频流画面中出现用户不期望看到的物体时，需要用户手动去除，费时费力的问题。为实现上述目的，专利技术人提供了一种基于深度学习的异物过滤视频编码芯片，所述芯片包括数据通路选择单元、神经网络分类识别单元、敏感物体判断单元、敏感区域划分单元、敏感物体存储列表、敏感区域处理单元、敏感区域缓存单元、图像合并单元、视频编码单元；所述数据通路选择单元分别与图像采集单元、敏感物体判断单元、神经网络分类识别单元连接；所述神经网络分类识别单元与敏感区域划分单元、敏感物体判断单元连接；所述敏感物体判断单元与敏感物体存储列表连接；所述敏感区域划分单元与敏感区域缓存单元连接，所述敏感区域缓存单元与图像合并单元连接，所述图像合并单元与视频编码单元连接；所述数据通路选择单元用于接收图像采集单元采集的视频流数据，并将当前帧图像发送至神经网络分类识别单元；所述神经网络分类识别单元用于对当前帧图像进行物体识别，并将物体识别结果发送至敏感物体判断单元；所述敏感物体判断单元用于根据当前帧图像的物体识别结果，判断当前帧图像中是否包含有敏感物体存储列表中预先存储的敏感物体，若是则发送第一控制信号至数据通路选择单元，否则发送第二控制信号至数据通路选择单元；所述数据通路选择单元用于接收第一控制信号，将当前帧图像之后的连续N帧图像传输至神经网络分类识别单元；或者，用于接收第二控制信号，将当前帧图像之后的连续M帧图像传输至视频编码单元进行编码处理；N、M为正整数；所述敏感区域划分单元用于在当前帧图像中存在敏感物体的情况下，接收神经网络分类识别单元传输的当前帧图像，并划分出当前帧图像对应的敏感区域图像，并将敏感区域图像存储于敏感区域缓存单元中；所述敏感区域图像包含有敏感物体；所述敏感区域处理单元用于获取敏感区域缓存单元中的敏感区域图像，根据敏感物体与处理方式的对应关系，采用相应地处理方式处理敏感区域图像，并将处理结果发送至图像合并单元；所述图像合并单元用于接收当前帧图像和处理后的敏感区域图像，根据敏感区域图像在当前帧图像上的坐标位置，将处理后的敏感区域图像和当前帧图像合成为处理帧图像，并将所述处理帧图像传输至视频编码单元进行编码。进一步地，所述敏感区域划分单元包括轮廓识别单元和敏感区域坐标计算单元；所述轮廓识别单元用于识别出敏感区域图像中敏感物体的轮廓位置信息，所述轮廓位置信息以“第一标识行-第一起始坐标点-第一结束坐标点”的方式进行存储；所述敏感区域坐标计算单元用于根据轮廓位置信息、以及敏感区域图像在当前帧图像中的坐标信息，计算敏感区域图像内的敏感物体在当前帧图像中的坐标位置信息，并将所述坐标位置信息以“第二标识行-第二起始坐标点-第二结束坐标点”的方式进行存储；所述第二标识行的数值为第一标识行的数值与敏感区域图像在当前帧图像内的起始行之和，所述第二起始坐标点为第一起始坐标点与敏感区域图像在当前帧图像内的起始列之和，所述第二结束坐标点为第二结束坐标点与敏感区域图像在当前帧图像内的起始列之和。进一步地，所述芯片还包括图像预测网络电路；所述图像预测网络电路用于根据敏感区域图像、当前帧图像、以及敏感区域图像在当前帧图像的坐标位置，根据预测出新的区域图像，并将新的区域图像送往图像合并单元。进一步地，敏感区域图像内敏感物体的处理方式包括以下一种或多种：马赛克处理、二值化处理、添加遮挡标识。进一步地，所述神经网络分类识别电路包括：fast-RCNN神经网络电路、SSD神经网络电路、YOLO神经网络电路。以及专利技术人还提供了一种基于深度学习的异物过滤视频编码方法，所述方法应用于基于深度学习的异物过滤视频编码电路，所述芯片包括数据通路选择单元、神经网络分类识别单元、敏感物体判断单元、敏感区域划分单元、敏感物体存储列表、敏感区域处理单元、敏感区域缓存单元、图像合并单元、视频编码单元；所述数据通路选择单元分别与图像采集单元、敏感物体判断单元、神经网络分类识别单元连接；所述神经网络分类识别单元与敏感区域划分单元、敏感物体判断单元连接；所述敏感物体判断单元与敏感物体存储列表连接；所述敏感区域划分单元与敏感区域缓存单元连接，所述敏感区域缓存单元与图像合并单元连接，所述图像合并单元与视频编码单元连接；所述方法包括以下步骤：数据通路选择单元接收图像采集单元采集的视频流数据，并将当前帧图像发送至神经网络分类识别单元；神经网络分类识别单元对当前帧图像进行物体识别，并将物体识别结果发送至敏感物体判断单元；敏感物体判断单元根据当前帧图像的物体识别结果，判断当前帧图像中是否包含有敏感物体存储列表中预先存储的敏感物体，若是则发送第一控制信号至数据通路选择单元，否则发送第二控制信号至数据通路选择单元；数据通路选择单元接收第一控制信号，将当前帧图像之后的连续N帧图像传输至神经网络分类识别单元；或者，接收第二控制信号，将当前帧图像之后的连续M帧图像传输至视频编码单元进行编码处理；N、M为正整数；敏感区域划分单元在当前帧图像中存在敏感物体的情况下，接收神经网络分类识别单元传输的当前帧图像，并划分出当前帧图像对应的敏感区域图像，并将敏感区域图像存储于敏感区域缓存单元中；所述敏感区域图像包含有敏感物体；敏感区域处理单元获取敏感区域缓存单元中的敏感区域图像，根据敏感物体与处理方式的对应关系，采用相应地处理方式处理敏感区域图像，并将处理结果发送至图像合并单元；图像合并单元接收当前帧图像和处理后的敏感区域图像，根据敏感区域图像在当前帧图像上的坐标位置，将处理后的敏感区域图像和当前帧图像合成为处理帧图像，并将所述处理帧图像传输至视频编码单元进行编码。进一步地，所述敏感区域划分单元包括轮廓识别单元和敏感区域坐标计算单元；所述方法还包括以下步骤：轮廓识别单元识别出敏感区域图像中敏感物体的轮廓位置信息，所述轮廓位置信息以“第一标识行-第一起始坐标点-第一结束坐标点”的方式进行存储；敏感区域坐标计算单元根据轮廓位置信息、以及敏感区域图像在当前帧图像中的坐标信息，计算敏感区域图像内的敏感物体在当前帧图像中的坐标位置信息，并将所述坐标位置信息以“第二标识行-第二起始坐标点-第二结束坐标点”的方式进行存储；所述第二标识行的数值为第一标识行的数值与敏感区域图像在当前帧图像内的起始行之和，所述第二起始坐标点为第一起始坐标点与敏感区域图像在当前帧图像内的起始列之和，所述第二结束坐标点为第二结束坐标点与敏感区域图像在当前帧图像内的起始列之和。进一步地，所述本文档来自技高网...

【技术保护点】
1.一种基于深度学习的异物过滤视频编码芯片，其特征在于，所述芯片包括数据通路选择单元、神经网络分类识别单元、敏感物体判断单元、敏感区域划分单元、敏感物体存储列表、敏感区域处理单元、敏感区域缓存单元、图像合并单元、视频编码单元；所述数据通路选择单元分别与图像采集单元、敏感物体判断单元、神经网络分类识别单元连接；所述神经网络分类识别单元与敏感区域划分单元、敏感物体判断单元连接；所述敏感物体判断单元与敏感物体存储列表连接；所述敏感区域划分单元与敏感区域缓存单元连接，所述敏感区域缓存单元与图像合并单元连接，所述图像合并单元与视频编码单元连接；所述数据通路选择单元用于接收图像采集单元采集的视频流数据，并将当前帧图像发送至神经网络分类识别单元；所述神经网络分类识别单元用于对当前帧图像进行物体识别，并将物体识别结果发送至敏感物体判断单元；所述敏感物体判断单元用于根据当前帧图像的物体识别结果，判断当前帧图像中是否包含有敏感物体存储列表中预先存储的敏感物体，若是则发送第一控制信号至数据通路选择单元，否则发送第二控制信号至数据通路选择单元；所述数据通路选择单元用于接收第一控制信号，将当前帧图像之后的连续N帧图像传输至神经网络分类识别单元；或者，用于接收第二控制信号，将当前帧图像之后的连续M帧图像传输至视频编码单元进行编码处理；N、M为正整数；所述敏感区域划分单元用于在当前帧图像中存在敏感物体的情况下，接收神经网络分类识别单元传输的当前帧图像，并划分出当前帧图像对应的敏感区域图像，并将敏感区域图像存储于敏感区域缓存单元中；所述敏感区域图像包含有敏感物体；所述敏感区域处理单元用于获取敏感区域缓存单元中的敏感区域图像，根据敏感物体与处理方式的对应关系，采用相应地处理方式处理敏感区域图像，并将处理结果发送至图像合并单元；所述图像合并单元用于接收当前帧图像和处理后的敏感区域图像，根据敏感区域图像在当前帧图像上的坐标位置，将处理后的敏感区域图像和当前帧图像合成为处理帧图像，并将所述处理帧图像传输至视频编码单元进行编码。...

【技术特征摘要】
1.一种基于深度学习的异物过滤视频编码芯片，其特征在于，所述芯片包括数据通路选择单元、神经网络分类识别单元、敏感物体判断单元、敏感区域划分单元、敏感物体存储列表、敏感区域处理单元、敏感区域缓存单元、图像合并单元、视频编码单元；所述数据通路选择单元分别与图像采集单元、敏感物体判断单元、神经网络分类识别单元连接；所述神经网络分类识别单元与敏感区域划分单元、敏感物体判断单元连接；所述敏感物体判断单元与敏感物体存储列表连接；所述敏感区域划分单元与敏感区域缓存单元连接，所述敏感区域缓存单元与图像合并单元连接，所述图像合并单元与视频编码单元连接；所述数据通路选择单元用于接收图像采集单元采集的视频流数据，并将当前帧图像发送至神经网络分类识别单元；所述神经网络分类识别单元用于对当前帧图像进行物体识别，并将物体识别结果发送至敏感物体判断单元；所述敏感物体判断单元用于根据当前帧图像的物体识别结果，判断当前帧图像中是否包含有敏感物体存储列表中预先存储的敏感物体，若是则发送第一控制信号至数据通路选择单元，否则发送第二控制信号至数据通路选择单元；所述数据通路选择单元用于接收第一控制信号，将当前帧图像之后的连续N帧图像传输至神经网络分类识别单元；或者，用于接收第二控制信号，将当前帧图像之后的连续M帧图像传输至视频编码单元进行编码处理；N、M为正整数；所述敏感区域划分单元用于在当前帧图像中存在敏感物体的情况下，接收神经网络分类识别单元传输的当前帧图像，并划分出当前帧图像对应的敏感区域图像，并将敏感区域图像存储于敏感区域缓存单元中；所述敏感区域图像包含有敏感物体；所述敏感区域处理单元用于获取敏感区域缓存单元中的敏感区域图像，根据敏感物体与处理方式的对应关系，采用相应地处理方式处理敏感区域图像，并将处理结果发送至图像合并单元；所述图像合并单元用于接收当前帧图像和处理后的敏感区域图像，根据敏感区域图像在当前帧图像上的坐标位置，将处理后的敏感区域图像和当前帧图像合成为处理帧图像，并将所述处理帧图像传输至视频编码单元进行编码。2.如权利要求1所述的基于深度学习的异物过滤视频编码芯片，其特征在于，所述敏感区域划分单元包括轮廓识别单元和敏感区域坐标计算单元；所述轮廓识别单元用于识别出敏感区域图像中敏感物体的轮廓位置信息，所述轮廓位置信息以“第一标识行-第一起始坐标点-第一结束坐标点”的方式进行存储；所述敏感区域坐标计算单元用于根据轮廓位置信息、以及敏感区域图像在当前帧图像中的坐标信息，计算敏感区域图像内的敏感物体在当前帧图像中的坐标位置信息，并将所述坐标位置信息以“第二标识行-第二起始坐标点-第二结束坐标点”的方式进行存储；所述第二标识行的数值为第一标识行的数值与敏感区域图像在当前帧图像内的起始行之和，所述第二起始坐标点为第一起始坐标点与敏感区域图像在当前帧图像内的起始列之和，所述第二结束坐标点为第二结束坐标点与敏感区域图像在当前帧图像内的起始列之和。3.如权利要求1所述的基于深度学习的异物过滤视频编码芯片，其特征在于，所述芯片还包括图像预测网络电路；所述图像预测网络电路用于根据敏感区域图像、当前帧图像、以及敏感区域图像在当前帧图像的坐标位置，根据预测出新的区域图像，并将新的区域图像送往图像合并单元。4.如权利要求1所述的基于深度学习的异物过滤视频编码芯片，其特征在于，敏感区域图像内敏感物体的处理方式包括以下一种或多种：马赛克处理、二值化处理、添加遮挡标识。5.如权利要求1所述的基于深度学习的异物过滤视频编码芯片，其特征在于，所述神经网络分类识别电路包括：fast-RCNN神经网络电路、SSD神经网络电路、YOLO神经网络电路。6.一种基于深度学...

【专利技术属性】
技术研发人员：廖裕民，强书连，
申请(专利权)人：福州瑞芯微电子股份有限公司，
类型：发明
国别省市：福建,35