弹幕的显示方法及装置制造方法及图纸

本发明专利技术实施例公开了一种弹幕的显示方法及装置，涉及神经网络技术领域。其中方法包括：获取视频流的视频帧图像，并将所述视频帧图像作为第一图像；基于轻量人体语义分割网络模型，得到所述视频帧图像的人体区域解析信息；以及基于所述人体区域解析信息，调整弹幕的显示区域。根据本发明专利技术实施例的弹幕的显示方法，基于轻量人体语义分割网络模型，得到视频帧图像的人体区域解析信息；基于该人体区域解析信息，调整弹幕的显示区域。防止弹幕对视频帧图像中的人体造成遮挡，以提高用户观看体验。

Display method and device of bullet curtain

【技术实现步骤摘要】
弹幕的显示方法及装置
本专利技术涉及图像处理
，具体涉及一种弹幕的显示方法及装置。
技术介绍
随着科技的进步，用户对智能设备的要求越来越高，在观看视频或电视节目的同时需要了解与该视频或电视节目相关的周边信息、花絮或评论，或需要与其他用户进行互动，以提高用户的观看体验。弹幕是指观看图片或视频的人实时发送的简短评论，该简短评论会随着图片或视频的播放实时地随图片或视频播放，这样用户在观看图片或视频时发表的弹幕文字会被其它同样观看该图片或视频的用户看到，也会被自己看到。以目前常见的直播、短视频等为例，人们为增加乐趣打开弹幕开关，通常弹幕都是在屏幕的上方或下方进行显示，比如，弹幕可以根据时间线从屏幕上方的一侧以固定速度飘过，或者显示在屏幕的下方且显示一段时间后消失。但是，弹幕显示在屏幕的上方或下方，一般都会遮挡视频播放过程中视频图像的部分画面，当弹幕比较多且比较密集时，通常会遮挡住视频图像的大部分画面，甚至将视频中的主体遮挡。因此，这会对用户观看视频造成干扰，极大地降低了用户观看体验。
技术实现思路
有鉴于此，本专利技术实施例提供了一种弹幕的显示方法和装置，基于轻量人体语义分割网络模型，得到视频帧图像的人体区域解析信息；基于该人体区域解析信息，调整弹幕的显示区域。防止弹幕对视频帧图像中的人体造成遮挡，以提高用户观看体验。根据本专利技术的一方面，提供一种视频的弹幕显示方法，包括：获取视频流的视频帧图像，并将所述视频帧图像作为第一图像；基于轻量人体语义分割网络模型，得到所述视频帧图像的人体区域解析信息；以及基于所述人体区域解析信息，调整弹幕的显示区域。优选地，所述人体区域解析信息包括：所述视频帧图像的前景的像素和背景的像素的分布信息。优选地，所述基于轻量人体语义分割网络模型，得到所述视频帧图像的人体区域解析信息，包括：提取所述第一图像的第一特征图；对所述第一特征图进行第一阶段的金字塔池化，得到第二图像；以及对所述第二图像进行第二阶段的金字塔池化，得到第三图像；其中，所述第三图像区分显示前景的像素和背景的像素。优选地，所述对所述第一特征图进行第一阶段的金字塔池化，得到第二图像，包括：对所述第一特征图进行多尺度池化，得到多个不同尺度的第二特征图；将多个不同尺度的所述第二特征图分别进行卷积以降低维度，得到多个低维的第三特征图；将多个低维的所述第三特征图上采样为与所述第一特征图同维的多个第四特征图；将所述第一特征图和所述多个第四特征图拼接，得到第五特征图；基于所述第五特征图和交叉熵损失函数，将所述第五特征图的像素分为前景的像素和背景的像素，得到第六特征图；以及对所述第六特征图进行三次样条插值，得到所述第二图像。优选地，所述对所述第二图像进行第二阶段的金字塔池化，得到第三图像，包括：对所述第二图像进行多尺度池化，得到多个不同尺度的第七特征图；将多个不同尺度的所述第七特征图分别进行卷积以降低维度，得到多个低维的第八特征图；将多个低维的所述第八特征图上采样为与所述第二图像同维的多个第十特征图；将所述第二图像和所述多个第十特征图拼接，得到第十一特征图；基于所述第十一特征图和交叉熵损失函数，将所述第十一特征图的像素分为前景的像素和背景的像素，得到第十二特征图；以及对所述第十二特征图进行三次样条插值，得到所述第三图像。优选地，所述基于所述人体区域解析信息，调整弹幕的显示区域，包括：将所述第三图像的前景的像素和背景的像素的分布信息反馈给上层网络；调整所述弹幕的显示区域，使得所述弹幕显示于所述视频帧图像的背景上。优选地，所述基于轻量人体语义分割网络模型，得到所述视频帧图像的人体区域解析信息之前，包括：建立所述轻量人体语义分割网络模型。优选地，所述建立所述轻量人体语义分割网络模型，包括：建立轻量人体语义分割网络目标模型；预训练所述轻量人体语义分割网络目标模型；以及微调所述轻量人体语义分割网络目标模型的参数，得到所述轻量人体语义分割网络模型。优选地，所述建立轻量人体语义分割网络目标模型，包括：将移动网络模型作为骨架网络；续接多个阶段的金字塔池化网络模型。优选地，所述预训练所述轻量人体语义分割网络目标模型，包括：将分类数据集输入所述轻量人体语义分割网络目标模型；基于所述轻量人体语义分割网络目标模型，得到所述分类数据集的前景的像素和背景的像素的分类结果。优选地，所述预训练所述轻量人体语义分割网络目标模型，还包括：基于所述分类数据集的前景的像素和背景的像素的分类结果，计算所述轻量人体语义分割网络目标模型的损失函数；基于反向传播，采用随机梯度下降法最小化所述损失函数；以及更新所述轻量人体语义分割网络目标模型的各层神经元结点的权值，得到轻量人体语义分割网络初始模型。优选地，所述微调所述轻量人体语义分割网络目标模型的参数，得到所述轻量人体语义分割网络模型之前，包括：建立检测数据集。优选地，所述建立检测数据集，包括：在所述检测数据集中，将图像中位于人体的原始像素作为前景的像素；将图像中位于非人体的原始像素作为背景的像素；以及为所述检测数据集的前景的像素和背景的像素标记像素标签。优选地，所述微调所述轻量人体语义分割网络目标模型的参数，得到所述轻量人体语义分割网络模型，包括：将所述检测数据集输入所述轻量人体语义分割网络初始模型，得到所述检测数据集的前景的像素和背景的像素的分类结果；比较所述检测数据集的所述前景的像素和背景的像素的分类结果与所述像素标签；以及基于比较结果，微调所述轻量人体语义分割网络目标模型的参数，得到所述轻量人体语义分割网络模型。优选地，基于多项式衰减机制，调整所述轻量人体语义分割网络目标模型的预训练学习的学习率；基于多项式衰减机制，调整所述轻量人体语义分割网络目标模型的微调学习的学习率。优选地，所述金字塔池化网络模型包括：多个池化层、多个卷积层、加速神经网络训练层、非线性激活层和三次样条插值层。根据本专利技术的另一方面，提供一种弹幕的显示装置，包括：数据获取单元，用于获取视频流的视频帧图像；人体区域解析单元，用于基于轻量人体语义分割网络模型，得到所述视频帧图像的人体区域解析信息；以及弹幕显示单元，用于基于所述人体区域解析信息，调整弹幕的显示区域。优选地，所述的弹幕的显示装置，还包括：模型建立单元，用于建立所述轻量人体语义分割网络模型。根据本专利技术的又一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被执行时实现如上所述的弹幕的显示方法。根据本专利技术的再一方面，提供一种弹幕的显示控制装置，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处本文档来自技高网...

【技术保护点】
1.一种弹幕的显示方法，其特征在于，包括：/n获取视频流的视频帧图像，并将所述视频帧图像作为第一图像；/n基于轻量人体语义分割网络模型，得到所述视频帧图像的人体区域解析信息；以及/n基于所述人体区域解析信息，调整弹幕的显示区域。/n

【技术特征摘要】
1.一种弹幕的显示方法，其特征在于，包括：
获取视频流的视频帧图像，并将所述视频帧图像作为第一图像；
基于轻量人体语义分割网络模型，得到所述视频帧图像的人体区域解析信息；以及
基于所述人体区域解析信息，调整弹幕的显示区域。


2.根据权利要求1所述的弹幕的显示方法，其特征在于，所述人体区域解析信息包括：所述视频帧图像的前景的像素和背景的像素的分布信息。


3.根据权利要求2所述的弹幕的显示方法，其特征在于，所述基于轻量人体语义分割网络模型，得到所述视频帧图像的人体区域解析信息，包括：提取所述第一图像的第一特征图；
对所述第一特征图进行第一阶段的金字塔池化，得到第二图像；以及
对所述第二图像进行第二阶段的金字塔池化，得到第三图像；
其中，所述第三图像区分显示前景的像素和背景的像素。


4.根据权利要求3所述的弹幕的显示方法，其特征在于，所述对所述第一特征图进行第一阶段的金字塔池化，得到第二图像，包括：
对所述第一特征图进行多尺度池化，得到多个不同尺度的第二特征图；
将多个不同尺度的所述第二特征图分别进行卷积以降低维度，得到多个低维的第三特征图；
将多个低维的所述第三特征图上采样为与所述第一特征图同维的多个第四特征图；
将所述第一特征图和所述多个第四特征图拼接，得到第五特征图；
基于所述第五特征图和交叉熵损失函数，将所述第五特征图的像素分为前景的像素和背景的像素，得到第六特征图；以及
对所述第六特征图进行三次样条插值，得到所述第二图像。


5.根据权利要求4所述的弹幕的显示方法，其特征在于，所述对所述第二图像进行第二阶段的金字塔池化，得到第三图像，包括：对所述第二图像进行多尺度池化，得到多个不同尺度的第七特征图；
将多个不同尺度的所述第七特征图分别进行卷积以降低维度，得到多个低维的第八特征图；
将多个低维的所述第八特征图上采样为与所述第二图像同维的多个第十特征图；
将所述第二图像和所述多个第十特征图拼接，得到第十一特征图；
基于所述第十一特征图和交叉熵损失函数，将所述第十一特征图的像素分为前景的像素和背景的像素，得到第十二特征图；以及
对所述第十二特征图进行三次样条插值，得到所述第三图像。


6.根据权利要求5所述的弹幕的显示方法，其特征在于，所述基于所述人体区域解析信息，调整弹幕的显示区域，包括：
将所述第三图像的前景的像素和背景的像素的分布信息反馈给上层网络；
调整所述弹幕的显示区域，使得所述弹幕显示于所述视频帧图像的背景上。


7.根据权利要求6所述的弹幕的显示方法，其特征在于，所述基于轻量人体语义分割网络模型，得到所述视频帧图像的人体区域解析信息之前，包括：建立所述轻量人体语义分割网络模型。


8.根据权利要求7所述的弹幕的显示方法，其特征在于，所述建立所述轻量人体语义分割网络模型，包括：
建立轻量人体语义分割网络目标模型；
预训练所述轻量人体语义分割网络目标模型；以及
微调所述轻量人体语义分割网络目标模型的参数，得到所述轻量人体语义分割网络模型。


9.根据权利要求8所述的弹幕的显示方法，其特征在于，所述建立轻量人体语义分割网络目标模型，包括：
将移动网络模型作为骨架网络；

【专利技术属性】
技术研发人员：车广富，安山，
申请(专利权)人：北京沃东天骏信息技术有限公司，
类型：发明
国别省市：北京;11