数据处理方法、系统、电子设备、服务端及客户端设备技术方案

本申请实施例提供一种数据处理方法、系统、电子设备、服务端及客户端设备。其中，方法包括：确定视频中的第一对象；获取与所述第一对象关联的显示元素；获取所述第一对象在视频的播放画面上的第一位置；根据所述第一对象在所述视频的播放画面上的第一位置，所述显示元素跟随所述第一对象显示在所述视频的播放画面上。本申请实施例提供的技术方案，采用跟随方式来显示所述显示元素，可以增加视频内容的趣味性，提高用户参与的积极性与交互性。提高用户参与的积极性与交互性。提高用户参与的积极性与交互性。

【技术实现步骤摘要】
数据处理方法、系统、电子设备、服务端及客户端设备


[0001]本申请涉及计算机
，尤其涉及一种数据处理方法、系统、电子设 备、服务端及客户端设备。

技术介绍

[0002]随着互联网的发展，观看媒体信息，特别是观看视频已成为现下比较流 行的休闲方式之一。现有技术中，为增强用户之间的互动性，多数视频是通 过弹幕形式来实现的。弹幕是在网络上观看视频时弹出的用户通过视频设置 的评论区域所发表的评论性文字，常以滚动方式从固定位置出现，其支持用 户添加对视频情节的理解和评论。
[0003]现有弹幕展示形式简单、单一且缺乏针对性。

技术实现思路

[0004]本申请提供一种解决上述问题或至少部分地解决上述问题的数据处理方 法、系统、电子设备、服务端及客户端设备。
[0005]在本申请的一个实施例中，提供了一种数据处理方法。该方法，包括：
[0006]确定视频中的第一对象；
[0007]获取与所述第一对象关联的显示元素；
[0008]获取所述第一对象在所述视频的播放画面上的第一位置；
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：确定视频中的第一对象；获取与所述第一对象关联的显示元素；获取所述第一对象在所述视频的播放画面上的第一位置；根据所述第一位置，所述显示元素跟随所述第一对象显示在所述视频的播放画面上。2.根据权利要求1所述的方法，其特征在于，确定所述视频中的第一对象，包括：响应于用户通过交互界面触发的对象选择事件，获取用户选择对象对应的图片；基于所述图片，检测所述视频中与所述图片匹配的所述第一对象；或者响应于用户在所述视频播放画面上的操作，获取所述播放画面上用户操作位置处的画面内容，将所述画面内容作为所述第一对象。3.根据权利要求2所述的方法，其特征在于，获取与所述第一对象关联的显示元素，包括：响应于用户针对所述第一对象触发的输入事件，获取用户输入的所述显示元素；或者响应于用户针对所述第一对象触发的语音输入，对用户输入的语音信息进行自然语言处理，根据自然语言处理结果，确定所述显示元素。4.根据权利要求3所述的方法，其特征在于，还包括：根据所述输入事件针对的所述视频中帧图像的帧标识，确定所述显示元素的显示时机；根据所述第一对象在所述视频的播放画面上的第一位置，确定所述显示元素的跟随轨迹；将所述显示元素、所述显示时机及所述跟随轨迹作为所述视频的附加显示信息发送至服务端，以便至少一个客户端在播放所述视频时获取。5.根据权利要求1所述的方法，其特征在于，确定视频中的第一对象，包括：确定所述视频的第一帧图像中的第一对象；其中，所述第一帧图像是根据所述视频的附加显示内容确定的，或者是用户通过交互界面触发对象选择事件时指定的，或者是用户在所述视频播放画面上操作时对应的帧图像，或是用户在输入与所述第一对象关联的显示元素时指定的。6.根据权利要求5所述的方法，其特征在于，获取所述第一对象在所述视频的播放画面上的位置，包括：检测所述第一对象在所述第一帧图像中的第一位置；利用目标追踪算法，追踪所述第一对象在所述第一帧图像的后续帧图像中的第一位置；未满足追踪停止条件的情况下，返回追踪到的所述第一对象在第一帧图像后续的至少一帧图像中的第一位置；满足追踪停止条件的情况下，停止对所述第一对象的追踪。7.根据权利要求6所述的方法，其特征在于，所述追踪条件包括如下中的至少一项：追踪时长到达第三阈值；帧图像无所述第一对象；第一对象在帧图像的播放画面上的面积占播放画面的比例大于或等于第四阈值。
8.根据权利要求6所述的方法，其特征在于，所述第一对象在所述视频的播放画面上的第一位置包括：所述第一对象在第一帧图像上的第一位置以及追踪到的所述第一对象在第一帧图像后续的至少一帧图像中的第一位置；以及根据所述第一位置，所述显示元素跟随所述第一对象显示在所述视频的播放画面上，包括：根据所述第一对象在所述第一帧图像及所述第一帧图像后续的至少一帧图像中的一目标帧图像的第一位置，确定所述第一对象在该目标帧图像中的轮廓信息；基于所述轮廓信息，确定第二位置；在所述目标帧图像播放画面上的所述第二位置处，显示所述显示元素。9.根据权利要求8所述的方法，其特征在于，所述第一对象在所述目标帧图像中的第一位置包括二维框坐标信息；以及根据所述第一对象在所述目标帧图像中的第一位置，确定所述第一对象在所述目标帧图像中的轮廓信息，包括：从所述目标帧图像中，将所述二维框坐标信息对应框区域内的所述第一对象分割出，得到所述第一对象的所述轮廓信息。10.根据权利要求8所述的方法，其特征在于，基于所述轮廓信息，确定第二位置，包括：在所述轮廓信息对应轮廓的周围，生成至少一个候选区；从所述至少一个候选区中，选取一个候选区作为目标区；其中，所述目标区所在位置即用于显示所述显示元素的所述第二位置。11.根据权利要求10所述的方法，其特征在于，在所述轮廓信息对应轮廓的周围，生成至少一个候选区，包括：识别所述目标帧图像中不能遮挡的至少一个第二对象；存在不能遮挡的所述至少一个第二对象时，确定所述至少一个第二对象在所述目标帧图像中所占的区域边界；根据所述轮廓信息及所述区域边界，确定所述目标帧图像的播放画面上候选区的设置区域；在所述设置区域的面积大于第一阈值时，在所述设置区域内规划候选区的设置方案；其中，所述设置方案包含如下中的至少一项：候选区的数量、候选区的分布方式、候选区的尺寸；按照所述候选区的设置方案，生成所述至少一个候选区。12.根据权利要求11所述的方法，其特征在于，在所述设置区域内规划候选区的设置方案，包括：按照规划规则，在所述设置区域内规划候选区的设置方案；其中，规划规则包括如下中至少一项：候选区的近所述轮廓信息对应轮廓的近点与所述轮廓之间具有第一间距；两相邻候选区之间具有第二间距；候选区的尺寸设置区间；其中，所述尺寸设置区间包括：最小长宽尺寸、最大长宽尺寸。13.根据权利要求10所述的方法，其特征在于，从所述至少一个候选区中，选取一个候选区作为目标区，包括：
从所述至少一个候选区中，随机选取一个候选区作为目标区；或者，从所述至少一个候选区中，选取与所述显示元素所需显示面积匹配的候选区作为目标区。14.根据权利要求13所述的方法，其特征在于，在所述目标帧图像播放画面上的所述第二位置处，显示所述显示元素，包括：选取的目标区与所述显示元素所需显示面积不匹配时，在所述目标帧图像的播放画面的所述目标区内，滚动显示所述显示元素。15.根据权利要求11所述的方法，其特征在于，还包括：所述设置区域面积小于或等于第一阈值时，放弃在所述目标帧图像的播放画面上显示所述显示元素。16.根据权利要求1至15中任一项所述的方法，其特征在于，所述第一对象为人脸图像数据；以及获取与所述第一对象关联的显示元素，包括：对所述人脸图像数据进行面部表情分析，得到面部表情结果；根据所述面部表情结果，确定与所述第一对象关联的所述显示元素。17.根据权利要求1至15中任一项所述的方法，其特征在于，还包括：获取与所述视频关联的弹幕信息；在显示有跟随所述第一对象的显示元素的播放画面上，滚动显示所述弹幕信息。18.根据权利要求1至15中任一项所述的方法，其特征在于，还包括：响应于用户的开启操作，启动在视频的播放画面上展现显示元素跟随视频中关联对象的功能。19.根据权利要求1至15中任一项所述的方法，其特征在于，所述显示元素为所述第一对象的内心活动信息；以及所述方法还包括：获取针对所述第一对象出现所述内心活动信息的原因；将所述原因与所述内心活动信息关联显示。20.根据权利要求19所述的方法，其特征在于，获取针对所述第一对象出现所述内心活动信息的原因，包括：对所述内心活动信息进行分析，以分析出出现所述内心活动信息的原因；或者获取用户针对所述内心活动信息输入的所述原因；或者获取用户针对所述内心活动信息输入的与所述视频相关的字幕信息。21.根据权利要求1至15中任一项所述的方法，其特征在于，与所述第一对象关联的显示元素为多个；多个显示元素是由不同用户针对所述第一对象发表的；以及所述方法还包括：对多个显示元素进行匹配；将所述多个显示元素中具有匹配关系的两个或两个以上的显示元素关联展示。22.根据权利要求1至15中任一项所述的方法，其特征在于，所述显示元素...

【专利技术属性】
技术研发人员：卜瑞，曹金明，李扬彦，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：