视频会议辅流显示方法、系统、设备及存储介质技术方案

本发明专利技术提供了一种视频会议辅流显示方法、系统、设备及存储介质，所述方法包括：信宿端接收信源端发送的当前辅流视频帧中的鼠标位置信息；信宿端根据鼠标位置信息确定当前辅流视频帧的辅流显示区域的位置范围；信宿端接收信源端发送的当前辅流视频帧的显示数据；信宿端显示当前辅流视频帧对应于辅流显示区域的显示数据。通过采用本发明专利技术，通过信宿端预先接收信源端的鼠标位置信息，并根据鼠标位置信息确定辅流显示区域的位置范围，从而在信宿端接收到辅流视频帧的显示数据时，调整当前辅流视频帧的辅流显示区域的显示范围，在信宿端可以跟随鼠标移动自动调整辅流显示区域，无需用户再手动调整，从而提高了用户的会议协作效率和会议体验。

【技术实现步骤摘要】
视频会议辅流显示方法、系统、设备及存储介质
本专利技术涉及数据处理
，尤其涉及一种视频会议辅流显示方法、系统、设备及存储介质。
技术介绍
视频会议中，一般至少包括两条视频流，第一条视频流承载摄像机采集的视频，第二条视频流为辅流。其中，辅流一般为辅助会议进行的电脑屏幕内容。由于电脑屏幕内容多为大量的文字细节内容，若进行分辨率压缩，会导致文字细节模糊，甚至丢失，辅流清晰度严重下降，影响了会议沟通。因此辅流不适合进行分辨率压缩编码和显示。在实际应用中，当用户在PC(PersonalComputer，个人计算机)端(即信宿端)观看从信源端发送的辅流时会出现PC的分辨率小于辅流的分辨率，或者UI(Userinterface，用户界面)中辅流播放区域小于辅流分辨率的情况，此时为了保证辅流的清晰度播放，就需要100％大小的分辨进行播放，这就导致PC端只能看到部分辅流内容，需要使用鼠标人工拖动辅流显示区域，操作很繁琐，严重影响了会议体验。
技术实现思路
针对现有技术中的问题，本专利技术的目的在于提供一种视频会议辅流显示方法、系统、设备及存储介质，自动根据鼠标位置调整辅流显示区域，提升会议体验。本专利技术实施例提供一种视频会议辅流显示方法，包括如下步骤：信宿端接收信源端发送的当前辅流视频帧中的鼠标位置信息；所述信宿端根据所述鼠标位置信息确定当前辅流视频帧的辅流显示区域的位置范围；所述信宿端接收信源端发送的当前辅流视频帧的显示数据；所述信宿端显示当前辅流视频帧对应于所述辅流显示区域的显示数据。可选地，所述信宿端接收信源端发送的当前辅流视频帧中的鼠标位置信息，包括如下步骤：所述信宿端接收信源端的第i-n个辅流视频帧Fi-n的RTP包；所述信宿端从所述辅流视频帧Fi-n的RTP包的扩展信息中提取第i个辅流视频帧Fi的鼠标位置信息，i＞n≥1。可选地，所述信宿端根据所述鼠标位置信息确定当前辅流视频帧的辅流显示区域的位置范围，包括如下步骤：所述信宿端调整当前辅流视频帧的辅流显示区域为以鼠标位置为中心点的辅流显示区域。可选地，所述信宿端调整当前辅流视频帧的辅流显示区域为以鼠标位置为中心点的辅流显示区域，包括如下步骤：所述信宿端判断所述鼠标位置是否位于前一辅流视频帧的辅流显示区域之内；如果所述鼠标位置位于前一辅流视频帧的辅流显示区域之外，则所述信宿端调整当前辅流视频帧的辅流显示区域为以鼠标位置为中心点的辅流显示区域；如果所述鼠标位置位于前一辅流视频帧的辅流显示区域之内，则所述信宿端计算当前辅流视频帧的鼠标位置到前一辅流视频帧的辅流显示区域中每条边的距离，获得最小距离；所述信宿端判断所述最小距离是否大于等于预设距离阈值；如果所述最小距离大于等于预设距离阈值，则所述信宿端保持所述辅流视频帧的辅流显示区域与前一辅流视频帧相同；如果所述最小距离小于预设距离阈值，所述信宿端调整当前辅流视频帧的辅流显示区域为以鼠标位置为中心点的辅流显示区域。可选地，所述信宿端判断所述最小距离小于预设距离阈值之后，还包括如下步骤：所述信宿端判断距离前一辅流视频帧的辅流显示区域中与所述鼠标位置距离最近的边是否为视频边缘；如果是，则所述信宿端保持当前辅流视频帧的辅流显示区域与前一辅流视频帧相同；否则，所述信宿端调整当前辅流视频帧的辅流显示区域为以鼠标位置为中心点的辅流显示区域。可选地，所述信宿端显示当前辅流视频帧对应于所述辅流显示区域的显示数据，包括如下步骤：如果当前辅流视频帧与前一辅流视频帧的辅流显示区域位置不同，所述信宿端获取所述信源端发送的平滑移动标识位并判断是否需要平滑移动；如果是，则以前一辅流视频帧的视频内容为底图，在显示当前辅流视频帧之前将辅流显示区域平滑移动到当前帧的辅流显示区域，然后显示当前辅流视频帧对应于所述辅流显示区域的显示数据；如果否，则显示当前辅流视频帧时直接切换到当前辅流视频帧对应于所述辅流显示区域的显示数据。可选地，所述信宿端接收信源端发送的扩展信息之前，还包括如下步骤：信源端判断辅流编码帧率是否大于预设帧率阈值；如果是，则所述信源端将平滑移动标志位设置为指示无需平滑移动的值；否则，所述信源端将平滑移动标志位设置为指示需要平滑移动的值。可选地，所述信源端判断辅流编码帧率小于等于预设帧率阈值之后，还包括如下步骤：所述信源端计算当前辅流视频帧与前一辅流视频帧的相似度，判断相似度是否大于预设相似度阈值；如果是，则所述信源端将平滑移动标志位设置为指示需要平滑移动的值；否则，所述信源端将平滑移动标志位设置为指示无需平滑移动的值。可选地，所述信源端计算当前辅流视频帧与前一辅流视频帧的相似度，包括如下步骤：计算当前辅流视频帧的YUV数据的哈希值和前一辅流视频帧的YUV数据的哈希值之间的海明距离，作为当前辅流视频帧与前一辅流视频帧的相似度；或计算当前辅流视频帧的YUV数据与前一辅流视频帧的YUV数据的残差图像，将所述残差图像中YUV值等于0的像素比例作为当前辅流视频帧与前一辅流视频帧的相似度。通过采用本专利技术的视频会议辅流显示方法，信宿端通过预先接收信源端的鼠标位置信息，并根据信源端的鼠标位置信息确定辅流显示区域的位置范围，从而在信宿端接收到辅流视频帧的显示数据时，调整当前辅流视频帧的辅流显示区域的显示范围，在信宿端可以跟随鼠标移动自动调整辅流显示区域，实现信源端和信宿端关注点的统一，无需用户再手动调整，从而提高了用户的会议协作效率和会议体验。本专利技术实施例还提供一种视频会议辅流显示系统，应用于所述的视频会议辅流显示方法，所述系统包括设置于信宿端的：鼠标信息接收模块，用于接收信源端发送的当前辅流视频帧中的鼠标位置信息；显示区域确定模块，用于根据所述鼠标位置信息确定当前辅流视频帧的辅流显示区域的位置范围；视频数据接收模块，用于接收信源端发送的当前辅流视频帧的显示数据；视频数据显示模块，用于显示当前辅流视频帧对应于所述辅流显示区域的显示数据。通过采用本专利技术的视频会议辅流显示系统，通过信宿端的鼠标信息接收模块预先接收信源端的鼠标位置信息，显示区域确定模块根据鼠标位置信息确定辅流显示区域的位置范围，从而在视频数据接收模块接收到辅流视频帧的显示数据时，视频数据显示模块调整当前辅流视频帧的辅流显示区域的显示范围，在信宿端可以跟随鼠标移动自动调整辅流显示区域，无需用户再手动调整，从而提高了用户的会议协作效率和会议体验。本专利技术实施例还提供一种视频会议辅流显示设备，包括：处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行所述的视频会议辅流显示方法的步骤。通过采用本专利技术所提供的视频会议辅流显示设备，所述处理器在执行所述可执行指令时执行所述的视频会议辅流显示方法，由此可以获得上述视频会议本文档来自技高网...

【技术保护点】
1.一种视频会议辅流显示方法，其特征在于，包括如下步骤：/n信宿端接收信源端发送的当前辅流视频帧中的鼠标位置信息；/n所述信宿端根据所述鼠标位置信息确定当前辅流视频帧的辅流显示区域的位置范围；/n所述信宿端接收信源端发送的当前辅流视频帧的显示数据；/n所述信宿端显示当前辅流视频帧对应于所述辅流显示区域的显示数据。/n

【技术特征摘要】
1.一种视频会议辅流显示方法，其特征在于，包括如下步骤：
信宿端接收信源端发送的当前辅流视频帧中的鼠标位置信息；
所述信宿端根据所述鼠标位置信息确定当前辅流视频帧的辅流显示区域的位置范围；
所述信宿端接收信源端发送的当前辅流视频帧的显示数据；
所述信宿端显示当前辅流视频帧对应于所述辅流显示区域的显示数据。


2.根据权利要求1所述的视频会议辅流显示方法，其特征在于，所述信宿端接收信源端发送的当前辅流视频帧中的鼠标位置信息，包括如下步骤：
所述信宿端接收信源端的第i-n个辅流视频帧Fi-n的RTP包；
所述信宿端从所述辅流视频帧Fi-n的RTP包的扩展信息中提取第i个辅流视频帧Fi的鼠标位置信息，i＞n≥1。


3.根据权利要求1所述的视频会议辅流显示方法，其特征在于，所述信宿端根据所述鼠标位置信息确定当前辅流视频帧的辅流显示区域的位置范围，包括如下步骤：
所述信宿端调整当前辅流视频帧的辅流显示区域为以鼠标位置为中心点的辅流显示区域。


4.根据权利要求3所述的视频会议辅流显示方法，其特征在于，所述信宿端调整当前辅流视频帧的辅流显示区域为以鼠标位置为中心点的辅流显示区域，包括如下步骤：
所述信宿端判断所述鼠标位置是否位于前一辅流视频帧的辅流显示区域之内；
如果所述鼠标位置位于前一辅流视频帧的辅流显示区域之外，则所述信宿端调整当前辅流视频帧的辅流显示区域为以鼠标位置为中心点的辅流显示区域；
如果所述鼠标位置位于前一辅流视频帧的辅流显示区域之内，则所述信宿端计算当前辅流视频帧的鼠标位置到前一辅流视频帧的辅流显示区域中每条边的距离，获得最小距离；
所述信宿端判断所述最小距离是否大于等于预设距离阈值；
如果所述最小距离大于等于预设距离阈值，则所述信宿端保持所述辅流视频帧的辅流显示区域与前一辅流视频帧相同；
如果所述最小距离小于预设距离阈值，所述信宿端调整当前辅流视频帧的辅流显示区域为以鼠标位置为中心点的辅流显示区域。


5.根据权利要求4所述的视频会议辅流显示方法，其特征在于，所述信宿端判断所述最小距离小于预设距离阈值之后，还包括如下步骤：
所述信宿端判断距离前一辅流视频帧的辅流显示区域中与所述鼠标位置距离最近的边是否为视频边缘；
如果是，则所述信宿端保持当前辅流视频帧的辅流显示区域与前一辅流视频帧相同；
否则，所述信宿端调整当前辅流视频帧的辅流显示区域为以鼠标位置为中心点的辅流显示区域。


6.根据权利要求1所述的视频会议辅流显示方法，其特征在于，所述信宿端显示当前辅流视频帧对应于所述辅流显示区域的显示数据，包括如下步骤：
如果当前辅流视频帧与前一辅流视频帧的辅流显示区域位置...

【专利技术属性】
技术研发人员：王展，胡小鹏，顾振华，
申请(专利权)人：苏州科达科技股份有限公司，
类型：发明
国别省市：江苏;32