一种远程视频方法及相关装置制造方法及图纸

本申请实施例公开了一种远程视频方法，应用于终端上。该方法包括：第一终端获取第一图像帧和第二图像帧，第一图像帧的变焦倍率大于第二图像帧的变焦倍率，第一图像帧是根据感兴趣区域信息确定的；第一终端向第二终端发送多个图像帧和指示信息，以使得第二终端根据指示信息选择待显示的图像帧，该指示信息包括第一图像帧的感兴趣区域信息。通过在发送与感兴趣区域相关的图像帧的过程中，加入变焦倍率更低的图像帧，可以使得接收端能够及时从变焦倍率更低的图像帧中截取出变化后的感兴趣区域对应的画面并进行显示，提高了调整视频感兴趣区域时的响应时间，避免视频画面出现卡顿现象。避免视频画面出现卡顿现象。避免视频画面出现卡顿现象。

【技术实现步骤摘要】
一种远程视频方法及相关装置


[0001]本申请涉及通信
，尤其涉及一种远程视频方法及相关装置。

技术介绍

[0002]随着通信技术的发展，远程视频在视频通话、远程医疗以及远程教育等场景中得到了广泛的应用。受限于功耗以及时延，远程视频的画面分辨率通常不超过1080P。然而，在很多场合下，如果视频的采集分辨率为1080P，则采集得到的视频的清晰度可能无法满足实际需求。例如，在远程作业辅导的场景中，即便放大了视频画面，视频画面中小号的字体也可能无法辨识清楚。
[0003]基于此，在相关技术中，提高了发送端采集视频的分辨率，并将采集到的视频的分辨率缩小为1080P后再发送到接收端。这样一来，当接收端需要放大某个区域(该区域通常称为感兴趣区域)时，接收端将需要放大的区域反馈给发送端。发送端在获取到需要放大的区域后，发送端从采集的视频画面中截取出需要放大的区域，并将截取得到的视频画面转换为1080P后发送给接收端。由于截取得到的视频画面是以高分辨率采集得到的，因此能够保证该视频画面的清晰度满足要求。
[0004]然而，接收端远程控制发送端，会存在较高的响应时间，容易导致视频画面出现明显的卡顿现象。例如，接收端在执行画面放大操作后，需要等待较长的时间(通常需要等待300毫秒以上)，接收端才能够接收到发送端发送的数据并显示放大后的视频画面。

技术实现思路

[0005]本申请实施例提供了一种远程视频方法，发送端在向接收端发送与感兴趣区域相关的图像帧的过程中，加入变焦倍率更低的图像帧，即画面中包括更多内容的图像帧。这样，当接收端中的感兴趣区域发生变化时，接收端能够及时从变焦倍率更低的图像帧中截取出变化后的感兴趣区域对应的画面并进行显示，即接收端不需要等待较长时间即可显示调整后的视频画面，提高了调整视频感兴趣区域时的响应时间，避免视频画面出现卡顿现象。
[0006]本申请第一方面提供一种远程视频方法，应用于作为远程视频过程中的视频采集端以及视频发送端的第一终端。该方法包括：第一终端获取多个图像帧，所述多个图像帧包括第一图像帧和第二图像帧。所述第一图像帧的变焦倍率大于所述第二图像帧的变焦倍率，其中，变焦倍率是指摄像头的图像传感器所输出的图像的放大倍数。在摄像头不移动的情况下，摄像头的变焦倍率越大，则摄像头所输出的图像中的被摄物体也越大，且图像中所拍摄的范围越小；摄像头的变焦倍率越小，则摄像头所输出的图像中的被摄物体也越小，且图像中所拍摄的范围越大。
[0007]所述第一图像帧是根据感兴趣区域信息确定的，所述感兴趣区域信息用于指示感兴趣区域的位置。其中，在所述第一终端中，可以保存有感兴趣区域信息，该感兴趣区域信息可以是第二终端向第一终端反馈的。该感兴趣区域信息用于指示感兴趣区域所在的位
置。其中，感兴趣区域是指用户通过手指触控终端的屏幕等交互方式，对终端的屏幕上所显示的视频画面进行放大、缩小或平移，所得到的区域。简单来说，感兴趣区域是远程视频过程中，终端的屏幕上待显示的区域。基于第一终端中的感兴趣区域信息，第一终端可以确定感兴趣区域所在的位置，从而获取与感兴趣区域相关的第一图像帧。所述第一图像帧中的画面内容即为感兴趣区域的内容。
[0008]所述第一终端向第二终端发送所述多个图像帧和指示信息，以使得所述第二终端根据所述指示信息选择待显示的图像帧，所述待显示的图像帧用于生成视频，所述指示信息包括所述第一图像帧的感兴趣区域信息。其中，所述指示信息可以包括用于指示感兴趣区域位置的坐标信息。例如，在感兴趣区域为一个矩形区域的情况下，该指示信息中可以包括该矩形区域的四个顶点的坐标信息。又例如，在感兴趣区域为一个矩形区域的情况下，该指示信息中可以包括该矩形区域的一个顶点的坐标信息(如矩形区域的左上角顶点)以及该矩形区域的宽和高。这样，基于矩形区域的一个顶点的坐标信息以及该矩形区域的宽和高，同样可以计算得到该矩形区域的四个顶点的坐标信息。
[0009]本方案中，作为发送端的第一终端在向作为接收端的第二终端发送与感兴趣区域相关的图像帧的过程中，加入变焦倍率更低的图像帧，即画面中包括更多内容的图像帧。这样，当第二终端中的感兴趣区域发生变化时，第二终端能够及时从变焦倍率更低的图像帧中截取出变化后的感兴趣区域对应的画面并进行显示，即第二终端不需要等待较长时间即可显示调整后的视频画面，提高了调整视频感兴趣区域时的响应时间，避免视频画面出现卡顿现象。
[0010]可选的，在一种可能的实现方式中，所述第一图像帧中仅包括所述感兴趣区域中所指示的感兴趣区域，所述第二图像帧中除了包括所述感兴趣区域信息中所指示的感兴趣区域之外，还包括其他的区域。也就是说，所述第一图像帧中的画面中只有感兴趣区域所在位置的画面内容，而第二图像帧中的画面中除了包括感兴趣区域所在位置的画面内容之外，还包括有其他的画面内容。
[0011]示例性地，所述第二图像帧可以是第一终端在预设变焦倍率下获取的图像帧，所述第一图像帧则可以是第一终端在根据感兴趣区域信息调整变焦倍率下获取的图像帧。在第一终端不移动的情况下，所述第二图像帧可以认为是第一终端获取的全局图像，即所述第二图像帧中包括了第一终端的摄像头的视野范围内的所有区域；所述第一图像帧则可以认为是第一终端获取的局部图像，即第一图像帧中仅包括第一终端的摄像头的视野范围内的部分区域。
[0012]可选的，在一种可能的实现方式中，所述第一终端获取所述多个图像帧，包括：所述第一终端依次采集第三图像帧和所述第二图像帧，所述第三图像帧的变焦倍率与所述第二图像帧的变焦倍率相同。即，所述第一终端以特定的变焦倍率连续采集多个图像帧，该多个图像帧中包括上述的第三图像帧和第二图像帧。然后，所述第一终端根据所述感兴趣区域信息对所述第三图像帧进行裁剪，得到所述第一图像帧。具体地，所述第一终端每获取一个第三图像帧之后，所述第一终端都根据第一终端中的感兴趣区域信息对第三图像帧进行裁剪，即基于感兴趣区域信息所指示的位置将第三图像帧中的感兴趣区域裁剪出来，从而得到第一图像帧。其中，第一终端获取第一图像帧的方式即为数码变焦。
[0013]可选的，在一种可能的实现方式中，所述第一终端获取所述多个图像帧，包括：所
述第一终端采集一个或多个第三图像帧，所述一个或多个第三图像帧的变焦倍率与所述第二图像帧的变焦倍率相同；所述第一终端根据所述感兴趣区域信息对所述一个或多个第三图像帧进行裁剪，得到一个或多个所述第一图像帧；所述第一终端将所述一个或多个第三图像帧中的一个第三图像帧确定为所述第二图像帧。也就是说，第一终端基于感兴趣区域信息，可以通过数码变焦的方式连续采集第一图像帧(即局部图像帧)，并在获取的多个第一图像帧中插入第二图像帧(即全局图像帧)。
[0014]也就是说，第一终端每次基于所述感兴趣区域信息采集特定数量的图像帧后，都插入一个变焦倍率较低的全局图像帧。这样一来，第一终端向第二终端发送的图像帧的数量要大于第一终端实际所采集的图像帧的数量。通过在多个连续的局部图像帧中插入全局图像帧，能够保证第二终端显示局本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种远程视频方法，其特征在于，包括：第一终端获取多个图像帧，所述多个图像帧包括第一图像帧和第二图像帧，所述第一图像帧的变焦倍率大于所述第二图像帧的变焦倍率，所述第一图像帧是根据感兴趣区域信息确定的，所述感兴趣区域信息用于指示所述感兴趣区域的位置；所述第一终端向第二终端发送所述多个图像帧和指示信息，以使得所述第二终端根据所述指示信息选择待显示的图像帧，所述待显示的图像帧用于生成视频，所述指示信息包括所述第一图像帧的感兴趣区域信息。2.根据权利要求1所述的方法，其特征在于，所述第二图像帧中包括所述感兴趣区域信息中所指示的感兴趣区域。3.根据权利要求1或2所述的方法，其特征在于，所述第一终端获取所述多个图像帧，包括：所述第一终端采集第三图像帧和所述第二图像帧，所述第三图像帧的变焦倍率与所述第二图像帧的变焦倍率相同；所述第一终端根据所述感兴趣区域信息对所述第三图像帧进行裁剪，得到所述第一图像帧。4.根据权利要求1或2所述的方法，其特征在于，所述第一终端获取所述多个图像帧，包括：所述第一终端采集一个或多个第三图像帧，所述一个或多个第三图像帧的变焦倍率与所述第二图像帧的变焦倍率相同；所述第一终端根据所述感兴趣区域信息对所述一个或多个第三图像帧进行裁剪，得到一个或多个所述第一图像帧；所述第一终端将所述一个或多个第三图像帧中的一个第三图像帧确定为所述第二图像帧。5.根据权利要求1或2所述的方法，其特征在于，所述第一终端获取所述多个图像帧，包括：所述第一终端通过光学变焦的方式采集所述第一图像帧和所述第二图像帧。6.根据权利要求1
‑
5任意一项所述的方法，其特征在于，所述多个图像帧还包括第四图像帧，所述第四图像帧的变焦倍率与所述第二图像帧的变焦倍率相同；所述第一终端获取多个图像帧，包括：所述第一终端根据预置规则依次采集所述第四图像帧、一个或多个所述第一图像帧和所述第二图像帧；其中，所述预置规则为所述第一终端基于所述感兴趣区域信息采集预设数量的图像帧后，则采用目标变焦倍率采集一个图像帧，所述预设数量与一个或多个所述第一图像帧的数量相同，所述目标变焦倍率为所述第二图像帧的变焦倍率。7.根据权利要求1
‑
6任意一项所述的方法，其特征在于，所述第一终端向第二终端发送所述多个图像帧，包括：所述第一终端获取所述多个图像帧的参考帧；所述第一终端根据所述多个图像帧的参考帧，对所述多个图像帧进行编码，得到编码结果；
所述第一终端向所述第二终端发送编码结果；其中，所述第一图像帧的参考帧是根据所述感兴趣区域信息得到的，所述第二图像帧的参考帧的变焦倍率与所述第二图像帧的变焦倍率相同。8.根据权利要求7所述的方法，其特征在于，所述第一终端根据所述多个图像帧的参考帧，对所述多个图像帧进行编码，得到编码结果，包括：所述第一终端根据所述第一图像帧的参考帧，通过第一编码器对所述第一图像帧进行编码，得到第一编码结果；所述第一终端根据所述第二图像帧的参考帧，通过第二编码器对所述第二图像帧进行编码，得到第二编码结果；其中，所述编码结果包括所述第一编码结果和所述第二编码结果。9.根据权利要求1
‑
8任意一项所述的方法，其特征在于，所述指示信息还包括所述多个图像帧的帧类型，所述第一图像帧的帧类型与所述第二图像帧的帧类型不同。10.一种远程视频方法，其特征在于，包括：第一终端接收第二终端发送的多个图像帧和指示信息，所述多个图像帧包括第一图像帧和第二图像帧，所述第一图像帧的变焦倍率大于所述第二图像帧，所述第一图像帧是根据感兴趣区域信息确定的，所述感兴趣区域信息用于指示感兴趣区域...

【专利技术属性】
技术研发人员：刘尚，胡翔宇，徐卫国，许旺灿，杨小海，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：