【技术实现步骤摘要】
【国外来华专利技术】一种图像发送方法、图像接收方法、图像传输方法及装置
本公开涉及图像传输
，尤其涉及一种图像发送方法、图像接收方法、图像传输方法及装置。
技术介绍
无人机一般携带有摄像机等拍摄设备。当无人机执行飞行任务时，常常需要将摄像机拍摄的图像传输给地面。图像传输时，由于无人机所处的环境常常变化剧烈，通信信道的信道容量发生变化，从而会影响图像的传输质量。当通信信道的信道容量发生变化时，可采用改变图像分辨率的方式来匹配信道容量。现有的图像传输技术，在变更图像分辨率时，容易造成图像卡顿、模糊，导致图像出现闪烁，影响图像的主观质量。公开内容本公开提供了一种图像发送方法，其中，包括：以第一分辨率对图像进行第一编码以生成第一码流，通过一通信信道发送所述第一码流；响应于所述通信信道的信道容量变化，判断所述第一码流与所述信道容量是否匹配；如果否，执行并行编码步骤：继续对所述图像进行第一编码的同时，以第二分辨率对所述图像进行第二编码以生成第二码流，通过所述通信信道同时发送所述第一码流和所述第二码流；判...
【技术保护点】
1.一种图像发送方法，其中，包括：/n以第一分辨率对图像进行第一编码以生成第一码流，通过一通信信道发送所述第一码流；/n响应于所述通信信道的信道容量变化，判断所述第一码流与所述信道容量是否匹配；如果否，执行并行编码步骤：继续对所述图像进行第一编码的同时，以第二分辨率对所述图像进行第二编码以生成第二码流，通过所述通信信道同时发送所述第一码流和所述第二码流；/n判断所述第二码流是否达到所述第一码流的质量；如果是，执行编码切换步骤：停止对所述图像进行所述第一编码，继续以所述第二分辨率对所述图像进行所述第二编码以生成所述第二码流，所述第二码流与所述信道容量匹配，并通过所述通信信道发送所述第二码流。/n
【技术特征摘要】
【国外来华专利技术】1.一种图像发送方法，其中，包括：
以第一分辨率对图像进行第一编码以生成第一码流，通过一通信信道发送所述第一码流；
响应于所述通信信道的信道容量变化，判断所述第一码流与所述信道容量是否匹配；如果否，执行并行编码步骤：继续对所述图像进行第一编码的同时，以第二分辨率对所述图像进行第二编码以生成第二码流，通过所述通信信道同时发送所述第一码流和所述第二码流；
判断所述第二码流是否达到所述第一码流的质量；如果是，执行编码切换步骤：停止对所述图像进行所述第一编码，继续以所述第二分辨率对所述图像进行所述第二编码以生成所述第二码流，所述第二码流与所述信道容量匹配，并通过所述通信信道发送所述第二码流。
2.如权利要求1所述的图像发送方法，其中，所述并行编码步骤的所述第二码流包括一个I帧、以及至少一个P帧；
所述编码切换步骤的所述第二码流包括多个P帧；所述多个P帧中的首个P帧以所述至少一个P帧的最后一个P帧为参考帧而生成。
3.如权利要求2所述的图像发送方法，其中，在所述编码切换步骤中，所述第二编码的帧率等于所述第一编码的帧率。
4.如权利要求2所述的图像发送方法，其中，在所述并行编码步骤中，所述第二编码的帧率为自适应帧率。
5.如权利要求1至4任一项所述的图像发送方法，其中，在所述并行编码步骤中，所述第一码流占用所述通信信道的部分信道容量，所述第二码流利用所述部分信道容量之外的剩余信道容量发送。
6.如权利要求1至4任一项所述的图像发送方法，其中，所述信道容量至少包括：负荷容量，所述负荷容量为所述通信信道分配给所述第一码流的信道容量。
7.如权利要求6所述的图像发送方法，其中，所述判断所述第一码流与所述通信信道的信道容量是否匹配包括：
当所述负荷容量大于第一阈值或小于第二阈值时，所述第一码流与所述信道容量不匹配；
当所述负荷容量不小于所述第二阈值且不大于所述第一阈值时，所述第一码流与所述信道容量匹配；
其中所述第一阈值大于所述第二阈值。
8.如权利要求7所述的图像发送方法，其中，
当所述负荷容量大于所述第一阈值时，所述第二分辨率大于所述第一分辨率；
当所述负荷容量小于所述第二阈值时，所述第二分辨率小于所述第一分辨率。
9.如权利要求6所述的图像发送方法，其中，所述判断所述第一码流与所述通信信道的信道容量是否匹配包括：
判断所述负荷容量是否经历一变化区间，如果是，则所述第一码流与所述信道容量不匹配；否则，所述第一码流与所述信道容量匹配。
10.如权利要求9所述的图像发送方法，其中，所述变化区间包括：
上升区间：由小于第一阈值上升至大于第一阈值；
下降区间：由大于所述第二阈值下降至小于所述第二阈值；
其中所述第一阈值大于所述第二阈值。
11.如权利要求10所述的图像发送方法，其中，
当所述负荷容量经历所述上升区间，所述第二分辨率大于所述第一分辨率；
当所述负荷容量经历所述下降区间，所述第二分辨率小于所述第一分辨率。
12.如权利要求7或10所述的图像发送方法，其中，所述第一阈值和所述第二阈值的至少其中之一根据所述第一码流的码率确定。
13.如权利要求5所述的图像发送方法，其中，在所述并行编码步骤中，所述第二编码的帧率根据所述剩余信道容量确定。
14.如权利要求1至4任一项所述的图像发送方法，其中，所述质量采用如下的至少一种指标进行评价：均方根误差、峰值信噪比、结构相似性、梯度幅相似性偏差。
15.如权利要求14项所述的图像发送方法，其中，所述判断所述第二码流是否达到所述第一码流的质量包括：
当所述第二码流的所述指标与所述第一码流的所述指标的差值大于一阈值时，所述第二码流未达到所述第一码流的质量；
当所述第二码流的所述指标与所述第一码流的所述指标的差值小于或等于所述阈值时，所述第二码流达到所述第一码流的质量。
16.如权利要求1至4任一项所述的图像发送方法，其中，在所述并行编码步骤中，判断所述第一码流是否出现错误，如果是，则执行编码切换步骤。
17.如权利要求16所述的图像发送方法，其中，所述错误包括如下的至少一种：丢帧、错帧、数据错误。
18.如权利要求1至4任一项所述的图像发送方法，其中，所述编码切换步骤还包括：基于反馈机制对所述第二码流进行错误恢复。
19.如权利要求18所述的图像发送方法，其中，所述反馈机制包括：
获取所述第二码流的当前帧；
接收图像接收装置发送的反馈信息，根据所述反馈信息确定所述当前帧的参考帧；
根据所述参考帧对所述当前帧进行所述第二编码。
20.如权利要求19所述的图像发送方法，其中，所述反馈信息包括：所述图像接收装置接收到的所述第二码流的正确帧的帧序号；
所述根据所述反馈信息确定所述当前帧的参考帧包括：
将所述帧序号及其对应的正确帧保存至一参照帧队列，并将所述正确帧作为所述参考帧队列的第一帧；
将所述参考帧队列的所述第一帧作为所述参考帧。
21.如权利要求19所述的图像发送方法，其中，所述反馈信息包括：所述图像接收装置接收到的所述第二码流的正确帧的帧序号；
所述根据所述反馈信息确定所述当前帧的参考帧包括：
将所述帧序号及其对应的正确帧保存至一参照帧队列，并将所述正确帧作为所述参考帧队列的第一帧；
将在所述当前帧之前发送的最后一帧作为参考帧；
判断所述正确帧的帧序号与所述最后一帧的帧序号是否相等，如果否，将所述参考帧队列的所述第一帧作为所述参考帧。
22.如权利要求20或21所述的图像发送方法，其中，所述正确帧为在发送所述反馈信息之前，所述图像接收装置接收到的所述第二码流的最后一个正确帧。
23.一种图像接收方法，其中，包括：
通过一通信信道接收第一码流，所述第一码流是以第一分辨率对图像进行第一编码而生成，对所述第一码流进行解码并以所述第一分辨率显示所述第一码流；
执行并行接收步骤：同时接收所述第一码流和第二码流，所述第二码流是以第二分辨率对所述图像进行第二编码而生成，对所述第一码流和所述第二码流进行解码，并继续以所述第一分辨率显示所述第一码流；
执行显示切换步骤：接收所述第二码流，所述第二码流是以所述第二分辨率继续对所述图像进行所述第二编码而生成，所述第二码流与所述信道容量匹配，对所述第二码流进行解码并以所述第二分辨率显示所述第二码流。
24.如权利要求23所述的图像接收方法，其中，所述并行接收步骤的所述第二码流包括一个I帧、以及至少一个P帧；
所述显示切换步骤的所述第二码流包括多个P帧，所述多个P帧中的首个P帧以所述至少一个P帧的最后一个P帧为参考帧而生成。
25.如权利要求24所述的图像接收方法，其中，在所述显示切换步骤中，所述第二编码的帧率等于所述第一编码的帧率。
26.如权利要求24所述的图像接收方法，其中，在所述并行接收步骤中，所述第二编码的帧率为自适应帧率。
27.如权利要求23至26任一项所述的图像接收方法，其中，所述显示切换步骤还包括：基于反馈机制对所述第二码流进行错误恢复。
28.如权利要求27所述的图像接收方法，其中，所述反馈机制包括：按照预定时间间隔向图像发送装置发送反馈信息。
29.如权利要求28所述的图像接收方法，其中，所述反馈信息至少包括：在发送所述反馈信息之前，接收到的所述第二码流的最后一个正确帧的帧序号。
30.如权利要求27所述的图像接收方法，其中，所述反馈机制包括：响应于接收到所述第二码流的错误帧而向图像发送装置发送反馈信息。
31.如权利要求30所述的图像接收方法，其中，所述反馈信息至少包括：在接收到所述错误帧之前接收到的所述第二码流的最后一个正确帧的帧序号。
32.一种图像传输方法，其中，包括：
以第一分辨率对图像进行第一编码以生成第一码流，并通过一通信信道传输所述第一码流，对所述第一码流进行解码并以所述第一分辨率显示所述第一码流；
响应于所述通信信道的信道容量变化，判断所述第一码流与所述信道容量是否匹配；如果否，执行并行传输步骤：继续对所述图像进行第一编码的同时，以第二分辨率对所述图像进行第二编码以生成第二码流，并通过所述通信信道同时传输所述第一码流和所述第二码流，对所述第一码流和所述第二码流进行解码，并继续以所述第一分辨率显示所述第一码流；
判断所述第二码流是否达到所述第一码流的质量；如果是，执行切换步骤：停止对所述图像进行所述第一编码，继续以所述第二分辨率对所述图像进行所述第二编码以生成所述第二码流，所述第二码流与所述信道容量匹配，并通过所述通信信道传输所述第二码流，对所述第二码流进行解码，并以所述第二分辨率显示所述第二码流。
33.如强烈要求32所述的图像传输方法，其中，所述并行传输步骤的所述第二码流包括一个I帧、以及至少一个P帧；
所述切换步骤的所述第二码流包括多个P帧；所述多个P帧中的首个P帧以所述至少一个P帧的最后一个P帧为参考帧而生成。
34.如权利要求33所述的图像传输方法，其中，在所述切换步骤中，所述第二编码的帧率等于所述第一编码的帧率。
35.如权利要求33所述的图像传输方法，其中，在所述并行传输步骤中，所述第二编码的帧率为自适应帧率。
36.如权利要求32至35任一项所述的图像传输方法，其中，在所述并行传输步骤中，所述第一码流占用所述通信信道的部分信道容量，所述第二码流利用所述部分信道容量之外的剩余信道容量发送。
37.如权利要求32至35任一项所述的图像传输方法，其中，所述信道容量至少包括：负荷容量，所述负荷容量为所述通信信道分配给所述第一码流的信道容量。
38.如权利要求37所述的图像传输方法，其中，判断所述第一码流与所述通信信道的信道容量是否匹配包括：
当所述负荷容量大于第一阈值或小于第二阈值时，所述第一码流与所述信道容量不匹配；
当所述负荷容量不小于所述第二阈值且不大于所述第一阈值时，所述第一码流与所述信道容量匹配；
其中所述第一阈值大于所述第二阈值。
39.如权利要求38所述的图像传输方法，其中，
当所述负荷容量大于所述第一阈值时，所述第二分辨率大于所述第一分辨率；
当所述负荷容量小于所述第二阈值时，所述第二分辨率小于所述第一分辨率。
40.如权利要求37所述的图像传输方法，其中，所述判断所述第一码流与所述通信信道的信道容量是否匹配包括：
判断所述负荷容量是否经历一变化区间，如果是，则所述第一码流与所述信道容量不匹配；否则，所述第一码流与所述信道容量匹配。
41.如权利要求40所述的图像传输方法，其中，所述变化区间包括：
上升区间：由小于第一阈值上升至大于第一阈值；
下降区间：由大于所述第二阈值下降至小于所述第二阈值；
其中所述第一阈值大于所述第二阈值。
42.如权利要求41所述的图像传输方法，其中，
当所述负荷容量经历所述上升区间，所述第二分辨率大于所述第一分辨率；
当所述负荷容量经历所述下降区间，所述第二分辨率小于所述第一分辨率。
43.如权利要求38或41所述的图像传输方法，其中，所述第一阈值和所述第二阈值的至少其中之一根据所述第一码流的码率确定。
44.如权利要求36所述的图像传输方法，其中，在所述并行传输步骤中，所述第二编码的帧率根据所述剩余信道容量确定。
45.如权利要求32至35任一项所述的图像传输方法，其中，
所述质量采用如下的至少一种指标进行评价：均方根误差、峰值信噪比、结构相似性、梯度幅相似性偏差。
46.如权利要求45所述的图像传输方法，其中，所述判断所述第二码流是否达到所述第一码流的质量包括：
当所述第二码流的所述指标与所述第一码流的所述指标的差值大于一阈值时，所述第二码流未达到所述第一码流的质量；
当所述第二码流的所述指标与所述第一码流的所述指标的差值小于或等于所述阈值时，所述第二码流达到所述第一码流的质量。
47.如权利要求32至35任一项所述的图像传输方法，其中，在所述并行传输步骤中，判断所述第一码流是否出现错误，如果是，则执行切换步骤。
48.如权利要求47所述的图像发送方法，其中，所述错误包括如下的至少一种：丢帧、错帧、数据错误。
49.如权利要求32至35任一项所述的图像传输方法，其中，所述切换步骤还包括：基于反馈机制对所述第二码流进行错误恢复。
50.如权利要求49所述的图像传输方法，其中，所述反馈机制包括：
图像发送装置获取所述第二码流的当前帧；
图像接收装置向所述图像发送装置发送反馈信息；
所述图像发送装置接收所述反馈信息，根据所述反馈信息确定所述当前帧的参考帧，并根据所述参考帧对所述当前帧进行所述第二编码。
51.如权利要求50所述的图像传输方法，其中，所述图像接收装置按照预定时间间隔、或者响应于接收到所述第二码流的错误帧而向所述图像发送装置发送反馈信息。
52.如权利要求51所述的图像传输方法，其中，所述反馈信息至少包括：所述图像接收装置在发送所述反馈信息之前、或者在接收到所述错误帧之前，接收到的所述第二码流的最后一个正确帧的帧序号。
53.如权利要求52所述的图像传输方法，其中，所述根据所述反馈信息确定所述当前帧的参考帧包括：
将所述帧序号及其对应的正确帧保存至一参照帧队列，并将所述正确帧作为所述参考帧队列的第一帧；
将所述参考帧队列的所述第一帧作为所述参考帧。
54.如权利要求52所述的图像传输方法，其中，所述根据所述反馈信息确定所述当前帧的参考帧包括：
将所述帧序号及其对应的正确帧保存至一参照帧队列，并将所述正确帧作为所述参考帧队列的第一帧；
将在所述当前帧之前发送的最后一帧作为参考帧；
判断所述正确帧的帧序号与所述最后一帧的帧序号是否相等，如果否，将所述参考帧队列的所述第一帧作为所述参考帧。
55.一种图像发送装置，其中，包括：
存储器，用于存储可执行指令；
处理器，用于读取所述可执行指令以执行以下操作：
以第一分辨率对图像进行第一编码以生成第一码流，通过一通信信道发送所述第一码流；
响应于所述通信信道的信道容量变化，判断所述第一码流与所述信道容量是否匹配；如果否，执行并行编码操作：继续对所述图像进行第一编码的同时，以第二分辨率对所述图像进行第二编码以生成第二码流，通过所述通信信道同时发送所述第一码流和所述第二码流；
判断所述第...
【专利技术属性】
技术研发人员：薛菲，马宁，苏文艺，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。