【技术实现步骤摘要】
本公开涉及数据压缩和传输领域。具体而言，本公开涉及一种发送和接收数据的系统和方法，以及相应的发送和接收单元及其计算机可读媒体。
技术介绍
1、自从互联网出现以来，全球传输的数据量大幅增加。视频内容的传输在数据传输中所占据的比例越来越大。尤其时当冠状病毒出现以后更是如此。越来越多的人居家办公。使用视频会议的需求大大增加。这包括距离很远的人需要通过视频的方式相互交流。
2、然而，视频通信需要传输大量数据。这同样要求传输和接收设施具有较大的带宽。这就使得视频图像的传输费用很高。因此，为了减少视频图像和音频传输阶段所需的带宽，就需要对视频和音频进行压缩。需要一种用于图像或视频和音频传输的系统和方法，以减少视频图像和音频传输过程中所需的带宽。
技术实现思路
1、本概述以简化的形式介绍了一些概念，这些概念将在下文的详细说明中进一步阐述。本概述并非旨在确定要求保护的主题的关键特征，也不是用于帮助确定所要求保护的主题的范围。
2、一方面，系统包括由处理器和存储器组成的发送单元，所述发送单元被配置成接收感兴趣的对象的图像帧，所述发送单元被编程为执行模块，其包括：一帧选择器，配置为以设定的间隔从感兴趣对象的图像帧中选择图像帧；以及一编码器，配置为从所选帧中生成所选帧潜在向量，所选帧潜在向量是感兴趣对象的图像帧的压缩表示；其中，所述发送单元被进一步编程为将所述所选帧潜在向量发送到接收单元，所述接收单元包括处理器和存储器。该接收单元被配置为接收所选择的帧潜在向量，并被编程以实现包含
3、重建的中间潜在向量的数量可以与未被帧选择器选择的图像帧相同，或者重建的中间潜在向量的数量可以与未被帧选择器选择的图像帧不同。
4、所述发送单元还可以被编程为实现图像缩减器，该图像缩减器被配置为减小图像帧的图像尺寸。所述图像缩减器可能被进一步配置成，通过从所述图像帧中移除背景来减小图像大小。(即这样就只有所述感兴趣的对象保持在所述帧中)。所述图像缩减器可被进一步配置成，通过在帧中分离所述感兴趣的对象和背景来减小图像尺寸；以及通过在每个图像帧中对所述感兴趣的对象实施高分辨率的压缩和在每个图像帧中对背景实施低分辨率的压缩来实现不同种类的压缩，这样就实现了图像尺寸的减少，同时将更大的分辨率分配给典型的观察者更感兴趣的东西，在这种情况下，目标处于更高的分辨率，而背景处于更低的分辨率。
5、所述发送单元也可以进一步编程以实现配置为增强图像帧的图像的图像增强器。所述图像增强器可被进一步配置成，通过检测所述图像帧中所述感兴趣的对象来增强图像；以及在所述发送单元中放大所述感兴趣的对象的尺寸，其中这种放大包括增加所述感兴趣的对象的分辨率。所述发送单元可将带有经放大的所述感兴趣的对象的图像帧发送到所述接收单元。然后，可在所述接收单元中缩小经放大的所述感兴趣的对象的尺寸。
6、所述接收单元可具有一个附加的潜在向量生成器，该生成器可位于数据处理流中的内插器之前，配置为生成附加的替换向量以替换所述接收单元未接收到的损坏或丢失的潜在向量。
7、所述系统可包括多个发送单元和接收单元，其中所述多个发送单元通过一个选择性转发单元(sfu)向所述多个接收单元发送相应的多个所选帧潜在向量，所述sfu被配置成：接收所述多个所选帧潜在向量；选择哪些接收单元发送所述多个所选帧潜在向量；以及将相应的潜在的帧潜在向量转发到所选接收单元。
8、在另一方面，发送单元包括处理器和存储器，所述发送单元被配置成接收所述感兴趣的对象的帧，所述发送单元被编程为执行模块，包括：帧选择器，被配置成以设定的间隔从所述感兴趣的对象的帧中选择图像帧；编码器，配置为从所选帧生成所选帧潜在向量，所选帧潜在向量是感兴趣对象的帧的压缩表示；其中，发送单元进一步编程，将所选帧潜在向量发送到目的地。
9、所述目的地可以是一个存储介质，所述所选帧潜在向量可以存储在所述存储介质上。所述发送单元可以进一步编程以实现减少图像帧的图像大小的图像缩减器。也可以对发送单元进一步编程以实现用于增强图像帧的图像的图像增强器。
10、在一个实施例中，当使用该系统来压缩和传输多个发送和接收单元之间的数据时，例如，在10和20个参与者之间，该系统使用选择性转发单元(sfu)架构。该sfu架构可以作为存储在至少一个与网络上的发送和接收单元相连的服务器计算机的内存中的计算机程序来实现，并且可以由至少一个服务器计算机的至少一个处理器执行。在本实施例中，所述sfu从所述多个发送单元接收包括被编码后的潜在向量流，选择发送每个媒体流的接收单元，并将相应的媒体流转发至所选接收单元。其余的流程可按前面所述的在所述接收单元中继续进行。通过使用sfu架构，当前公开的系统可能会将其功能从仅仅几个用户扩展到更大的数量，而不是仅仅适用于一个点对点体系结构。
11、在另一个实施例中，当所述系统用于在所述多个发送和接收单元(例如超过20个参与者)之间压缩和传输数据时，所述系统采用一种媒体组合单元(mcu)结构。mcu架构可以作为存储在至少一个与网络上的发送和接收单元相连的服务器计算机的内存中的计算机程序来实现，并且可以由至少一个服务器计算机的至少一个处理器执行。在此实施例中，mcu接收来自多个发送单元的包括编码潜向量的流，解码媒体流，重新缩放它们，并从所有接收流组成一个新流，然后发送到相应的接收单元。其余的过程可以在接收单元继续，如前所述。通过采用mcu架构，本公开系统可以用于大量的参与者，如20个以上的参与者。
12、在另一方面，接收单元包括处理器和存储器，所述接收单元被编程为接收所选帧潜在向量以及执行模块，所述模块包括：插值器，配置为通过在两个连续选择的帧潜在向量之间插值一些中间潜在向量来重构，并将接收到的选择的帧潜在向量和重构的中间潜在向量都发送到解码器；以及所述解码器，被配置成解码所述接收的所选帧潜在向量和重建的中间潜在向量，并且从所述所选潜在向量帧和所述中间潜在向量中生成感兴趣的对象的图像帧。
13、通过插值重建的中间潜在向量的数量可能与未被所述帧选择器选中的帧的帧数相同，或者通过插值重建的中间潜在向量的数量可能与未被所述帧选择器选中的帧的帧数不相同。所选的帧潜在向量可以存储在存储介质上，并且接收单元可以通过从存储介质检索所选的帧潜向量来接收所选的帧潜在向量。在一些实施例中，从发送单元接收所选择的帧潜在向量。
14、在另一方面，由包含一个或多个计算设备的计算机系统所执行的方法包括本文档来自技高网...
【技术保护点】
1.一种系统，包括：
2.如权利要求1所述系统，其中，所述重建的中间潜在向量的数量和未被所述帧选择器选中的图像帧的数量相同。
3.如权利要求1所述系统，其中，所述重建的中间潜在向量的数量和未被所述帧选择器选中的图像帧的数量不同。
4.如权利要求1所述系统，其中，所述发送单元进一步编程以实现配置为减少图像帧的图像尺寸的图像缩减器。
5.如权利要求4所述系统，其中，所述图像缩减器进一步配置为通过从图像帧中去除背景来减小图像尺寸。
6.如权利要求4所述系统，其中，所述图像缩减器进一步被配置为通过分离所述帧中的所述感兴趣对象和背景来缩减所述图像尺寸；以及
7.如权利要求1所述系统，其中，所述发送单元进一步编程以实现配置为用于增强所述图像帧图像的图像增强器。
8.如权利要求7所述的系统，其中，所述图像增强器进一步被配置为增强所述图像，通过：
9.如权利要求1所述的系统，其中，所述接收单元有一个附加的潜在向量生成器，用于生成附加的替换向量，以替换所述接收单元没有接收到的损坏或丢失的潜在向量。>
10.如权利要求1所述的系统，包括多个发送单元和接收单元，其中所述多个发送单元通过选择转发单元(SFU)向所述多个接收单元发送相应的多个所选帧潜在向量，所述SFU被配置为：
11.一个发送单元，包括处理器和存储器，所述发送单元被编程为执行以下模块：
12.如权利要求11所述发送单元，其中，所述目标是一存储介质，且其中所述所选帧潜在向量存储在所述存储介质上。
13.如权利要求11所述发送单元，其中，所述发送单元还被编程为实现一图像缩减器，所述图像缩减器缩减所述图像帧的图像尺寸。
14.如权利要求11所述发送单元，其中，所述发送单元进一步编程以实现用于增强所述图像帧的图像的图像增强器。
15.一种接收单元，包括处理器和存储器，所述接收单元被编程为，至少：
16.如权利要求15所述接收单元，其中从发送单元接收所选择的帧潜在向量。
17.如权利要求15所述接收单元，其中所选择的帧潜在向量存储在存储介质上，并且所述接收单元通过从所述存储介质检索来接收所选择的帧潜在向量。
18.一种由计算机系统执行的方法，所述计算机系统包括一个或多个计算设备，所述计算设备包括处理器和存储器，该方法包括：
19.如权利要求18所述的方法，其中，所述生成的中间潜在向量的数量与未被选中的帧的数量相同。
20.一种存储指令的非暂时性计算机可读存储介质，所述指令在由计算机系统的一个或多个处理器执行时使所述计算机系统执行操作，所述操作包括：
...【技术特征摘要】
1.一种系统，包括：
2.如权利要求1所述系统，其中，所述重建的中间潜在向量的数量和未被所述帧选择器选中的图像帧的数量相同。
3.如权利要求1所述系统，其中，所述重建的中间潜在向量的数量和未被所述帧选择器选中的图像帧的数量不同。
4.如权利要求1所述系统，其中，所述发送单元进一步编程以实现配置为减少图像帧的图像尺寸的图像缩减器。
5.如权利要求4所述系统，其中，所述图像缩减器进一步配置为通过从图像帧中去除背景来减小图像尺寸。
6.如权利要求4所述系统，其中，所述图像缩减器进一步被配置为通过分离所述帧中的所述感兴趣对象和背景来缩减所述图像尺寸；以及
7.如权利要求1所述系统，其中，所述发送单元进一步编程以实现配置为用于增强所述图像帧图像的图像增强器。
8.如权利要求7所述的系统，其中，所述图像增强器进一步被配置为增强所述图像，通过：
9.如权利要求1所述的系统，其中，所述接收单元有一个附加的潜在向量生成器，用于生成附加的替换向量，以替换所述接收单元没有接收到的损坏或丢失的潜在向量。
10.如权利要求1所述的系统，包括多个发送单元和接收单元，其中所述多个发送单元通过选择转发单元(sfu)向所述多个接收单元发送相应的多个所选帧潜在向量，所述sfu被配置为...
【专利技术属性】
技术研发人员：塞维特·耶尔利，
申请(专利权)人：明日基金知识产权控股有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。