一种基于多种人工智能算法的图像传输方法技术

本发明专利技术属于通信技术领域，具体为一种基于多种人工智能算法的图像传输方法。本发明专利技术将图像字幕算法、目标检测算法和图像生成算法等人工智能算法与通信相结合，实现语义的传输；具体步骤包括：基于现有的数据集训练目标检测、图像字幕、图像生成的数据的深度学习网络；将原始图像经过目标检测算法得到图像内物体的坐标信息和图像的文本描述；将两种信息整合后进行联合信源信道编码，并送到接收方，达到压缩数据量、为数据传递提供抗干扰能力的目的；接收方经过解码，得到坐标和文本描述生成符合要求的图像。本发明专利技术能够显著降低信道资源的开销，提高传输效率，为通信的安全提供保障，为万物互联等未来场景提供技术支持。物互联等未来场景提供技术支持。物互联等未来场景提供技术支持。

【技术实现步骤摘要】
一种基于多种人工智能算法的图像传输方法


[0001]本专利技术属于通信
，具体涉及一种图像传输方法。

技术介绍

[0002]近年来，物联网(IoT)引起了大量关注。物联网(IoT)是一个物联网网络，通过智能传感器将事物无线连接，被认为是未来互联网的一部分。一些初步的物联网应用已经在医疗保健、运输和汽车行业开发。物联网能够在无需人工干预的情况下进行交互。互联网的未来将由异质连接的设备组成，这些设备将通过物理实体和虚拟组件进一步扩展世界的边界。物联网(IoT)将为联网的事物赋予新的能力。
[0003]随着计算机技术和信息技术的飞速发展，未来可能会进入万物互联的时代，随着越来越多的应用、设备加入物联网，在同一时间与云端交互的数据也会爆炸式增长，另一方面，多用户之间的信息隐私也是一个需要考虑的问题。因此需要对现有通信技术进行改进。
[0004]本专利技术提出的一种基于多种人工智能算法的图像传输方法能直接解决上述或其他的一个或多个困难。

技术实现思路

[0005]本专利技术的目的在于能够减少传输数据、提升传输时延的基于多种人工智能算法的图像传输方法。
[0006]本专利技术提出的基于多种人工智能算法的图像传输方法，是将图像字幕算法、目标检测算法和图像生成算法等人工智能算法与通信相结合，实现语义的传输；与这些算法对应的网络包括目标检测模块、图像字幕模块、图像生成模块，以及联合信源信道编码模块；方法的具体步骤如下：
[0007](1)基于现有的数据集训练目标检测、图像字幕、图像生成的数据的深度学习网络；
[0008](2)将原始图像送到目标检测模块进行坐标提取的处理，得到图像内物体的坐标信息；
[0009](3)将原始图像送到目标检测模块进行图像转文本的处理，得到图像的文本描述；
[0010](4)将两种信息整合后进行联合信源信道编码模块对编码，并送到接收方，达到压缩数据量、为数据传递提供抗干扰能力的目的；
[0011](5)接收方经过解码，得到坐标和文本描述生成符合要求的图像。
[0012]步骤一中的深度学习网络，可以根据不同的需求进行不同侧重的训练：当图像的侧重点在多个对象时，训练的网络应当更加关注对象这种整体属性；当侧重点时对象的属性时，训练的网络应当更加关注细致的特征。
[0013]在进行联合信源信道编码时，文本信息的传输注重的是语义的传输，即接收方解码得到的句子与发送方编码前的句子各自表达的含义一致，就视为一次成功的传输，而是不注重于符号的正确性。
[0014]接收方在基于解码得到坐标和文本描述生成符合要求的图像时，先根据坐标位置将对象大致范围确定，然后依照文本信息多次生成，最终得到符合要求的图像。
[0015]接收方每生成一次图像，都会衡量该生成图像的质量，当图像没有达到预期的标准时，接收方会在此基础上再次生成，直到达到标准为止，该标准可以根据传输的要求预先设定。
[0016]生成的图像的质量衡量方法是将图像用与发送方一致的图像字幕模块转化为文本，计算该文本与接收方解码得到的文本的语义相似度，相似度越大说明图像越符合文本条件。
[0017]有益效果
[0018]本专利技术所述基于多种人工智能算法的图像传输方法在传输图片的时候可以极大减少需要传输的数据量，传输时延将得到很大的提升，同时因为数据模态的转变，数据的安全性将得到极大的保障。
[0019]对于本领域专业人士而言，本专利技术的其他优点和应用是显见的。
附图说明
[0020]图1是本专利技术所述基于多种人工智能算法的图像传输方法流程图。
[0021]图2是本专利技术所述基于多种人工智能算法的图像传输方法在物联网中应用的具体场景。
[0022]图3是本专利技术所述基于多种人工智能算法的图像传输方法中恢复图像的具体流程图。
具体实施方式
[0023]以下通过具体实施例结合附图对本专利技术作进一步说明。
[0024]图1为本专利技术所述基于多种人工智能算法的图像传输方法流程图，本专利技术需要在物联网中的设备配有相应的人工智能算法。算法是预先在服务器上训练成功再进行布置。需要的算法包括图像字幕算法、目标检测算法、图像生成算法以及联合信源信道编码(具体见参考文献)。物联网中的设备采集到图像要进行传输的时候，首先使用目标检测算法对原始图像进行处理，得到图像内对象的关键坐标；然后使用图像字幕算法，得到图像的文本描述，使得接收方能知道图像的大致信息；然后通过信源信道编码压缩后传递给接收方，接收方可以是其他设备，也可以是云端；接收方解码后得到需要的坐标信息以及文本描述后，使用图像生成算法恢复图像以达到图像传输的目的。
[0025]图2为本专利技术所述基于多种人工智能算法的图像传输方法在物联网中应用的具体场景示意图，当多个带有传感器(如摄像头)的设备同时需要占用网络带宽的时候，往往会因为功率等因素限制而导致带宽不足，因此需要尽可能地压缩数据，否则会导致传输失败或是高延迟，而文本相对于图像的数据量会大大降低；另一方面，在文本信息以及坐标信息泄露的情况下，如果没有相应的生成图像的网络，第三方是没有办法恢复出想要的图像，设备之间的隐私性、信息的安全性将得到极大提升。
[0026]图3为本专利技术所述基于多种人工智能算法的图像传输方法中恢复图像的具体流程方案，接收方在恢复图像的过程中，因为从文本到图像的跨度较大，同时数据量较少，一次
synthesis[C]//International conference on machine learning.PMLR,2016:1060
‑
1069.
[0042][2]Gu S,Chen D,Bao J,et al.Vector quantized diffusion model for text
‑
to
‑
image synthesis[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2022:10696
‑
10706.
[0043][3]Tao M,Tang H,Wu F,et al.Df
‑
gan:A simple and effective baseline for text
‑
to
‑
image synthesis[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2022:16515
‑
16525.
[0044][4]Rombach R,Blattmann A,Lorenz D,et al.High
‑
resolution image synthesis with latent本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一致基于多种人工智能算法的图像传输方法，其特征在于，将图像字幕算法、目标检测算法和图像生成算法这些人工智能算法与通信相结合，实现语义的传输；与这些算法对应的网络包括目标检测模块、图像字幕模块、图像生成模块，以及联合信源信道编码模块；方法的具体步骤如下：（1）基于现有的数据集训练目标检测、图像字幕、图像生成的数据的深度学习网络；（2）将原始图像送到目标检测模块进行坐标提取的处理，得到图像内物体的坐标信息；（3）将原始图像送到目标检测模块进行图像转文本的处理，得到图像的文本描述；（4）将两种信息整合后进行联合信源信道编码模块对编码，并送到接收方，达到压缩数据量、为数据传递提供抗干扰能力的目的；（5）接收方经过解码，得到坐标和文本描述生成符合要求的图像。2.根据权利要求1所述的图像传输方法，其特征在于，步骤一中所述的深度学习网络，根据不同的需求进行不同侧重的训练：当图像的侧重点在多个对象时，训练的网络更加关注对象整体属性；当侧重点时对象的属性时，训练的网络...

【专利技术属性】
技术研发人员：邓博林，胡蝶，吴俊，徐跃东，
申请(专利权)人：复旦大学，
类型：发明
国别省市：