本发明专利技术提供一种图像信息传输方法、装置、电子设备及存储介质，应用于第一终端，第一终端与政务区块链系统通信连接，政务区块链系统与第二终端通信连接，包括：获取待上传的人脸图像；提取人脸图像的轮廓信息；将人脸图像和视觉问答引导问题输入视觉问答预训练模型进行处理，得到针对人脸图像细节特征的文本描述；将轮廓信息和文本描述上传至政务区块链系统，以使第二终端从区块链系统上下载轮廓信息和文本描述，根据轮廓信息和文本描述重建人脸图像。本发明专利技术将人脸图像转化为对存储容量与通信带宽需求较低的文本描述以及轮廓信息，实现高效的人脸图像压缩，在保证政务区块链系统去中心化以及安全性特点的同时，实现政务区块链系统的高扩展性。系统的高扩展性。系统的高扩展性。
【技术实现步骤摘要】
图像信息传输方法、装置、电子设备及存储介质
[0001]本专利技术涉及通信
，尤其涉及一种图像信息传输方法、装置、电子设备及存储介质。
技术介绍
[0002]区块链是一种分布式数据库技术，通过去中心化、不可篡改、可追溯、多方共同维护的方式来实现数据的存储、传输和验证，实现了信息的公开透明性、安全性和可追溯性，广泛应用于数字货币、智能合约、供应链管理、身份认证、物联网等领域。在政务信息化领域，通过将区块链技术应用到政务数据共享，将政务数据上链，可以建立去中心化的数据存储和共享平台，满足行政系统内部保障数据安全与全过程记录可追溯的需求，促进跨行政部门间的数据流通，提高信息共享效率。
[0003]在政务信息化领域中，需要将电子证件照，即人脸图像信息上传至区块链系统进行存储。由于当前的区块链技术难以同时实现高可扩展性、去中心化和安全性，因此基于政务信息处理的特性，当前的政务系统区块链技术侧重于实现去中心化和安全性，所以政务区块链系统中的每个节点都需要下载和存储所有在链上的数据包，这会带来巨大的存储空间占用和校验计算量。因此政务区块链系统的人脸图像信息传输面临带宽和存储的严格限制。
[0004]由于图像模态数据具有数据量大、冗余度高、空间有序、相关性强等特点，为了提高传输效率，在将这些图像上传至区块链时需要使用高压缩比算法进行压缩处理。传统的图像编码技术，如JPEG(Joint Photographic Experts Group，联合图像专家组)、WebP等压缩编码算法采用变换、量化及熵编码等方法进行图像压缩，以损失保真度为代价换取实现更高的压缩比。然而，压缩之后的图像数据在政务区块链系统中仍然占据较大的存储空间，导致对于区块链系统存储空间与传输信息带宽的需求较高。因此使用传统图像压缩算法的存储人脸图像信息的政务区块链系统面临着可扩展性差的问题。
技术实现思路
[0005]针对现有技术存在的问题，本专利技术提供一种图像信息传输方法，应用于第一终端，所述第一终端与政务区块链系统通信连接，所述政务区块链系统与第二终端通信连接，所述方法包括：
[0006]获取待上传的人脸图像；
[0007]提取所述人脸图像的轮廓信息；
[0008]将所述人脸图像和预设的视觉问答引导问题输入视觉问答预训练模型进行处理，得到针对人脸图像细节特征的文本描述；
[0009]将所述轮廓信息和所述文本描述上传至政务区块链系统，以使所述第二终端从所述政务区块链系统上下载所述轮廓信息和所述文本描述，根据所述轮廓信息和所述文本描述重建人脸图像。
[0010]根据本专利技术提供的一种图像信息传输方法，所述将所述人脸图像和预设的视觉问答引导问题输入视觉问答预训练模型进行处理，得到针对人脸图像细节特征的文本描述，包括：
[0011]将所述人脸图像和预设的视觉问答引导问题输入视觉问答预训练模型，由所述视觉问答预训练模型基于所述人脸图像，对所述视觉问答引导问题进行回答，生成对应的回答文本；
[0012]根据所述视觉问答引导问题和对应的回答文本，确定针对人脸图像细节特征的文本描述。
[0013]根据本专利技术提供的一种图像信息传输方法，所述根据所述视觉问答引导问题和对应的回答文本，确定针对人脸图像细节特征的文本描述，包括：
[0014]针对每个视觉问答引导问题，根据各视觉问答引导问题和对应的回答文本，确定各视觉问答引导问题对应的细节文本描述；
[0015]将所述各视觉问答引导问题对应的细节文本描述进行拼接，生成针对人脸图像特征细节的文本描述。
[0016]根据本专利技术提供的一种图像信息传输方法，所述针对每个视觉问答引导问题，根据各视觉问答引导问题和对应的回答文本，确定各视觉问答引导问题对应的细节文本描述，包括：
[0017]针对每个视觉问答引导问题，检测所述视觉问答引导问题的问题类型；
[0018]若所述视觉问答引导问题的问题类型为判别类，则检测所述视觉问答引导问题对应的回答文本的语义类型；
[0019]若所述视觉问答引导问题对应的回答文本的语义类型为肯定语义，则转换所述视觉问答引导问题的语句类型，得到所述视觉问答引导问题对应的细节文本描述；
[0020]若所述视觉问答引导问题对应的回答文本的语义类型为否定语义，则设定所述视觉问答引导问题对应的细节文本描述为空字符串；
[0021]若所述视觉问答引导问题的问题类型为生成类，则将所述视觉问答引导问题对应的回答文本，嵌入视觉问答引导问题文本中，得到所述视觉问答引导问题对应的细节文本描述。
[0022]根据本专利技术提供的一种图像信息传输方法，在所述将所述人脸图像和预设的视觉问答引导问题输入视觉问答预训练模型进行处理，得到针对人脸图像细节特征的文本描述之前，还包括：
[0023]获取人脸文本描述数据集；
[0024]从所述人脸文本描述数据集中，提取多个候选词；
[0025]根据所述多个候选词在所述人脸文本描述数据集中的出现频率，从所述多个候选词中选取预设数量的关键词；
[0026]获取基于所述预设数量的关键词确定的视觉问答引导问题。
[0027]根据本专利技术提供的一种图像信息传输方法，所述将所述人脸图像和预设的视觉问答引导问题输入视觉问答预训练模型，由所述视觉问答预训练模型基于所述人脸图像，对所述视觉问答引导问题进行回答，生成对应的回答文本，包括：
[0028]对所述视觉问答引导问题进行文本预处理，得到文本token序列；
[0029]对所述人脸图像进行图像预处理，得到图像patch序列；
[0030]将所述文本token序列和所述图像patch序列输入视觉问答预训练模型，由所述视觉问答预训练模型基于所述人脸图像，对所述视觉问答引导问题进行回答，输出回答序列；
[0031]基于所述回答序列，确定所述视觉问答引导问题对应的回答文本。
[0032]本专利技术还提供一种图像信息传输装置，应用于第一终端，所述第一终端与政务区块链系统通信连接，所述政务区块链系统与第二终端通信连接，所述装置包括：
[0033]获取模块，用于获取待上传的人脸图像；
[0034]提取模块，用于提取所述人脸图像的轮廓信息；
[0035]处理模块，用于将所述人脸图像和预设的视觉问答引导问题输入视觉问答预训练模型进行处理，得到针对人脸图像细节特征的文本描述；
[0036]上传模块，用于将所述轮廓信息和所述文本描述上传至政务区块链系统，以使所述第二终端从所述政务区块链系统上下载所述轮廓信息和所述文本描述，根据所述轮廓信息和所述文本描述重建人脸图像。
[0037]根据本专利技术提供的一种图像信息传输装置，所述处理模块，包括：
[0038]回答子模块，用于将所述人脸图像和预设的视觉问答引导问题输入视觉问答预训练模型，由所述视觉问答预训练模型基于所述人脸图像，对所述视觉问答引导问题进行回答，生成对应的回答文本；
[0039]文本描述确定本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像信息传输方法，其特征在于，应用于第一终端，所述第一终端与政务区块链系统通信连接，所述政务区块链系统与第二终端通信连接，所述方法包括：获取待上传的人脸图像；提取所述人脸图像的轮廓信息；将所述人脸图像和预设的视觉问答引导问题输入视觉问答预训练模型进行处理，得到针对人脸图像细节特征的文本描述；将所述轮廓信息和所述文本描述上传至政务区块链系统，以使所述第二终端从所述政务区块链系统上下载所述轮廓信息和所述文本描述，根据所述轮廓信息和所述文本描述重建人脸图像。2.根据权利要求1所述的方法，其特征在于，所述将所述人脸图像和预设的视觉问答引导问题输入视觉问答预训练模型进行处理，得到针对人脸图像细节特征的文本描述，包括：将所述人脸图像和预设的视觉问答引导问题输入视觉问答预训练模型，由所述视觉问答预训练模型基于所述人脸图像，对所述视觉问答引导问题进行回答，生成对应的回答文本；根据所述视觉问答引导问题和对应的回答文本，确定针对人脸图像细节特征的文本描述。3.根据权利要求2所述的方法，其特征在于，所述根据所述视觉问答引导问题和对应的回答文本，确定针对人脸图像细节特征的文本描述，包括：针对每个视觉问答引导问题，根据各视觉问答引导问题和对应的回答文本，确定各视觉问答引导问题对应的细节文本描述；将所述各视觉问答引导问题对应的细节文本描述进行拼接，生成针对人脸图像特征细节的文本描述。4.根据权利要求3所述的方法，其特征在于，所述针对每个视觉问答引导问题，根据各视觉问答引导问题和对应的回答文本，确定各视觉问答引导问题对应的细节文本描述，包括：针对每个视觉问答引导问题，检测所述视觉问答引导问题的问题类型；若所述视觉问答引导问题的问题类型为判别类，则检测所述视觉问答引导问题对应的回答文本的语义类型；若所述视觉问答引导问题对应的回答文本的语义类型为肯定语义，则转换所述视觉问答引导问题的语句类型，得到所述视觉问答引导问题对应的细节文本描述；若所述视觉问答引导问题对应的回答文本的语义类型为否定语义，则设定所述视觉问答引导问题对应的细节文本描述为空字符串；若所述视觉问答引导问题的问题类型为生成类，则将所述视觉问答引导问题对应的回答文本，嵌入视觉问答引导问题文本中，得到所述视觉问答引导问题对应的细节文本描述。5.根据权利要求1所述的方法，其特征在于，在所述将所述人脸图像和预设的视觉问答引导问题输入视觉问答预训练模型进行处...
【专利技术属性】
技术研发人员：袁想，谭志杰，黄锦松，肖靖杰，莫同，李伟平，吴中海，
申请(专利权)人：北京大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。