一种移动端多源融合图像语义内容生成系统及方法技术方案

本发明专利技术公开了一种移动端多源融合图像语义内容生成系统及方法，属于云计算、物联网和人工智能领域，本发明专利技术要解决的技术问题为如何有效的利用深度学习技术进行图像识别，实现移动互联网多源融合分析，生成满足用户情感化的语义文字，技术方案为：①一种移动端多源融合图像语义内容生成系统，包括云数据中心、图像云平台和移动终端，图像云平台部署在云数据中心上；图像云平台连接移动终端。②一种移动端多源融合图像语义内容生成方法，该方法是将图像云平台部署在云数据中心，图像云平台对移动终端进行安全认证，将移动终端采集的图像及传感数据进行存储，根据移动终端用户的不同要求，利用用户个性化数据基于通用模型进行训练，形成个性化的模型。

A Mobile Multi-source Fusion Image Semantic Content Generation System and Method

The invention discloses a mobile multi-source fusion image semantic content generation system and method, which belongs to the field of cloud computing, Internet of Things and artificial intelligence. The technical problem to be solved by the invention is how to effectively use deep learning technology for image recognition, realize multi-source fusion analysis of mobile Internet, and generate semantic text satisfying users'emotional needs. The technical scheme is as follows:1. Mobile multi-source fusion image semantic content generation system includes cloud data center, image cloud platform and mobile terminal. Image cloud platform is deployed in cloud data center, and image cloud platform connects mobile terminal. (2) A method of generating image semantic content based on multi-source fusion in mobile terminal. This method deploys image cloud platform in cloud data center. The image cloud platform authenticates mobile terminal safely, stores image and sensing data collected by mobile terminal, trains user personalized data based on general model according to different requirements of mobile terminal users, and forms personalization. The model.

【技术实现步骤摘要】
一种移动端多源融合图像语义内容生成系统及方法
本专利技术涉及云计算、物联网和人工智能
，具体地说是一种移动端多源融合图像语义内容生成系统及方法。
技术介绍
近年来，人工智能技术发展迅速，其商业化速度超出预期，人工智能将会给整个社会带来颠覆性的变化，已经成为未来各国重要的发展战略。以深度学习为核心的算法演进，其超强的进化能力，在大数据的支持下，通过训练构建得到类似人脑结构的大规模卷积神经网络，已经可以解决各类问题。而云计算和大数据的发展，特别是海量数据的出现，从大数据中进行深度学习，打破传统方式，对各个领域产生颠覆性的变革。移动互联网(MobileInternet,简称MI)是一种通过智能移动终端，采用移动无线通信方式来获取业务和服务的新兴业务，特别是4G和5G时代的来临，宽带无线接入技术和移动终端技术不断成熟，为移动互联网的发展注入巨大的能量，人们迫切希望能够随时随地乃至在移动过程中都能方便地从互联网获取信息和服务，移动互联网应运而生并迅猛发展，而随着物联网的发展，万物互联的时代已经到来，移动通信设备、物联网终端设备等各类异构设备连接到互联网，产生了新的商业模式，带来新的商业机会。随着移动终端智能化的提高，除了传统语音装置以外，已经具备定位装置、拍照装置等多种传感能力，为用户提供了更加丰富的使用体验。另外，互联网上出现了海量移动端APP，产生出各种创新应用。移动端通过拍照产生了海量的图像数据，这些非结构化的数据蕴含着丰富有价值的语义信息，要提取出这些语义信息，需要大量的人工标注分析。图像拍摄过程产生的多源数据可以通过算法自动形成文字保留下来，为图像形成新的语义数据，用于更高级的图像分析处理。在这种情况下，如何有效的利用深度学习技术进行图像识别，并充分考虑移动端图像拍摄相关数据，实现移动互联网多源融合分析，生成满足用户情感化的语义文字成为亟须解决的问题。专利号为CN107608943A的专利文献公开了融合视觉注意力和语义注意力的图像字幕生成方法及系统，通过卷积神经网络从每个待生成字幕的图像中提取图像特征，得到图像特征集合；建立LSTM模型，将每个待生成字幕的图像对应的预先标注文本描述传入LSTM模型，得到时序信息；结合图像特征集合和时序信息，生成视觉注意力模型；结合图像特征集合、时序信息和前一时序的单词，生成语义注意力模型；根据视觉注意力模型和语义注意力模型，生成自动平衡策略模型；根据图像特征集合和待生成字幕的图像对应的文本，建立gLSTM模型；根据gLSTM模型和自动平衡策略模型，利用多层感知机模型MLP生成待生成字幕的图像对应的单词；将得到的所有单词进行串联组合，产生字幕。但是该技术方案不能有效的利用深度学习技术进行图像识别，并充分考虑移动端图像拍摄相关数据，实现移动互联网多源融合分析，生成满足用户情感化的语义文字。
技术实现思路
本专利技术的技术任务是提供一种移动端多源融合图像语义内容生成系统及方法，来解决如何有效的利用深度学习技术进行图像识别，并充分考虑移动端图像拍摄相关数据，实现移动互联网多源融合分析，生成满足用户情感化的语义文字的问题。本专利技术的技术任务是按以下方式实现的，一种移动端多源融合图像语义内容生成系统，该系统包括云数据中心、图像云平台和移动终端，图像云平台部署在云数据中心上；图像云平台通过无线或者有线网络连接移动终端，图像云平台与移动终端进行数据交互；其中，云数据中心用于利用云中心聚集大量计算资源，提供基础云能力，并对接外部搜索服务实现关键字语义搜索；图像云平台用于提供计算、存储、网络、安全的基础服务，同时提供人工智能服务，并且图像云平台与多个外部搜索服务对接，实现基于关键字语义的智能搜索；同时根据用户移动终端个性化的需求，提供个性化的人工智能计算服务，实现多源融合图像的语义文字生成以及提取用户移动终端拍摄照片的特征和采集移动终端传感数据；移动终端用于提供图像采集、声音采集、位置定位、时间采集、文字录入的功能，并将采集的图像及传感数据进行压缩，通过安全信道发送给图像云平台进行存储，图像云平台结合图像及生成语义数据的历史信息，完成文字生成；同时图像云平台将图像识别的语义内容发送给移动终端，用户可以通过人工来进行评判修改，并将结果上传到图像云平台，用于生成语义模型的持续优化。作为优选，所述图像云平台还用于完成对移动端的安全认证，并将移动终端采集的图像及传感数据进行存储，根据移动终端用户的不同要求，利用用户个性化数据基于通用模型进行训练，形成个性化的模型，进行多源融合的图像语义文字生成，再将结果反馈给移动终端。作为优选，所述传感数据包括图像拍摄时间、拍摄地点、语音输入数据和输入文字数据；人工智能服务包括图像识别、情感识别、语音识别、文字识别、自然语言理解以及基础的深度学习算法的服务。更优地，所述移动终端是具备有线LAN或无线网络联网功能的移动设备，移动终端采用手机、平板或物联网智能终端设备。更优地，所述图像云平台采用k8s和docker架构，为每一个服务分配一个容器，将个性化的模型存储为镜像，动态加载。一种移动端多源融合图像语义内容生成方法，该方法是将图像云平台部署在云数据中心，图像云平台对移动终端进行安全认证，将移动终端采集的图像及传感数据进行存储，根据移动终端用户的不同要求，利用用户个性化数据基于通用模型进行训练，形成个性化的模型；图像云平台进行多源融合的图像语义文字生成，将图像识别的语义内容反馈给移动终端，用户可以通过人工来进行评判修改，并将结果上传到图像云平台，用于生成语义模型的持续优化。作为优选，该方法的具体步骤如下：S1、图像云平台根据收集的大量图像、声音、文字进行训练，形成多源融合文字生成模型；S2、移动终端在图像云平台注册；S3、移动终端拍摄图像，采集拍摄时间和拍摄地点的定位数据；S4、移动终端将采集的传感数据进行压缩，通过安全通道上传到图像云平台；S5、图像云平台根据移动终端的设置，加载个性化的模型，用于图像识别、语音识别、文字识别及文字生成；S6、图像云平台通过显著性目标检测提取核心关键字实体词，同时图像云平台通过图像识别识别提取图像中的实体词；S7、图像云平台将显著性目标检测和图像识别提取的实体词加入连接词，利用弱监督方法进行造句，生成句子；S8、图像云平台根据图像的拍摄地点的定位数据和拍摄时间以及核心关键实体词，通过搜索服务，在互联网查询相应的POI兴趣点数据、热门事件及场景数据；S9、图像云平台根据拍摄图像地点及拍摄时间，抽取时空数据接近的图像的语义文字生成历史数据；S10、图像云平台将步骤S7生产的句子、步骤S8得到的POI兴趣点数据、热门事件和场景数据以及步骤S9生产的历史数据采用LSTM进行文字生成，图像云平台对生成的文字重新排列，得到最终的语义内容；S11、图像云平台将中间数据及最终的语义内容进行保存，用于个性化模型的训练；图像云平台利用用户个性化数据基于通用模型进行训练，形成个性化的模型，进行多源融合的图像语义文字生成，再将个性化模型的训练结果反馈给移动终端；S12、移动终端将得到的文字进行评价和修改，重新上传到图像云平台；S13、图像云平台保存评价信息及修改后的文字，利用用户移动终端存储的数据进行训练优化模型，同时增加了文字的情感偏好，下一步跳本文档来自技高网...

【技术保护点】
1.一种移动端多源融合图像语义内容生成系统，其特征在于，该系统包括云数据中心、图像云平台和移动终端，图像云平台部署在云数据中心上；图像云平台通过无线或者有线网络连接移动终端；其中，云数据中心用于利用云中心聚集大量计算资源，提供基础云能力，并对接外部搜索服务实现关键字语义搜索；图像云平台用于提供计算、存储、网络、安全的基础服务，同时提供人工智能服务，并且图像云平台与多个外部搜索服务对接，实现基于关键字语义的智能搜索；同时根据用户移动终端个性化的需求，提供个性化的人工智能计算服务，实现多源融合图像的语义文字生成以及提取用户移动终端拍摄照片的特征和采集移动终端传感数据；移动终端用于提供图像采集、声音采集、位置定位、时间采集、文字录入的功能，并将采集的图像及传感数据进行压缩，通过安全信道发送给图像云平台进行存储，图像云平台结合图像及生成语义数据的历史信息，完成文字生成；同时图像云平台将图像识别的语义内容发送给移动终端，用户可以通过人工来进行评判修改，并将结果上传到图像云平台，用于生成语义模型的持续优化。

【技术特征摘要】
1.一种移动端多源融合图像语义内容生成系统，其特征在于，该系统包括云数据中心、图像云平台和移动终端，图像云平台部署在云数据中心上；图像云平台通过无线或者有线网络连接移动终端；其中，云数据中心用于利用云中心聚集大量计算资源，提供基础云能力，并对接外部搜索服务实现关键字语义搜索；图像云平台用于提供计算、存储、网络、安全的基础服务，同时提供人工智能服务，并且图像云平台与多个外部搜索服务对接，实现基于关键字语义的智能搜索；同时根据用户移动终端个性化的需求，提供个性化的人工智能计算服务，实现多源融合图像的语义文字生成以及提取用户移动终端拍摄照片的特征和采集移动终端传感数据；移动终端用于提供图像采集、声音采集、位置定位、时间采集、文字录入的功能，并将采集的图像及传感数据进行压缩，通过安全信道发送给图像云平台进行存储，图像云平台结合图像及生成语义数据的历史信息，完成文字生成；同时图像云平台将图像识别的语义内容发送给移动终端，用户可以通过人工来进行评判修改，并将结果上传到图像云平台，用于生成语义模型的持续优化。2.根据权利要求1所述的移动端多源融合图像语义内容生成系统，其特征在于，所述图像云平台还用于完成对移动端的安全认证，并将移动终端采集的图像及传感数据进行存储，根据移动终端用户的不同要求，利用用户个性化数据基于通用模型进行训练，形成个性化的模型，进行多源融合的图像语义文字生成，再将结果反馈给移动终端。3.根据权利要求1或2所述的移动端多源融合图像语义内容生成系统，其特征在于，所述传感数据包括图像拍摄时间、拍摄地点、语音输入数据和输入文字数据；人工智能服务包括图像识别、情感识别、语音识别、文字识别、自然语言理解以及基础的深度学习算法的服务。4.根据权利要求3所述的移动端多源融合图像语义内容生成系统，其特征在于，所述移动终端是具备有线LAN或无线网络联网功能的移动设备，移动终端采用手机、平板或物联网智能终端设备。5.根据权利要求4所述的移动端多源融合图像语义内容生成系统，其特征在于，所述图像云平台采用k8s和docker架构，为每一个服务分配一个容器，将个性化的模型存储为镜像，动态加载。6.一种移动端多源融合图像语义内容生成方法，其特征在于，该方法是将图像云平台部署在云数据中心，图像云平台对移动终端进行安全认证，将移动终端采集的图像及传感数据进行存储，根据移动终端用户的不同要求，利用用户个性化数据基于通用模型进行训练，形成个性化的模型；图像云平台进行多源融合的图像语义文字生成，将图像识别的语义内容反馈给移动终端，用户可以通过...

【专利技术属性】
技术研发人员：孙善宝，于治楼，姜凯，于静，
申请(专利权)人：济南浪潮高新科技投资发展有限公司，
类型：发明
国别省市：山东,37