一种基于图像处理的大数据分析方法技术

本发明专利技术公开了一种基于图像处理的大数据分析方法及系统,旨在解决现有技术中图像处理数据库扩展难度大的问题，本发明专利技术包括由节点对第一图像数据分类得到第二图像数据；由所述节点判断所述第二图像数据的合法性；由节点发送合法的第二图像数据；接收合法的第二图像数据并根据合法的第二图像数据写入区块链，所述区块链包含由所述第二图像数据组成的样本数据集；节点同步区块链并获得所述样本数据集；本发明专利技术利用区块链技术建立图像处理数据库，各个用户节点可以参与图像处理数据库的建立，扩展了图像处理数据集，同时各个节点参与者可以实时同步图像处理数据集，从而扩展了整个图像处理数据样本数据集；本发明专利技术适用于大数据领域。

A big data analysis method based on image processing

The present invention discloses a large data analysis method and system based on image processing, aiming at solving the problem of difficult expansion of image processing database in the prior art. The method includes obtaining the second image data by classifying the first image data by a node; judging the legality of the second image data by the node; and judging the legality of the second image data by the node. Send the legitimate second image data; receive the legitimate second image data and write it to the block chain according to the legitimate second image data. The block chain contains a sample data set composed of the second image data; the node synchronizes the block chain and obtains the sample data set; and the invention establishes an image office using the block chain technique. Each user node can participate in the establishment of the image processing database, expand the image processing data set, and each node participant can synchronize the image processing data set in real time, thereby expanding the entire image processing data sample data set; the invention is applicable to the large data field.

【技术实现步骤摘要】
一种基于图像处理的大数据分析方法
本专利技术涉及大数据领域，具体涉及一种基于图像处理的大数据分析方法及系统。
技术介绍
神经网络主要原理是通过大量样本训练得到训练模型，通过训练模型对其他同类数据样本进行自适应处理。其近些年来被用在各方面广泛研究，比如计算机视觉、地质演算领域等。为了获得更加准确的训练模型，就需要更多的基础数据样本，大类数据库中可能会细分小类的数据，如果小类数据库中的数据样本不足，必然导致神经网络训练的发展受限制，比如获得小型客车样本，在小型客车样本中细分为灰色小型客车样本，如果小型客车样本数据集不够充足，必然神经网络训练灰色小型客车的就很难实现或者数据集过少训练结果价值低。现在的数据样本库部分是开放的，但是整体来说，基础数据库的样本数据库种类不齐全且样本数量有限。基础样本数据库大多是通过人工标注的，其费时费力，导致样本数据库很难获得，进一步地限制了基础样本数据库的继续扩充。有限的样本数据库一定程度上限制了神经网络技术的进一步发展。目前大多研究是针对神经网络技术方面的研究，但是甚少关注神经网络数据库样本的研究。
技术实现思路
本专利技术的目的在于：针对现有技术中图像处理数据库扩展难度大的问题，本专利技术提供了一种基于图像处理的大数据分析方法及系统。本专利技术采用的技术方案如下：本专利技术实施例一方面提供了一种基于图像处理的大数据分析方法，包括：由节点对第一图像数据分类得到第二图像数据；由所述节点判断所述第二图像数据的合法性；由节点发送所述合法的第二图像数据；接收合法的第二图像数据并根据合法的第二图像数据写入区块链，所述区块链包含由所述第二图像数据组成的样本数据集；节点同步区块链并获得所述样本数据集。本专利技术实施例可能的一个设计中，判断第二图像数据的合法性，具体为：若合法，则节点获得奖励，根据合法的第二图像数据写入区块链；若不合法，节点拒绝发送不合法的第二图像。本专利技术实施例可能的一个设计中，对第一图像数据分类得到第二图像数据，具体包括：存储分类器至节点；由分类器对第一图像数据分类得到第二图像数据，所述第二图像数据包含所述第一图像数据的分类信息。本专利技术实施例可能的一个设计中，优选地，所述第二图像数据包括图像数据索引或图像基本信息。本专利技术实施例可能的一个设计中，所述图像数据索引为图像数据链接、图像数据磁力链接或种子中的一种或多种；所述第二图像数据包括第一图像数据信息、第一图像数据的分类信息。本专利技术实施例可能的一个设计中，所述图像基本信息包括图像大小和图像分辨率。本专利技术实施例可能的一个设计中，所述的判断所述第二图像数据的合法性是指第二图像是否满足预设条件。本专利技术实施例可能的一个设计中，所述预设条件包括预设图像基本信息。本专利技术实施例另一方面提供了一种基于图像处理的大数据分析系统,包括：数据库和服务器，服务器至少三个，且三个或三个以上的服务器都运行相同区块链客户端；服务器：包括分类器、第一发送模块和判断模块，所述分类模块对第一图像数据分类得到第二图像数据，所述判断模块，判断所述第二图像数据的合法性；数据库：包括接收模块、第二发送模块和存储模块，所述接收模块接收所述第一发送模块发送的所述第二图像数据，所述存储模块存储合法的所述第二图像数据，所述第二发送模块将合法的所述第二图像数据发送至服务器。本专利技术实施例可能的一个设计中，优选地，所述服务器还包括参数模块、计时模块和计算模块；所述参数模块用于设置奖励参数，所述计算模块用于计算当前服务器的贡献值，所述计时模块用于记录所述服务器的参与区块时间。综上所述，由于采用了上述技术方案，本专利技术的有益效果是：1、本专利技术的一个实施例利用区块链技术建立图像处理数据库，建立了一个去中心化的不可篡改性的图像处理数据库，同时各个用户节点可以参与图像处理数据库的建立，扩展了图像处理数据集，同时各个节点参与者可以实时同步图像处理数据集，从而使得整个图像处理数据样本数据集开放，促进了神经网络训练技术的发展；2、本专利技术的实施例利用奖励机制，使得参与节点为图像处理做出贡献者可以获得相应的奖励，从而增加了节点参与的积极性，进一步地扩展了图像处理数据集的扩充；3、本专利技术的实施例利用索引对图像进行存储，解决了在海量图像在区块链中存储空间占用过大的问题，进而使得各个节点的同步时间短且各个节点同步耗费的存储空间小。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本专利技术的主旨。图1是本专利技术实施例的流程图；图2是本专利技术实施例的系统模块图；图3是本专利技术实施例的分类器API的编译流程图；附图标记：100-服务器；110-分类器；120-判断模块；130-第一发送模块；140-参数模块；150-计时模块；160-计算模块；200-数据库；210-第二发送模块；220-存储模块；230-接收模块。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的主要思路是：由节点对第一图像数据分类得到第二图像数据，由所述节点发送所述第二图像数据；判断所述第二图像数据的合法性，接收合法的第二图像数据并根据合法的第二图像数据写入区块链，所述区块链包含由所述第二图像数据组成的样本数据集，节点同步区块链并获得所述样本数据集；本同时提供了与之对应的系统；本专利技术主要利用区块链技术建立图像处理数据库，建立了一个去中心化的不可篡改性的图像处理数据库，同时各个用户节点可以参与图像处理数据库的建立，扩展了图像处理数据集，同时各个节点参与者可以实时同步图像处理数据集，从而使得整个图像处理数据样本数据集开放，促进了神经网络训练技术的发展。实施例一本实施例主要提供了一种基于图像处理的大数据分析方法的具体例子，包括以下步骤：由节点对第一图像数据分类得到第二图像数据；其中所述节点主要包括各个用户基于相同区块链运行的虚拟程序，通常这类虚拟程序可以在有计算能力的设备上运行，比如电脑或者显卡与主板的组合体，节点的虚拟程序可以实现对第一图像数据进行分类，分类可以在节点中直接存储分类规则来实现，也可以在节点中存储分类器，分类器通常是已经训练好的大类分类器或者定向分类器，具体分类器的选择根据最后需要的样本数据集来决定，当然分类器是需要提前训练好供节点运行程序使用；以BP神经网络分类器为例，其获得过程主要包括：(1)输入模式由输入层经隐含层向输出层传播计算；(2)输出的误差由输出层经隐含层传向输入层；(3)模式顺序传播与误差逆传播的计算过程反复交替循环进行；(4)判定全局误差是否趋向极小值；当然分类器可以直接编译进入节点，也可以通过API接口形式供节点调用；由所述节点判断所述第二图像数据的合法性；节点的虚拟程序对第一图像分类之后，节点的分类器或者是节点调用的分本文档来自技高网...

【技术保护点】
1.一种基于图像处理的大数据分析方法,其特征在于，包括：由节点对第一图像数据分类得到第二图像数据；由所述节点判断所述第二图像数据的合法性；由节点发送合法的第二图像数据；接收合法的第二图像数据并根据合法的第二图像数据写入区块链，所述区块链包含由所述第二图像数据组成的样本数据集；节点同步区块链并获得所述样本数据集。

【技术特征摘要】
1.一种基于图像处理的大数据分析方法,其特征在于，包括：由节点对第一图像数据分类得到第二图像数据；由所述节点判断所述第二图像数据的合法性；由节点发送合法的第二图像数据；接收合法的第二图像数据并根据合法的第二图像数据写入区块链，所述区块链包含由所述第二图像数据组成的样本数据集；节点同步区块链并获得所述样本数据集。2.如权利要求1所述的方法，其特征在于，判断所述第二图像数据的合法性，具体为：若合法，则节点获得奖励，根据合法的第二图像数据写入区块链；若不合法，节点拒绝发送不合法的第二图像。3.如权利要求1所述的方法，其特征在于，对第一图像数据分类得到第二图像数据，具体包括：存储分类器至节点；由分类器对第一图像数据分类得到第二图像数据，所述第二图像数据包含第一图像数据的分类信息。4.如权利要求1所述的方法，其特征在于，所述第二图像数据包括图像数据索引或图像基本信息。5.如权利要求4所述的方法，其特征在于，所述图像数据索引为图像数据链接、图像数据磁力链接或种子中的一种或多种；所述第二图像数据包括...

【专利技术属性】
技术研发人员：史玉成，
申请(专利权)人：史玉成，
类型：发明
国别省市：江苏,32