采用分布式大数据架构实现图像JPEG编码的方法技术

本发明专利技术公开一种采用分布式大数据架构实现图像JPEG编码的方法，涉及大数据领域，首先将海量图像数据传入分布式集群，然后对存入分布式集群的图像执行DCT基压缩编码步骤：FDCT、量化、熵编码、压缩图像数据，最后，将DCT基压缩编码步骤中各个步骤的数据存储到分布式数据库中。通过本发明专利技术，避免了传统行式数据库中读写数据缓慢，同时可实现海量图像数据的压缩，解决了传统系统对海量图像数据编码遇到的问题，实现了数据的持久化。

【技术实现步骤摘要】
【专利说明】采用分布式大数据架构实现图像JPEG编码的方法
本专利技术涉及大数据领域，具体的说是一种采用分布式大数据架构实现图像JPEG编码的方法。
技术介绍
JPEG是联合图象专家组(Joint Picture Expert Group)的英文缩写，是国际标准化组织(ISO)和CCITT联合制定的静态图象的压缩编码标准。和相同图象质量的其它常用文件格式相比，JPEG是目前静态图象中压缩比最高的。正是由于JPEG的高压缩比，使得它广泛地应用于多媒体和网络程序中。JPEG有几种模式，其中最常用的是基于DCT变换的顺序型模式。DCT压缩编码的主要步骤是:8X8的图象经过DCT变换后，其低频分量都集中在左上角，高频分量分布在右下角。由于该低频分量包含了图象的主要信息，而高频与之相比不那么重要，所以可以忽略高频分量，从而达到压缩的目的。量化步骤将高频分量去掉，量化操作，就是将某一个值除以量化表中对应的值。由于量化表左上角的值较小，右上角的值较大，这样就起到了保持低频分量，抑制高频分量的目的。最后对64个字块编码，为进一步实现压缩可用Huffman编码。本专利技术主要用到的是分布式集群中的文件管理、任务管理和分布式存储技术。分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。分布式任务分配中，主要的部分是任务分配器。任务集由外输入，进入任务分配器中。任务分配器由多个队列组成，任务进入任务分配器中的某一个队列。多个队列的权值不同，权值高低表示任务分配的多少，从任务分配器中出来的任务进入结点中。分布式列式数据库是将同一个数据列的各个值存放在一起。插入某个数据行时，该行的各个数据列的值也会存放到不同的地方。
技术实现思路
针对现有技术存在的不足之处，本专利技术提供一种采用分布式大数据架构实现图像JPEG编码的方法。本专利技术所述采用分布式大数据架构实现图像JPEG编码的方法，解决上述技术问题采用的技术方案如下:该方法首先将海量图像数据传入分布式集群，然后对存入分布式集群的图像执行DCT基压缩编码步骤:FDCT、量化、熵编码、压缩图像数据，最后，将DCT基压缩编码步骤中各个步骤的数据存储到分布式数据库中，实现数据的持久化。优选的，每个DCT基压缩编码步骤可作为分布式集群的任务，提交给集群统一管理。优选的，所述分布式集群采用Hadoop集群，所述Hadoop集群的HDFS文件系统为集群提供统一的文件命名系统，将传入的图像提供冗余备份。优选的，对存入Hadoop集群的图像执行DCT基压缩编码步骤:FDCT、量化、熵编码、压缩图像数据，将DCT基压缩编码步骤中各个步骤作为mapreduce任务分配给Hadoop集群。优选的，所述FDCT步骤，将图像作为map任务的输入，map任务中包括了 FDCT的具体过程，最终将结果汇总到reduce中，为量化步骤整理数据。优选的，将DCT基压缩编码步骤中各个步骤的数据存储到分布式列式数据库hbase，且将各个步骤的数据存到不同的列族中。本专利技术的采用分布式大数据架构实现图像JPEG编码的方法与现有技术相比具有的有益效果是:该方法通过将海量图像数据传入分布式集群，对存入分布式集群的图像执行DCT基压缩编码步骤:FDCT、量化、熵编码、压缩图像数据，并将DCT基压缩编码步骤中各个步骤的数据存储到分布式数据库中，提升了读写性能，避免了传统行式数据库中读写数据缓慢，同时可实现海量图像数据的压缩，解决了传统系统对海量图像数据编码遇到的问题，实现了数据的持久化。【附图说明】附图1为采用分布式大数据架构实现图像JPEG编码的方法的流程图，； 附图2为所述列式数据库的示意图。【具体实施方式】为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参考附图，对本专利技术所述采用分布式大数据架构实现图像JPEG编码的方法进一步详细说明。本专利技术所述采用分布式大数据架构实现图像JPEG编码的方法，首先将海量图像数据传入分布式集群，然后，对存入分布式集群的图像执行DCT基压缩编码步骤:FDCT、量化、熵编码、压缩图像数据，最后，将DCT基压缩编码步骤中各个步骤的数据存储到分布式数据库中，实现数据的持久化。并且，该方法中的每个DCT基压缩编码步骤可作为分布式集群的任务，提交给集群统一管理，保证了任务执行的可靠性。通过本专利技术所述方法，可实现海量图像数据的压缩，解决了传统系统对海量图像数据编码遇到的问题。实施例: 本实施例所述采用分布式大数据架构实现图像JPEG编码的方法，首先将海量图像数据传入分布式集群，所述分布式集群基于主从结构，具有统一管理数据功能，利用分布式集群的冗余备份、故障检测功能，可实现图像的可靠存储。本实施例所述方法中，所述分布式集群采用Hadoop集群；所述Hadoop集群的HDFS文件系统为集群提供了统一的文件命名系统，文件可位于多台机器上，但对外体现为统一的系统；HDFS文件系统将传入的图像提供冗余备份，保证了图像数据的安全性。该采用分布式大数据架构实现图像JPEG编码的方法，对存入Hadoop集群的图像执行DCT基压缩编码步骤:FDCT、量化、熵编码、压缩图像数据，将DCT基压缩编码步骤中各个步骤作为mapreduce任务分配给Hadoop集群；所述FDCT步骤，将图像作为map任务的输入，map任务中包括了 FDCT的具体过程，最终将结果汇总到reduce中，为量化步骤整理数据。本实施例所述方法中，最后，将DCT基压缩编码步骤中各个步骤的数据存储到分布式数据库中，本实施例采用分布式列式数据库hbase，可将各个步骤的数据存到不同的列族中，提升了读写性能，避免了传统行式数据库中读写数据缓慢的现象。附图1为本实施例采用分布式大数据架构实现图像JPEG编码的方法的流程图，如附图1所示，首先收集海量图像，将图像传入分布式集群Hadoop集群，Hadoop集群的HDFS文件系统为集群提供统一的文件命名系统，然后建立mapreduce任务，执行DCT基压缩编码步骤:FDCT、量化、熵编码、压缩图像数据(任务)，最后将DCT基压缩编码步骤中各个步骤的数据存储到分布式列式数据库中。附图2为所述列式数据库的示意图，如附图2所示，以8*8图像数据为例，其中设计列族FDCT、Q、Code、Zip、0，其中FDCT作为FDCT (变换)的数据存储列，Q作为量化步骤的数据存储列，Code作为熵编码的数据存储列，Zip为压缩图像数据的数据存储列，O为其他数据存储列。实现本实施例所述采用分布式大数据架构实现图像JPEG编码的方法，其具体实施过程如下:第一、搭建分布式集群hadoop集群，设置好相应参数，文件块的大小应大于图像的大小，避免因为图像大小大于设置的参数引起图像分割，导致计算结果失真；第二、将DCT基压缩编码步骤中各个步骤作为mapreduce任务发布到分布式集群上；第三、将DCT基压缩编码步骤中各个步骤产生的数据存储到分布式列式数据库中，实现数据持久化。上述【具体实施方式】仅是本专利技术的具体个案，本专利技术的专利保护范围包括但不限于上述【具体实施方式】，任何符合本发本文档来自技高网...

【技术保护点】
采用分布式大数据架构实现图像JPEG编码的方法，其特征在于, 该方法首先将海量图像数据传入分布式集群，然后对存入分布式集群的图像执行DCT基压缩编码步骤：FDCT、量化、熵编码、压缩图像数据，最后，将DCT基压缩编码步骤中各个步骤的数据存储到分布式数据库中，实现数据的持久化。

【技术特征摘要】

【专利技术属性】
技术研发人员：戴鸿君，于治楼，
申请(专利权)人：浪潮集团有限公司，
类型：发明
国别省市：山东;37