用于分段图像数据的格式识别的方法和系统技术方案

公开对于分段数据的格式识别。在一些实施例中，接收包括连续性性质的输入信息流。确定流的至少一部分的格式标识符，其中该格式标识符包括数据表示大小、组大小和与连续性性质一致的对齐。使用选择的压缩技术基于格式标识符来压缩信息流以产生压缩流，并且存储压缩流。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】分段图像数据的格式识别 对其他申请的交叉引用 该申请要求于2012年8月21日提交的题为FORMATIDENTIFICATIONFORFRAGMENT邸BYTEALIG肥DINTEGERIMAGEDATA(分段字节对齐整数图像数据的格式识别）的美国 临时专利申请号61/691，737的优先权，其为了所有目的通过引用合并于此；W及2012 年 8 月 21 日提交的题为FORMATIDENTIFICATIONFORFRAGMENT邸BYTEN0N-ALIG肥D INTEGERIMAGEDATA(分段字节未对齐整数图像数据的格式识别）的美国临时专利申请号 61/691，740的优先权，其为了所有目的通过引用合并于此。
技术介绍
在许多应用中，具有不同格式的数据片段或包典型地采用相同的方式处理。该样 的无差别处理可能不是高效或最佳的。【附图说明】 本专利技术的各种实施例在下列详细描述和附图中公开。 图1图示输入数据的数据结构的实施例。 图2图示序列的连续性性质的实施例。 图3图示计算拟合惩罚的实施例。 图4A-4B图示小字节序和大字节序格式的实施例。 图5图示包括片段的典范布局的各种元素的实施例。图6图示对于输入图像片段的数据模型的实施例的各种特征。 图7图示对于窗口的完整格式识别的过程的实施例。 图8图示用于基于关于之前窗口的识别格式的信息来识别输入窗口的数据格式 的过程的实施例。 图9图示用于识别未知窗口的数据格式的过程的实施例。 图10图示接受分段数据作为输入的存储系统的实施例的高级图。图11图示其中在写到存储之前在压缩期间采用数据类型识别的过程的实施例。 图12图示其中在从存储读取时在解压期间采用数据类型识别的过程的实施例。 图13图示WAN环境的实施例。 图14图示传送和接收WAN优化过程的实施例。【具体实施方式】[001引本专利技术可W采用许多方式实现，包括作为；过程；设备；系统；物质组成；计算机可 读存储介质上包含的计算机程序产品；和/或处理器，例如配置成执行存储在存储器(其禪 合于处理器)上和/或由该存储器提供的指令的处理器。在该说明书中，该些实现或本专利技术 可采取的任何其他形式可称为技术。一般，公开的过程的步骤的顺序可在本专利技术的范围内 更改。除非另外规定，例如描述为配置成执行任务的处理器或存储器等部件可实现为暂时 配置成在指定时间执行任务的通用部件或被制造来执行任务的特定部件。如本文使用的， 术语'处理器'指一个或多个装置、电路和/或处理核，其配置成处理例如计算机程序指令 等数据。 本专利技术的一个或多个实施例的详细描述在下文连同图示本专利技术的原理的附图一 起提供。本专利技术连同该样的实施例描述，但本专利技术不限于任何实施例。本专利技术的范围仅由 权利要求限制并且本专利技术包含许多备选、修改和等同物。在下列描述中阐述许多特定细节 W便提供对本专利技术的全面理解。为了示例目的提供该些细节，并且本专利技术可根据权利要求 实践而没有该些具体细节中的一些或全部。为了清楚起见，在与本专利技术有关的
中 已知的技术材料未被详细描述使得不会不必要地掩盖本专利技术。 格式识别(字节-对齐的） 本文描述用于识别独立于图像/传感器数据的报头或余下部分的字节对齐的整数图 像/传感器数据的片段的数据格式的技术。在各种实施例中，确定输入数据是否包括具有 连续性性质的数值的序列(或值的组)。在一些实施例中，每个值包括该样的整数，其的表示 取整数个字节（即，对于小的整数k是1、2、3、4或k个字节)。 表示格式 在一些实施例中，输入数据包括同质图像数据片的级联，其在本文有时称为"段"或"片 段"。例如，输入数据可包括来自一个或多个图像文件(其具有一个或多个格式）的段。 图1图示输入数据的数据结构的实施例。如描绘的，输入数据100包括段序列。分 解图102图示段104的格式。对于段104,整数表示大小化）是四个字节，组大小（t)是H 个整数(即，十二个字节)，并且对齐（a)是两个字节。 在一些实施例中，段的长度不是先验已知的，并且要确定段之间的(近似)断点。在 一些实施例中，每个段中的数据包括整数值序列，其中每个该样的值使用少量字节（即，对 于小的整数k是1、2、3、4或k个字节）表示。在图1的示例中，段104包括红（r)、绿（g) 和蓝（b)信道，并且每个信道由整数值表示。在一些实施例中，表示大小（即，用于表示每个 值的字节的数量）在每个段中始终恒定，但可跨段变化。在一些实施例中，第一完整的k字 节整数的表示可在段的字节1、2…k处开始，即，段边界可不与用于表示单一整数值的k个 连续字节的集的起始一致。在各种实施例中，段中第一完整的k字节整数的开始位置称为 "对齐"（a)。 此外，整数值序列可组织成具有连续值的组。每个组中的值的数量是小的整数t。 例如，在段包括红、绿和蓝信道的情况下，每个组包括H个整数值，其对应于相应的红、绿和 蓝信道。在一些实施例中，组大小跨段是恒定的，但可W跨段变化。对于组中的每个位置 i=l…t，假设包括每个组中的位置i中的值的子序列展现连续性性质。也就是说，预期任何 该样的子序列中的连续值是接近的。在每个组包括H个整数值(其对应于相应的红、绿和蓝 信道）的示例中，预期来自连续组的红整数值接近、来自连续组的绿整数值接近并且来自连 续组的蓝整数值接近。[002引图2图示序列的连续性性质的实施例。如在图2中描绘的，具有红、绿和蓝整数值 的序列200包括快速变化序列，其由包括每个信道的缓慢变化组成子序列组成。在各种实施例中，格式识别过程的目标包括(近似）识别段之间的断点W及对于每 个段识别整数表示大小（即，用于每个整数的字节k的数量)、对齐a和组大小t。 连续性性质的测量 在各种实施例中，在连续性性质测量阶段期间，检查指定输入数据的连续性性质，并且 做出输入数据如何很好地拟合特定格式的确定，例如之前提到的包括具有t个值的组中的 k字节整数值的格式。注意该在还未确定段边界和对齐的情况下进行。实际上，来自该阶段 的连续性性质测量将用于促使段边界和对齐的确定。在该阶段中，检查指定输入数据中的 多个位置(例如，对于参数S每隔S个字节处的位置)。对于每个该样的位置，检查该位置的 局部邻近中的字节，并且基于此来对考虑的化，t，a)的每个选择分配"拟合惩罚"，其中k 是整数表示大小，t是组大小，并且a是对齐，其可由具有可能值l、2-k的整数表示。在各 种实施例中，化，t，a)元组称为"格式标识符"。 考虑下列用于分配拟合惩罚的示例技术，其中在位置i处测量连续性性质，其具 有表示大小k和组大小t。让Vk，t(i)成为t维向量，其的坐标是由在位置i、i+k、i+化、… i+(t-l)k中开始的k个连续字节表示的整数的值。对于取0、…、k-1中的值的j，比较向 量Vk，t(i+j)和Vk，t(i+j+kt)。对于该k、t的选择的拟合惩罚，a=(i+j)modk是适当选择 的该些向量Vk，t(i+j)和Vk，t(i+j+kt)的函数。理想的拟合惩罚函数是该样的函数，其的值 对于正确的k和t的选择（即，在k和t的值与数据的实际表示大小和组大小匹配时）是最 低的并且该时j使得位置i+j对应于代表整数值的k字节窗口的开始。注意因为每个整数 本文档来自技高网...

【技术保护点】
一种用于存储信息的系统，包括：接口，其接收输入信息流，其中所述信息流包括连续性性质；格式检测器，其确定所述流的至少一部分的格式标识符，其中所述格式标识符包括数据表示大小、组大小和与所述连续性性质一致的对齐；数据压缩器，其使用选择的压缩技术基于所述格式标识符来压缩所述信息流以产生压缩流；以及存储器，其存储所述压缩流。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：M查里卡，D拉马克里什纳，
申请(专利权)人：EMC公司，
类型：发明
国别省市：美国;US