流媒体内容的分布式安全数据存储和传输制造技术

公开了一种用于数据的分布式存储和分配的方法。将原始数据划分为片段并且对片段进行纠删编码。将划分后的片段分散地存储在多个存储介质上，优选地，所述多个存储介质在地理上彼此远离。当请求访问数据时，通过网络传输片段并将片段重建为原始数据。在某些实施例中，原始数据是从分布式存储器流传输到用户的媒体内容。

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本非临时性申请主张2014年5月13日提交的题为“AMethodforDataStorage”的美国临时专利申请No.61/992,286和2014年9月22日提交的题为“AMethodforMediaStreaming”的美国临时专利申请No.62/053,255的优先权。通过引用的方式将美国临时专利申请No.61/992,286和62/053,255的公开内容作为整体合并到本文中。
本公开的主题总体上涉及安全数据存储和传输，并且更具体地，涉及用于媒体流和其他应用的分布式安全数据存储和传输。
技术介绍
用于彻底改变信息技术(IT)基础架构的前景的云计算的未来是基于下述前提：预先保持在公司自己的数据中心或者局域网内的硬件和软件资源能够通过由第三方在网络上托管的云服务器的网络而变得可用，从而减少了公司对拥有并管理他们自己的精心设计的IT基础架构和数据中心的需要。然而，为了说服公司将他们的数据存储和计算需求转移到这种第三方“云”服务器上，云服务器需要提供满足客户的需要和安全考虑的一定等级的性能、数据安全性、吞吐量和使用标准。例如，存储资源仍然是在企业领域全面采用云计算的瓶颈。当前的基于云的存储资源存在严重的性能问题，包括危险的安全漏洞、可用的不确定性以及高昂的费用。基于云的存储或者存储即服务(StAAS)必须在云中创建虚拟“存储设备”，其可以与存在于企业数据中心内的内部存储容量相提并论。目前的基于云的存储方案大多数情况下基于传统的文件存储(CIFS，NFS)技术，其中，整个文件和文件组存储在一个物理服务器位置。这种方法在在互联网上存在的典型的通信状况下未能提供可接受的数据传输速率。延迟差，并且终端用户或消费者即使在最佳设计的云应用的情况下仍能感觉到性能墙(performancewall)。另外，传输大量数据可能花费过多的时间过多，从而使得它不实适用。例如，利用现有技术通过云传输1Tb的数据可能需要数周才能完成。全部文件存储在一个位置的云存储还为对不宜泄漏的公司信息感兴趣的黑客提供了诱人的目标。在网络上活动的一个确定的黑客可以使在企业数据中心的安全过程的设计中所投入的所有努力都化为乌有。因此，迫切需要增强基于云的存储系统的安全性。云存储方案还很容易受到可能由于企业客户和其云存储服务器之间的互联网通信的中断所导致的“中断期”的影响。这些中断期持续时间可以不同，并且可以很长，例如，在受到拒绝服务(DOS)攻击的情况下。如果企业在这些中断期期间被迫中止运行，则该企业会受到明显的伤害。基于在一个服务器位置存储全部文件的云存储方案还在该服务器位置受到损害时使得灾难恢复存在潜在的缺陷。如果在同一个物理服务器位置还进行了复制和备份，故障和灾难恢复的问题可能给企业带来大量数据丢失的真正危险。目前技术的云存储方案需要完全复制和备份的存储开销以确保存储的企业数据的安全性。在目前的典型的云存储技术设置中，这可能需要存储数据中的高达800％的冗余。这种需要的大量数据冗余在成本方面增加了巨大开销，以保持云中的存储容量。这种冗余的需要不仅增加了成本，还引入了数据安全方面的新问题。另外，所有的这些冗余也带来了其性能的退化，这是因为云服务器在所有的服务器数据事务中都不断地使用了复制。由于互联网连接已经提高了其在处理高数据吞吐量的能力，媒体流已经成为了一种非常流行的以降低非法复制的风险的方式提供媒体内容(例如，视频和音乐)的方法。云存储在很多媒体内容流方案中都扮演着重要角色。通常，媒体内容驻留在公司的网络服务器上。当用户请求时，媒体内容以连续数据段的稳定流的形式在网络上流传送，客户端及时接收该连续数据段以显示媒体文件的下一段，从而导致看起来向用户无缝地重放音频和视频。目前，媒体流技术基于以下概念：通过网络服务器以压缩形式将媒体文件作为分段的数据流来传送，客户端及时接收所述分段的数据流以播放媒体文件的下一个分段，从而提供连续的重放。在一些情况下，数据传送的速率超过播放数据的速率，则缓存额外的数据以供将来使用。如果数据传输速率比数据重放速率慢，则当客户端收集播放媒体的下一段所需的数据时则停止演示。在以下事实中发现流媒体技术的优势：客户端不需要等待下载整个大媒体文件(例如，完整长度的电影)以及按需下载的本质使其适于处理数字版权管理(DRM)方案，该数字版权管理(DRM)方案使客户端不能在未经授权的情况下复制媒体内容。目前的媒体流技术将整个媒体文件的完整副本存储在网络或者媒体服务器上，客户端连接到该网络或者媒体服务器以接收数据流。在传输过程期间的数据丢失可以轻易地中断传输过程并且停止客户端上的媒体内容的重放。为了避免这些问题，现有技术通常将会将相同的媒体文件放置在世界各地的多个服务器节点上和多个数据中心上，无论它们是公共的或是私有的，从而用户可以连接到他们附近的服务器节点。尽管这对于确保在由于连接问题而导致的数据包丢失的情况下所需的稳定的数据传输率是必要的，但是将同一个文件的多个副本部署在世界各地的多个服务器上会给流媒体提供者带来严重的负担。本公开的主题涉及减轻和/或克服上文提出的一个或多个问题，并且提供一种更安全的数据存储和传输方法，并且更具体地，提供一种用于媒体流和其他应用的更安全的数据存储和传输方法。
技术实现思路
公开了一种安全分布式数据存储的方法和系统，该安全分布式数据存储特别适用于流媒体内容的需求。一个特别的数据存储实施例包括：将媒体数据文件分为多个离散的碎片，对这些离散的碎片进行纠删编码，并将这些碎片分散到多个存储单元，其中，任何一个存储单元都不具有重建数据文件的足够的信息。生成映射，该映射示出数据文件的每个离散的碎片存储在哪个存储单元。特别地，为每个离散的碎片分配唯一的标识符，并且所述唯一的标识符的映射用于帮助重组媒体文件。在另一个实施例中，本文公开的数据存储技术包括：将数据文件分为分片，为每个分片分配唯一的标识符，创建唯一的标识符的映射以帮助重组，将每个分片分为离散的分片片段，对分片片段进行纠删编码，将片段分散到多个存储单元，其中，任何一个存储单元都不具有重建数据文件的足够的信息，以及生成哪个存储单元容纳哪些片段的映射。数据安全性和丢包缓解的目标由公开的纠删编码过程来解决。首先，在纠删编码过程期间将数据编码为不可识别的碎片，从而提供了高度的安全性。其次，经过纠删编码的数据在数据丢失的情况下提供错误校正。尽管纠删编码增加了数据量，但是能够提供并恢复小于增加的数据大小的数据损失。注意，根据优选实施例存储的处理后的经过纠删编码的数据不包括原始数据的任何副本，从而极大提高了安全性。在一个实施例中，一种存储流媒体内容的方法包括：将数字媒体内容文件分为离散的碎片或段，对离散的碎片进行纠删编码并将离散的碎片分散到多个存储单元，其中，任何一个存储单元都不具有重建所述媒体内容的足够的信息。在优选的实施例中，生成映射，该映射详细描述每个离散的碎片存储在哪个存储单元中。为媒体内容的每个离散的片分配唯一的标识符，并且唯一的标识符的映射用于帮助重组媒体内容。例如，客户端设备可使用该映射来重建媒体文件，并且该映射允许在客户端设备上(在浏览器中或者以其他方式)播放所述媒体内容。在另一个实施例中，一种存储数据的方法包括下述步本文档来自技高网...

【技术保护点】
一种处理媒体内容的方法，包括以下步骤：将所述媒体内容分为多个文件分片；生成用于从所述文件分片重组媒体内容的元数据；对所述文件分片进行纠删编码，其中，所述分片被划分为离散的文件分片片段；生成用于从所述文件分片片段重组所述文件分片的元数据；以及将所述文件分片片段发送到多个分散的联网的存储节点，其中，能够利用所述元数据从所述存储节点取回并重建所述媒体内容。

【技术特征摘要】
【国外来华专利技术】2014.05.13 US 61/992,286;2014.09.22 US 62/053,2551.一种处理媒体内容的方法，包括以下步骤：将所述媒体内容分为多个文件分片；生成用于从所述文件分片重组媒体内容的元数据；对所述文件分片进行纠删编码，其中，所述分片被划分为离散的文件分片片段；生成用于从所述文件分片片段重组所述文件分片的元数据；以及将所述文件分片片段发送到多个分散的联网的存储节点，其中，能够利用所述元数据从所述存储节点取回并重建所述媒体内容。2.根据权利要求1所述的方法，其中，不能够通过经过纠删编码的文件分片片段来识别所述媒体内容。3.根据权利要求2所述的方法，其中，在多个数据处理器中执行纠删编码的步骤。4.根据权利要求2所述的方法，进一步包括下述步骤：在客户端解码器处从联网的存储节点接收所述文件分片片段；以及根据所述元数据重建所述媒体内容。5.根据权利要求4所述的方法，其中，所述媒体内容是流视频和音频内容中的一种，并且其中，在重放所述媒体内容期间同时地执行重建所述媒体内容的步骤。6.根据权利要求5所述的方法，其中，响应于对所述媒体内容的客户端请求而执行接收和重建的步骤；和/或其中，为每个文件分片片段分配唯一的标识符，并且所述元数据基于每个文件分片片段的唯一的标识符指示每个文件分片片段在多个分散的联网的存储节点中的位置；和/或其中，纠删编码的步骤导致至少百分之三十的数据冗余等级。7.根据权利要求6所述的方法，第三选择，其中，由内容提供商选择所述存储节点的数量和标识以减少存储节点网络的延迟。8.根据权利要求1所述的方法，其中，所述存储节点位于物理上分离的设备中。9.根据权利要求8所述的方法，其中，所述物理上分离的设备在地理上是分散的。10.根据权利要求1所述的方法，其中，任何一个存储节点均不具有允许重建所述媒体内容的足够的信息。11.一种接收媒体内容的方法，包括下述步骤：请求作为经过纠删编码的文件分片片段而存储在多个分散的联网的存储节点中的媒体内容；在客户端解码器处接收经过纠删编码的文件分片片段和包含用于从所述文件分片片段重建所述媒体内容的信息的元数据；以及在客户端解码器处，基于所述元数据，从所述文件分片片段重建所述媒体内容。12.根据权利要求11所述的方法，其中，所述媒体内容是流视频和音频内容中的一种。13.根据权利要求12所述的方法，其中，不能够通过所述文件分片片段来识别所述媒体内容。14.根据权利要求11所述的...

【专利技术属性】
技术研发人员：D·扬诺夫斯基，T·纳默拉德泽，
申请(专利权)人：云聚公司，
类型：发明
国别省市：美国;US