用于在服务层处使能数据分析服务的方法技术

在服务层处的公共数据分析服务(DAS)被设计使用底层现有/未来数据分析技术或者工具并且利用统一接入方法将它们提供给需要那些数据分析操作的服务层实体。通用操作框架/接口设计用于使能DAS和DAS内的操作细节。可以使用包括服务层请求/响应消息中的新参数的用于与DAS交互的有关程序。

【技术实现步骤摘要】
【国外来华专利技术】用于在服务层处使能数据分析服务的方法相关申请的交叉引用本申请要求于2016年4月25日提交的美国临时专利申请序列号62/326,881的权益，其公开内容通过引用而并入，如同完整在此阐述。
技术介绍
在最近几年中，在我们世界中的数据量正在激增。谷歌处理几百拍字节(Petabyte，PB)的搜索数据并且脸书生成每月超过10PB的日志数据(大数据系统调查，surveyonbigdatasystems，中国科学信息科学，SCIENCECHINAInformationSciences,2015)。作为激增的全球数据的结果，术语“大数据”已经被创造以描述庞大的数据集。与传统数据集相比，大数据可以包括大量非结构化数据，其需要被分析以便从该数据获得深入见解，例如如何从客户的购物历史记录中发现潜在购买。麦肯锡公司具有大数据的更正式定义，如下：“大数据应当指通过经典数据库软件不能获得、存储并且管理的这种数据集”。该定义包括两种含义：-符合大数据的测量/标准的数据集规模正在改变并且随着时间或者随着技术进步而增长。目前，大数据通常从几太字节(Terabyte)到几拍字节。-在不同应用中符合大数据的标准的数据集规模彼此不同。参照几个“V”(如图1所示)的大数据的另一种流行定义：-巨量性(Volume)意味着：随着大量数据的生成和收集，数据规模变得越来越大，例如，如在早些的示例中提及的，由互联网公司生成的数据可以容易达到每天十PB。多样性(Variety)指示各种类型的数据，其包括半结构化数据和非结构化数据，诸如，音频、视频、网页和文本以及传统明确定义的结构化数据像数据库表。-即时性(Velocity)意味着大数据的时效性，特别地，数据收集和分析等必须快速并且以及时方式完成，以便最大化大数据的商业价值。-价值(Value)意味着存在于该数据中但以非常低密度隐藏的有用知识/见解。此外，更多“V”可以被定义，例如：真实性(Veracity)应对不确定的或者不精确的数据等。当前，由于潜在的新的业务和价值，各行各业正在对大数据的高潜力更感兴趣，并且许多政府机构以及学术界已经宣布了加速大数据研究和应用的主要计划。值得注意的是，物联网(IoT)的出现是驱动大数据的增长的主要趋势，物联网(IoT)通常指的是例如嵌入在物理世界并且通过网络连接到计算资源的传感器和设备。如图2所示，麦肯锡研究预计在世界中部署的连接的IoT节点的数量被期望以每年超过30％的速率增长。期望增长部门中的一些是公用事业，因为这些运营商安装更多智能仪表和智能家电；医疗保健，因为该部门部署远程健康监测；零售，其将最终增加射频识别(RFID)标签的使用；以及汽车行业，其将在车辆中越来越多地安装传感器。大数据的价值链可以一般被分成四个阶段：数据生成、数据采集、数据存储和数据分析(参见图3)。如果我们把数据作为原料，则数据生成和数据采集是开发过程，数据存储是存储过程并且数据分析是利用原料创造新价值的生产过程。在下面呈现了针对这四个阶段中的每一个的简要介绍。数据生成是大数据的第一步骤。如早些提及的，大量数据被生成。例如，搜索条目，网络论坛帖子，聊天记录以及微博消息。而且，复杂且高度多样性质的大规模数据可以通过分布式数据源被生成。这种数据源包括尤其是来自IoT/M2M系统的传感器、视频、点击流和/或所有其它可用的数据源。数据采集是大数据系统的第二阶段。大数据采集包括数据收集、数据传输等。在大数据采集期间，需要有效传输机制以便向适当的存储管理系统发送数据以支持不同的分析应用。收集到的数据集有时可能包括大量的冗余的或者无意义的数据，其不必要地增加了存储空间并且影响随后的数据分析。例如，高冗余度在由用于环境监测的传感器收集的数据集中是非常普遍的。数据压缩技术可以被应用以减少该冗余度。第三阶段，即大数据存储，指的是大规模数据集的存储和管理，同时实现数据存取的可靠性和可用性。典型地，它处理大量的、可扩展的并且普遍分布式的存储系统。一方面，存储基础架构需要提供可扩展的且可靠的信息存储服务；另一方面，它必须为大量数据的查询和分析提供强大的接入接口。第四阶段是关于数据分析。大数据的分析主要涉及应用于收集到的数据的分析方法。数据分析是大数据的价值链中的最重要阶段，目的是为了提取有用价值，提供业务运作的见解等。不同水平的潜在价值可以通过数据集在不同领域的分析来生成。因此，值得注意的是，数据分析是宽泛的范围或者概念，其频繁改变并且极其复杂，如在图3中示例。下面简要讨论市场上的大量现存数据分析产品。这些产品未必与服务层概念相关。谷歌分析(GoogleAnalytics)是由谷歌提供的免费网络分析服务，其跟踪并且报告网站流量。谷歌分析利用“页面标签”实现，并且依赖于专有谷歌分析跟踪代码(当前称为Analytics.js)，其是网站所有者将其增加到网站的每页的JavaScript代码的片段。然后，如果在浏览器中启用JavaScript，则当客户端浏览该页时，跟踪代码在客户端浏览器中运行。该代码收集访问者数据并且将其发送给谷歌数据收集服务器。用户在谷歌分析平台中首先注册并且设置用户账号。用户账号的细节也将被包括在Analytics.js代码中，使得由跟踪代码收集的数据可以被发送到正确的用户账号。图4示出谷歌分析的通用架构。当前，谷歌分析为三种不同的应用场景提供分析服务：1)网站和网络应用，其使用上面提及的analytics.js收集在网站或者网络应用上的用户行为数据(如图4所示)；2)移动应用，其利用由谷歌分析提供的API或者样本代码收集与在安卓或者iOS平台上运行的移动应用有关的各种数据；3)其它应用场景，谷歌分析也为任何实体(例如IoT设备)提供测量协议以将数据发送到谷歌分析服务器。更进一步，除了由谷歌分析收集的数据之外，当从诸如企业数据库或者客户关系管理(CRM)系统的多个源挖掘数据时找到深入/隐藏的见解也是可能的。因此，现在谷歌交付了GoogleAnalyticsPremium和GoogleBigQuery集成。通过从GoogleAnalyticsPremium到GoogleBigQuery集成自动导入日志，用户可以容易写入SQL查询来将他们网站访问者活动与其它有价值业务数据(诸如销售点记录、在线购物历史和用户登陆日志)相关。使用对他们的客户的这种组合的见解，用户可以然后生成针对谷歌关键字广告(GoogleAdWords)和双击(DoubleClick)的定制广告再营销数据。IBM最近宣布沃森分析(WatsonAnalytics)，基于自然语言的数据分析产品。沃森分析给用户提供不复杂的高级分析的益处。例如，它允许非专家人员进行由沃森分析辅助的各种数据分析，例如从加载数据、研究数据、对数据做出预测并且启用用于虚拟化分析结果的容易的仪表盘(dashboard)和信息图创建。同时，它允许用户通过仅仅以人类可理解的自然语言键入问题来分析他们上传的数据，并且沃森分析的自然语言处理代理将给用户自动提议令人满意的分析工作。图5示出了IBM沃森分析的简况。值得注意的是，该产品的目标客户是人类用户，并且它不被具体设计用于支持M2M/IoT场景中的数据分析，这是该工作的焦点。除了上述沃森分析之外，IBM还具有另一种本文档来自技高网...

【技术保护点】
1.一种由装置使用的方法，其中，所述装置包括处理器和存储器，并且其中，所述装置还包括在所述存储器中存储的计算机可执行指令，所述计算机可执行指令当由所述处理器执行时实现服务层节点并且执行所述方法的功能，所述方法包括：接收遵循服务类型简档的数据分析请求；并且使用所述服务类型简档来服务所述数据分析请求。

【技术特征摘要】
【国外来华专利技术】2016.04.25 US 62/326,8811.一种由装置使用的方法，其中，所述装置包括处理器和存储器，并且其中，所述装置还包括在所述存储器中存储的计算机可执行指令，所述计算机可执行指令当由所述处理器执行时实现服务层节点并且执行所述方法的功能，所述方法包括：接收遵循服务类型简档的数据分析请求；并且使用所述服务类型简档来服务所述数据分析请求。2.根据权利要求1所述的方法，其中，从客户端接收所述数据分析请求。3.根据权利要求1所述的方法，其中，所述服务包括将所述数据分析请求转发到在数据托管容器附近的第二服务层节点。4.根据权利要求1所述的方法，其中，所述装置实现数据分析服务。5.根据权利要求4所述的方法，其中，所述数据分析服务与分析能力对接。6.根据权利要求5所述的方法，其中，所述数据分析服务使用内部接口转换器与所述分析能力对接。7.根据权利要求5所述的方法，其中，所述服务类型简档映射到所述分析能力的应用编程接口(API)。8.根据权利要求5所述的方法，其中，所述数据分析请求以所述分析能力设置订阅。9.根据权利要求1所述的方法，其中，所述服务包括从另一个位置摄取数据。10.一种由装置使用的方法，其中，所述装置包括处理器和存储器，并且其中，所述装置还包括在所述存储器中存储的计算机可执行指令，所述计算机可执行指令当由所述处理器执行时执行所述方法的功能，所述方法包括：根据服务类型...

【专利技术属性】
技术研发人员：李旭，李晴，斯内哈·阿曼·辛格，罗科·迪吉罗拉莫，卡坦利纳·米哈拉·姆拉丁，李鸿堃，王重钢，
申请(专利权)人：康维达无线有限责任公司，
类型：发明
国别省市：美国,US