基于多源数据的热点技术预测方法技术

技术编号:20117795 阅读:24 留言:0更新日期:2019-01-16 12:04
一种基于多源数据的热点技术预测方法,包括:获取多源数据;根据所述多源数据筛选技术词汇和应用词汇;针对每一所述技术词汇和应用词汇,按照时间统计其在所述多源数据中出现的比例得到一时序序列;挖掘技术词汇和技术词汇之间以及技术词汇和应用词汇之间的依赖关系,根据所述依赖关系构建有向图;根据所述时序序列和有向图据预测热点技术。

Hotspot technology prediction method based on multi-source data

A hotspot technology prediction method based on multi-source data includes: acquiring multi-source data; screening technical terms and application terms according to the multi-source data; obtaining time series according to the proportion of technical terms and application terms in the multi-source data according to time statistics; mining technical terms and technical terms as well as technical terms and application terms. According to the dependencies, a directed graph is constructed, and hot spots are predicted according to the time series and directed data.

【技术实现步骤摘要】
基于多源数据的热点技术预测方法
本专利技术涉及网络信息处理领域,尤其涉及到一种基于多源数据的热点技术预测方法。
技术介绍
随着人们对于各个学科领域研究的深入,越来越多的技术方向被提出,例如,近年来极大的吸引人们关注的数据挖掘领域内就包括推荐算法设计、社交网络分析、用户画像构建等具体方向。如何发现领域内一些有较高的潜力和价值的研究方向是一个重要的问题,于研究方向本身而言,及时的指出高潜力和价值的研究方向将会促使更多的研究者投入相应的领域,促进领域的整体进步和发展;而于研究者而言,帮助其发现相应的高潜力研究方向可以促进其本身做出更有价值的工作。因此,构建一种能够广泛运用的热点技术预测方法具有重要的意义和作用。目前传统的热点技术发现方法主要有两类:第一种是由资深研究人员根据其经验和积累进行寻找和判断,这种方式极其依赖研究人员的自身水平和素质,通常来说具有丰富经验的研究人员能够更容易的发现和指出热点技术,而这种经验需要常年的积累,因此不具有推广性;第二种是根据相关技术文献或者词语出现比例的统计信息进行发现,例如相关领域词汇出现比例的上升意味着该种技术研究方向正在成为热点,这种方法发现的热点技术具有一定的滞后性,因为相关技术文献的出版和统计信息通常晚于技术人员的研究时间。相关技术能否成为热点主要与两方面的因素有关:一是其前驱技术是否已经完善,只有在前驱技术已经趋于完善的基础上,相关的后续技术才能够有效地被研究和发展,例如目前正被追捧的深度学习和神经网络,其实早在上个世纪就被提出,而最近十年才被人们广泛的认可和研究,其主要原因就是近些年来GPU计算技术的发展帮助其解决了计算困难的问题;二是相关的应用是否即将或者已经广泛被人们接受,被广泛接受的应用背后涉及到的相关技术才能更容易的引起相关企业和研发机构的热情,从而成为热点,例如在国内已被广泛研究和运用的移动支付技术,在很多发达国家并没有成为主流应用研究热点,主要原因就是在很多发达国家信用支付已经成为主流,相关公司和机构的动力和意愿不足。
技术实现思路
鉴于现有方案存在的问题,为了克服上述现有技术方案的不足,本专利技术提出了一种基于多源数据的热点技术预测方法。根据本专利技术的一个方面,提供了一种基于多源数据的热点技术预测方法,包括:获取多源数据;根据所述多源数据筛选技术词汇和应用词汇;针对每一所述技术词汇和应用词汇,按照时间统计其在所述多源数据中出现的比例得到一时序序列;挖掘技术词汇和技术词汇之间以及技术词汇和应用词汇之间的依赖关系,根据所述依赖关系构建有向图;根据所述时序序列和有向图据预测热点技术。在本专利技术的一些实施例中,根据序列匹配算法挖掘所述依赖关系,第一词汇的序列P和第二词汇的序列Q之间的互相关函数R(t)为:其中,P=[p1,p2,p3,...,pm]和Q=[q1,q2,q3,...,qm],P(i)和R(i)分别表示相应词汇在相应序列上第i个位置的在数据资源中出现的比例值,i为任一整数,m为正整数,当1≤i≤m时,P(i)=qi,Q(i)=qi,当i<1或i>m时,相应的值P(i)和Q(i)均为0,R(t)表示将序列P平移t个时间单位后与序列Q的相关性,根据第一词汇的序列P和第二词汇的序列Q之间的互相关函数R(t)计算两序列之间的最佳匹配位置tp和最佳响应RPQ:tp=argmaxtR(t),RPQ=maxtR(t)。在本专利技术的一些实施例中,挖掘技术词汇和技术词汇之间以及技术词汇和应用词汇之间的依赖关系,根据所述依赖关系构建有向图包括:针对每一技术词汇,选取与其时序序列之间具有最大的M个最佳匹配位置和最佳响应的时序序列对应的词汇作为与该技术词汇有相似性和依赖性的技术词汇或者应用词汇;根据该技术词汇与选取的技术词汇或者应用词汇之间的最佳匹配位置构建该技术词汇与选取的技术词汇或者应用词汇之间的箭头连线,若该技术词汇与选取的技术词汇或者应用词汇之间的最佳匹配位置为正,则箭头指向选取的技术词汇或者应用词汇,若该技术词汇与选取的技术词汇或者应用词汇之间的最佳匹配位置为负,则箭头指向该技术词汇,构建所述有向图。在本专利技术的一些实施例中,根据所述时序序列和有向图据预测热点技术包括:利用ISHOT算法在筛选出的应用词汇中选择正在或者即将成为热点的应用,并记它们构成的集合为K={k1,k2,k3,......};以及利用热点技术预判算法预测即将成为热点的技术。在本专利技术的一些实施例中,所述ISHOT算法能根据任一技术词汇或应用词汇的时序序列,判断该技术是否正在或者即将被广泛研究或者该应用是否已经或者即将成为热点,所述ISHOT算法包括:对于任一词汇的时序序列P=[p1,p2,p3,...,pm],设定判断阈值α和β,若pm>α或者则输出结构为True,判定该词汇对应的技术正在或者即将被广泛研究,或者该词汇对应的应用已经或即将成为热点,否则输出结果为False。在本专利技术的一些实施例中,所述热点技术预判算法包括:利用ISHOT算法在筛选出的技术词汇中选择已经或者即将被广泛研究的技术词汇J;利用ISHOT算法判断该技术词汇J在所述有向图中对应的每一后节点Jb进行运算,判断该技术词汇J所有的节点Jb是否全部输出为TRUE,若是,则将该技术词汇J作为预测热点的备选;对于备选的技术词汇J,据前述的有向图选定其对应的前节点Jf,判断其对应的前节点是否全部位于集合K,若是在判断技术词汇J为预测热点。在本专利技术的一些实施例中,根据所述多源数据筛选技术词汇和应用词汇包括:采用TF-IDF算法对多源数据的文档进行分析提取得到侯选关键词。在本专利技术的一些实施例中,TF-IDF算法包括:利用jieba分词工具包对文档的摘要和全文进行分词,并去除掉无意义的无关词语;统计每个词语出现的文档数,将一单词wi出现的文档数记为Ni,总文档数记为N,则wi的IDF值为对任一篇文档tj来说,wi在tj中出现的次数记为TF(wi,tj),则wi相对于文档tj的TF-IDF值为TF-IDF(wi,tj)=TF(wi,tj)*IDF(wi),对每篇文档中的单词计算其TF-IDF值,按照其大小排列,每篇文档选取最高的k个TF-IDF值可以得到每篇文档的k个关键词,所述候选关键词包括获得的每篇文档的关键词。在本专利技术的一些实施例中,根据所述多源数据筛选技术词汇和应用词汇还包括:对所述候选关键词进行筛选获得技术词汇和应用词汇。在本专利技术的一些实施例中,获取多源数据包括利用网络爬虫爬取学术论文和科技新闻数据。从上述技术方案可以看出,本专利技术具有以下有益效果:基于多源数据中的词汇的依赖关系预测热点技术,具有预测时效性,且预测准确率高;根据序列匹配算法挖掘词汇之间的依赖关系,去除了人为干扰因素,提高预测准确率;本专利技术预测热点技术的方法主要采用了客观的计算方式,适用于应用计算机完成。附图说明图1为本专利技术一实施例中基于多源数据的热点技术预测方法的流程图;图2为本专利技术一实施例中相关词汇出现比例的时序序列的示例图;图3为本专利技术实施例的有向图的一个示例图。具体实施方式本专利技术某些实施例于后方将参照所附附图做更全面性地描述,其中一些但并非全部的实施例将被示出。实际上,本专利技术的各种实施例可以许多不同形式实现,而不应被解释为限于此数所阐述的实施例;相对地,提供这些本文档来自技高网
...

【技术保护点】
1.一种基于多源数据的热点技术预测方法,其中,包括:获取多源数据;根据所述多源数据筛选技术词汇和应用词汇;针对每一所述技术词汇和应用词汇,按照时间统计其在所述多源数据中出现的比例得到一时序序列;挖掘技术词汇和技术词汇之间以及技术词汇和应用词汇之间的依赖关系,根据所述依赖关系构建有向图;以及根据所述时序序列和有向图据预测热点技术。

【技术特征摘要】
1.一种基于多源数据的热点技术预测方法,其中,包括:获取多源数据;根据所述多源数据筛选技术词汇和应用词汇;针对每一所述技术词汇和应用词汇,按照时间统计其在所述多源数据中出现的比例得到一时序序列;挖掘技术词汇和技术词汇之间以及技术词汇和应用词汇之间的依赖关系,根据所述依赖关系构建有向图;以及根据所述时序序列和有向图据预测热点技术。2.根据权利要求1所述的热点技术预测方法,其中,根据序列匹配算法挖掘所述依赖关系,第一词汇的序列P和第二词汇的序列Q之间的互相关函数R(t)为:其中,P=[p1,p2,p3,...,pm]和Q=[q1,q2,q3,...,qm],P(i)和R(i)分别表示相应词汇在相应序列上第i个位置在数据资源中出现的比例值,i为任一整数,m为正整数,当1≤i≤m时,P(i)=qi,Q(i)=qi,当i<1或i>m时,相应的值P(i)和Q(i)均为0,R(t)表示将序列P平移t个时间单位后与序列Q的相关性,根据第一词汇的序列P和第二词汇的序列Q之间的互相关函数R(t)计算两序列之间的最佳匹配位置tp和最佳响应RPQ:tp=argmaxtR(t),RPQ=maxtR(t)。3.根据权利要求2所述的热点技术预测方法,其中,挖掘技术词汇和技术词汇之间以及技术词汇和应用词汇之间的依赖关系,根据所述依赖关系构建有向图包括:针对每一技术词汇,选取与其时序序列之间具有最大的M个最佳匹配位置和最佳响应的时序序列对应的词汇作为与该技术词汇有相似性和依赖性的技术词汇或者应用词汇;根据该技术词汇与选取的技术词汇或者应用词汇之间的最佳匹配位置构建该技术词汇与选取的技术词汇或者应用词汇之间的箭头连线,若该技术词汇与选取的技术词汇或者应用词汇之间的最佳匹配位置为正,则箭头指向选取的技术词汇或者应用词汇,若该技术词汇与选取的技术词汇或者应用词汇之间的最佳匹配位置为负,则箭头指向该技术词汇,构建所述有向图。4.根据权利要求3所述的热点技术预测方法,其中,根据所述时序序列和有向图据预测热点技术包括:利用ISHOT算法在筛选出的应用词汇中选择正在或者即将成为热点的应用,并记它们构成的集合为K={k1,k2,k3,......};以及利用热点技术预判算法预测即将成为...

【专利技术属性】
技术研发人员:刘淇陈恩红曾宪宇武晗朱洪渊
申请(专利权)人:中国科学技术大学
类型:发明
国别省市:安徽,34

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1