本申请涉及数据处理技术领域,尤其涉及一种舆情数据的查询方法及相关装置。本申请提供的技术方案由舆情数据查询系统执行,舆情数据查询系统接收查询条件信息,查询条件信息用于查询目标舆情数据,根据查询条件信息,在数据库中查询目标舆情数据的概要信息,概要信息包括除目标舆情数据的正文文件以外的数据信息,从文件服务器中查询目标舆情数据的正文文件,显示目标舆情数据的查询结果,查询结果包括目标舆情数据的概要信息和正文文件。本申请提供的技术方案,提高了舆情数据的查询效率,降低了舆情数据的查询成本。了舆情数据的查询成本。了舆情数据的查询成本。
【技术实现步骤摘要】
舆情数据的查询方法及相关装置
[0001]本申请涉及数据处理
,尤其涉及一种舆情数据的查询方法及相关装置。
技术介绍
[0002]企业舆情信息,通常是来自于互联网的非结构化的数据。但是企业内部使用的舆情数据通常是外部采购的、由第三方机构收集和加工后的结构化数据,包括了标题、正文、来源、情感色彩判定等字段。企业舆情数据具有数据量大、单条数据占用存储空间大等特点。
[0003]对于中小型企业信息查询类系统,通常使用关系型数据库(Mysql数据库)完成对企业舆情数据的联机查询,但Mysql数据库通常具有单数据库和单数据表的容量限制,超出该容量限制则会导致数据库并发性能的急剧下降。舆情类数据通常包含正文、标题等大信息量数据,由Mysql数据库直接进行大数据表的联机查询不仅使得查询性能低下,甚至会影响系统的整体稳定,导致其他功能无法正常使用。
[0004]目前,企业信息查询类系统对企业舆情数据执行查询功能时,主要通过合理的分库、分表来分散系统的性能压力。例如,将大数据量表根据预设规则,较为均匀的拆分为多个数据库的多张数据库表,如按照企业舆情数据的获取日期的尾号进行拆分等,为前端应用设备配置多个数据源,对应拆分后的多个数据库和数据库表,根据接收的查询条件,从不同的数据库和数据库表中查询数据,前端应用设备对查询到的数据进行拼接,得到查询结果集并进行展示。但拆分数据库或数据库表增加了数据库服务器的资源成本,增加了批量程序的时间复杂度,拼接结果集耗费了大量的计算资源和内存。
[0005]因此,如何提高企业舆情数据的查询效率并降低查询成本成为了亟待解决的问题。
技术实现思路
[0006]本申请提供了一种舆情数据的查询方法及相关装置,提高了舆情数据的查询效率,降低了舆情数据的查询成本。
[0007]第一方面,本申请提供一种舆情数据的查询方法,所述方法由舆情数据查询系统执行,所述方法包括:接收查询条件信息,所述查询条件信息用于查询目标舆情数据;根据所述查询条件信息,在数据库中查询所述目标舆情数据的概要信息,所述概要信息包括除所述目标舆情数据的正文文件以外的数据信息;从文件服务器中查询所述目标舆情数据的正文文件;显示所述目标舆情数据的查询结果,所述查询结果包括所述目标舆情数据的概要信息和正文文件。
[0008]本方法中,舆情数据查询系统根据接收的查询条件信息从数据库中查询目标舆情数据的概要信息,从文件服务器中查询目标舆情数据的正文文件,并将查询到的概要信息和正文文件作为目标舆情数据的查询结果。相比于从多个不同的数据库和数据库表中查询数据,再对查询到的数据进行拼接,得到查询结果集并进行展示,节约了数据库服务器的资
源成本,降低了批量程序的时间复杂度,提高了舆情数据的查询效率,降低了查询成本。
[0009]在一种可能的实现方式中,所述方法还包括:导出所述舆情数据的正文文件;将所述舆情数据的正文文件保存至所述文件服务器中;生成舆情正文文件对照表,所述舆情正文文件对照表包括所述舆情数据的正文文件标识符和正文文件路径。
[0010]该实现方式中,将舆情数据的正文文件导出并保存至文件服务器中,并将文件服务器返回的正文文件标识和正文文件路径生成为舆情债正文文件对照表,以便后续根据接收的查询条件信息查询目标舆情数据的正文文件,充分发挥了文件服务器的索引优势。另外,将舆情数据的概要信息等结构化轻量数据存储于数据库中,节约了数据库空间,使宝贵的联机资源得以最大化利用,避免了多数据库交互带来的处理复杂度升高和性能损耗,节约了资源成本。
[0011]在一种可能的实现方式中,所述从文件服务器中查询所述目标舆情数据的正文文件,包括:根据所述目标舆情数据的正文文件标识和正文文件路径,从所述文件服务器中查询所述目标舆情数据的正文文件。
[0012]该实现方式中,根据目标舆情数据的正文文件标识和正文文件路径,从文件服务器中查询目标舆情数据的正文文件,提高了目标舆情数据的正文文件的查询效率。
[0013]在一种可能的实现方式中,所述方法还包括:判断搜索引擎服务是否可用;在所述搜索引擎服务可用的情况下,通过搜索引擎查询所述目标舆情数据,得到所述目标舆情数据的查询结果。
[0014]该实现方式中,判断搜索引擎服务是否可用,在搜索引擎不可用的情况下,通过数据库进行较为简单地标题、摘要、关键字等信息的本地查询;在搜索引擎服务可用的情况下,通过搜索引擎实现正文、标题等信息的全文检索,灵活满足用户需求。
[0015]在一种可能的实现方式中,所述方法还包括:生成所述舆情数据的搜索引擎索引源文件;通过所述搜索引擎根据所述搜索引擎索引源文件,创建所述舆情数据的搜索索引;通过所述搜索引擎根据所述搜索索引查询所述目标舆情数据,得到所述目标舆情数据的查询结果。
[0016]该实现方式中,通过搜索引擎根据搜索引擎索引源文件,创建舆情数据的搜索索引,并根据该搜索索引查询目标舆情数据,得到目标舆情数据的查询结果,提高了通过搜索引擎查询目标舆情数据的查询效率。
[0017]在一种可能的实现方式中,所述数据库为关系型数据库。
[0018]第二方面,本申请提供一种舆情数据的查询装置,所述装置包括:接收模块,用于接收查询条件信息,所述查询条件信息用于查询目标舆情数据;查询模块,用于根据所述查询条件信息,在数据库中查询所述目标舆情数据的概要信息,所述概要信息包括除所述目标舆情数据的正文文件以外的数据信息;所述查询模块,还用于从文件服务器中查询所述目标舆情数据的正文文件;显示模块,用于显示所述目标舆情数据的查询结果,所述查询结果包括所述目标舆情数据的概要信息和正文文件。
[0019]在一种可能的实现方式中,所述装置还包括导出模块、保存模块和生成模块;所述导出模块,用于导出所述舆情数据的正文文件;所述保存模块,用于将所述舆情数据的正文文件保存至所述文件服务器中;所述生成模块,用于生成舆情正文文件对照表,所述舆情正文文件对照表包括所述舆情数据的正文文件标识符和正文文件路径。
[0020]在一种可能的实现方式中,所述查询模块具体用于:根据所述目标舆情数据的正文文件标识和正文文件路径,从所述文件服务器中查询所述目标舆情数据的正文文件。
[0021]在一种可能的实现方式中,所述装置还包括判断模块;所述判断模块,用于判断搜索引擎服务是否可用;所述查询模块,还用于在所述搜索引擎服务可用的情况下,通过搜索引擎查询所述目标舆情数据,得到所述目标舆情数据的查询结果。
[0022]在一种可能的实现方式中,所述装置还包括生成模块和创建模块;所述生成模块,用于生成所述舆情数据的搜索引擎索引源文件;所述创建模块,用于通过所述搜索引擎根据所述搜索引擎索引源文件,创建所述舆情数据的搜索索引;所述查询模块,还用于通过所述搜索引擎根据所述搜索索引查询所述目标舆情数据,得到所述目标舆情数据的查询结果。
[0023]在一种可能的实现方式中,所述数据库为关系型数据库。
[0024]第二方面及第二方本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种舆情数据的查询方法,其特征在于,所述方法由舆情数据查询系统执行,所述方法包括:接收查询条件信息,所述查询条件信息用于查询目标舆情数据;根据所述查询条件信息,在数据库中查询所述目标舆情数据的概要信息,所述概要信息包括除所述目标舆情数据的正文文件以外的数据信息;从文件服务器中查询所述目标舆情数据的正文文件;显示所述目标舆情数据的查询结果,所述查询结果包括所述目标舆情数据的概要信息和正文文件。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:导出所述舆情数据的正文文件;将所述舆情数据的正文文件保存至所述文件服务器中;生成舆情正文文件对照表,所述舆情正文文件对照表包括所述舆情数据的正文文件标识符和正文文件路径。3.根据权利要求2所述的方法,其特征在于,所述从文件服务器中查询所述目标舆情数据的正文文件,包括:根据所述目标舆情数据的正文文件标识和正文文件路径,从所述文件服务器中查询所述目标舆情数据的正文文件。4.根据权利要求1所述的方法,其特征在于,所述方法还包括:判断搜索引擎服务是否可用;在所述搜索引擎服务可用的情况下,通过搜索引擎...
【专利技术属性】
技术研发人员:李锟,王令则,孙琳,李谨秀,刘春波,狄晓帆,
申请(专利权)人:中国农业银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。