一种科技数据挖掘与决策辅助系统技术方案

本发明专利技术涉及数据挖掘与决策辅助技术领域，具体涉及一种科技数据挖掘与决策辅助系统，包括数据检索模块

【技术实现步骤摘要】
一种科技数据挖掘与决策辅助系统


[0001]本专利技术涉及数据挖掘与决策辅助
，尤其涉及一种科技数据挖掘与决策辅助系统
。

技术介绍

[0002]科技创新作为推动社会经济发展的重要引擎，需要依赖大量的数据支持，在当前科技活动中，数据已经成为了一种宝贵的资源，然而，由于科技数据的分散性
、
复杂性以及质量问题等因素，使得科技数据资源的价值不能充分发挥，同时也加大了数据的管理和应用的难度
。
[0003]现有的科技数据处理和应用系统，虽然在一定程度上可以实现对科技数据的收集
、
整理和存储，但由于功能单一
、
处理能力有限，难以满足大规模
、
多源
、
复杂的科技数据处理需求，此外，这些系统往往缺乏对科技数据深度挖掘和分析的能力，难以实现从海量数据中提取有价值的信息和知识，以支持科技创新和决策
。
[0004]针对以上问题，本研究旨在建立一种科技数据挖掘与决策辅助系统，这种系统旨在统一管理各部门应用系统的共性数据和业务数据，减轻各部门应用系统数据结构设计与数据采集的工作量，同时保证数据的可持续更新与妥善存储
。

技术实现思路

[0005]基于上述目的，本专利技术提供了一种科技数据挖掘与决策辅助系统
。
[0006]一种科技数据挖掘与决策辅助系统，包括数据检索模块
、
数据库
、
数据处理模块
、
数据检测模块<br/>、
科技大数据平台和安全模块；其中，
[0007]数据检索模块：用于检索用户输入信息，与大数据平台内存储的相关数据进行对比，找到相关的技术信息，并生成知识图谱进行展示；
[0008]数据库：通过采用
Mysql
数据库进行大量原始数据的分布式储存；
[0009]数据处理模块：对同类型不同来源的数据进行整合和对数据进行预处理；
[0010]数据检测模块：用于动态监测业务时间和收录时间对大数据平台内的数据增长情况进行动态统计；
[0011]科技大数据平台：用于建立大数据的管理辅助决策服务平台，对科技领域资源数据进行快速
、
高效和准确的处理，满足基于数据的科学应用和优化决策要求；
[0012]安全模块：用于确保输入安全
、
数据库安全和上传安全
。
[0013]进一步的，所述数据检索模块包括机构画像子模块
、
人才画像子模块和技术画像子模块；其中，
[0014]机构画像模型：用于通过输入机构名称检索大数据平台中对应的机构信息，与平台内信息进行关联查询，最终得到机构的基本画像与评分；
[0015]人才画像模型：用于通过输入学者姓名，检索到大数据平台中对应的学者信息；
[0016]技术画像模型：用于通过用户键入的多种技术组合，与大数据平台内存储的相关
数据进行对比，找到相关的技术信息，生成知识图谱进行展示
。
[0017]进一步的，所述
Mysql
数据库将对大量原始数据进行分布式储存，对同类型不同来源的数据进行单独存储，保证各种来源数据的完整性，对于十万条记录以上的数据，进行分表存储，利用横向分割和纵向分割的方式完成数据存储
。
[0018]进一步的，所述数据库还包括
OCR
图像识别技术，该
OCR
图像识别技术将扫描数据转化为电子化无格式数据，再利用
NLP
自然语言处理技术将无格式数据处理为格式化数据，最终得到需要的结果并录入底层数据库
。
[0019]进一步的，所述数据检测模块包括数据监测模型中首先处理各来源数据的样板数据，通过分类汇总样板数据进行底层数据库搭建，得到完善的底层数据库后，将数据分别汇入对应的数据表中，得到初步清理过的数据库后，观察分析数据内容，得到较为明显的冗余数据
、
错误数据
、
脏数据的出现规律，针对这些数据完善数据清洗算法，再次清理数据库
。
[0020]进一步的，所述科技大数据平台包括
N
‑
Tier
多层架构，该
N
‑
Tier
多层架构基于
MVC
模式，采用
Nginx+PHP+Mysql
的框架组合来构建系统，通过采用多种轻量级技术，降低管理开销，轻量级的大系统框架，使得系统能够支撑大用户量并发的访问以及各类业务
。
[0021]进一步的，所述科技大数据平台还包括
n
‑
tier
的逻辑架构，其中，采用
n
层架构的目的是获得高性能
Performance、
高扩展性
Scalability、
高安全性
Security、
和高容错性，
Fault tolerance。
[0022]进一步的，所述安全模块中的输入安全具体为：
[0023]1)
设置
public
目录为唯一对外访问目录，不能把资源文件放入到应用目录；
[0024]2)
使用框架提供的请求变量获取方法
(Request
类的
param
方法及
input
助手函数
)
而不是原生系统变量获取用户输入的数据；
[0025]3)
使用验证类或者验证方法对业务数据设置必要的验证规则；
[0026]4)
设置安全过滤函数对用户输入的数据进行过滤处理；
[0027]数据库安全具体为：
[0028]1)
尽量少使用字符串查询条件，如果不得以的情况下，使用手动参数绑定参数；
[0029]2)
不要让用户输入决定要查询或者写入的字段；
[0030]3)
对于敏感数据在输出的时候使用
hidden
方法进行隐藏；
[0031]4)
对于数据的写入操作应当做好权限检查工作；
[0032]5)
写入数据严格使用
field
方法限制写入字段；
[0033]6)
对于需要输出到页面的数据做好必要的
XSS
过滤；
[0034]上传安全具体为：
[0035]对上传的文件进行安全性验证，系统的
think\file
提供了文件上传的安全支持，所述安全支持包括对文件后缀
、
文件类型
、
文件大小及上传图片文件的合法性检查，确保在上传操作中启用了这些合法性检查
。
[0036]进一步的，所述安全模块还包括：对所有公共的操作方法做必要的安全检查，防止本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种科技数据挖掘与决策辅助系统，其特征在于，包括数据检索模块
、
数据库
、
数据处理模块
、
数据检测模块
、
科技大数据平台和安全模块；其中，数据检索模块：用于检索用户输入信息，与大数据平台内存储的相关数据进行对比，找到相关的技术信息，并生成知识图谱进行展示；数据库：通过采用
Mysql
数据库进行大量原始数据的分布式储存；数据处理模块：对同类型不同来源的数据进行整合和对数据进行预处理；数据检测模块：用于动态监测业务时间和收录时间对大数据平台内的数据增长情况进行动态统计；科技大数据平台：用于建立大数据的管理辅助决策服务平台，对科技领域资源数据进行快速
、
高效和准确的处理，满足基于数据的科学应用和优化决策要求；安全模块：用于确保输入安全
、
数据库安全和上传安全
。2.
根据权利要求1所述的一种科技数据挖掘与决策辅助系统，其特征在于，所述数据检索模块包括机构画像子模块
、
人才画像子模块和技术画像子模块；其中，机构画像模型：用于通过输入机构名称检索大数据平台中对应的机构信息，与平台内信息进行关联查询，最终得到机构的基本画像与评分；人才画像模型：用于通过输入学者姓名，检索到大数据平台中对应的学者信息；技术画像模型：用于通过用户键入的多种技术组合，与大数据平台内存储的相关数据进行对比，找到相关的技术信息，生成知识图谱进行展示
。3.
根据权利要求1所述的一种科技数据挖掘与决策辅助系统，其特征在于，所述
Mysql
数据库将对大量原始数据进行分布式储存，对同类型不同来源的数据进行单独存储，保证各种来源数据的完整性，对于十万条记录以上的数据，进行分表存储，利用横向分割和纵向分割的方式完成数据存储
。4.
根据权利要求1所述的一种科技数据挖掘与决策辅助系统，其特征在于，所述数据库还包括
OCR
图像识别技术，该
OCR
图像识别技术将扫描数据转化为电子化无格式数据，再利用
NLP
自然语言处理技术将无格式数据处理为格式化数据，最终得到需要的结果并录入底层数据库
。5.
根据权利要求1所述的一种科技数据挖掘与决策辅助系统，其特征在于，所述数据检测模块包括数据监测模型中首先处理各来源数据的样板数据，通过分类汇总样板数据进行底层数据库搭建，得到完善的底层数据库后，将数据分别汇入对应的数据表中，得到初步清理过的数据库后，观察分析数据内容，得到较为明显的冗余数据
、
错误数据
、
脏数据的出现规律，针对这些数据完善数据清洗算法，再次清理数据库
。6.
根据权利要求1所述的一种科技数据挖掘与决策辅助系统，其特征在于，所述科技大数据平台包括
N
‑
Tier
多层架构，该
N
‑
Tier
多层架构基于
MVC
模式，采用
Nginx+PHP+Mysql
的框架组合来构建系统，通过采用多种轻量级技术，降低管理开销，轻量级的大系统框架，使得系统能够支撑大用户量并发的访问以及各类业务
。7.
根据权利要求1所述的一种科技数据挖掘与决策辅助系统，其特征在于，所述科技大数据平台还包括
n
‑
tier
的逻辑架构，其中，采用
n
层架构的目的是获得高性能
Pe...

【专利技术属性】
技术研发人员：吴浩，朱莉华，李冰，李廷鹃，
申请(专利权)人：青海省科学技术信息研究所有限公司，
类型：发明
国别省市：