文件同步的方法、系统及设备技术方案
【技术实现步骤摘要】
文件同步的方法、系统及设备
本专利技术涉及数据处理技术，尤其涉及文件同步的方法、系统及设备。
技术介绍
各个源服务器产生文件数据后，需要将文件数据大规模的传输给目的服务器，由目的服务器对文件数据进行集中处理，获得需要的信息。所述文件数据可具体为用户对网页上各展示内容的浏览记录，所述展示内容例如为网页上的新闻信息、体育信息、广告信息等。源服务器将文件数据传输目的服务器，以及目的服务器对写入的文件数据进行处理的过程，为文件同步的过程。下面对该过程进行详细说明：目的服务器包括目的数据源接收单元和数据处理单元；源服务器按照现有的传输机制将产生的文件数据传输给目的数据源接收单元，目的数据源接收单元接收源服务器传输的文件数据，存储文件数据，并生成传输日志，该传输日志包含写入的文件数据的文件名以及相应的写入时间点等信息；数据处理单元从目的数据源接收单元读取文件数据，进行数据处理，且删除目的数据源接收单元中存储的相应文件数据。为了对目的数据源接收单元中已经处理的文件数据和还未处理的文件数据进行区别，数据处理单元从目的数据源接收单元读取文件数据后，便删除目的数据源接收单元中存储的相...
【技术保护点】
一种文件同步的方法，其特征在于，该方法包括：目的数据源接收单元接收源服务器传输的文件数据，存储文件数据，并生成传输日志；目的数据源拷贝单元从传输日志中获取已接收的文件数据的文件名，拷贝目的数据源接收单元中存储的相应文件数据，进行存储；数据处理单元从目的数据源拷贝单元读取文件数据，进行数据处理。
【技术特征摘要】
1.一种文件同步的方法，应用于目的服务器，其特征在于，所述目的服务器包括：目的数据源接收单元、目的数据源拷贝单元和数据处理单元；该方法包括：所述目的数据源接收单元接收源服务器传输的文件数据，存储文件数据，并生成传输日志；其中，所述文件数据为所述目的数据源接收单元中未存储的文件数据；所述目的数据源拷贝单元从传输日志中获取已接收的文件数据的文件名，拷贝目的数据源接收单元中存储的相应文件数据，进行存储；所述数据处理单元从目的数据源拷贝单元读取文件数据，进行数据处理，并删除所述目的数据源拷贝单元中存储的相应文件数据。2.如权利要求1所述的方法，其特征在于，所述目的数据源接收单元生成传输日志时，该方法还包括：目的数据源接收单元判断文件数据是否传输完毕，如果是，则将锁标识设置为传输完毕，否则将锁标识设置为正在传输；所述目的数据源拷贝单元从传输日志中获取已接收的文件数据的文件名之前，该方法还包括：目的数据源拷贝单元对所述锁标识进行判断，如果锁标识为传输完毕，则执行所述从传输日志中获取已经传输完毕的文件数据的文件名的步骤；如果为锁标识为正在传输，则等到锁标识设置为传输完毕才执行所述从传输日志中获取已经传输完毕的文件数据的文件名的步骤。3.如权利要求1所述的方法，其特征在于，所述文件数据为用户对网页上各展示内容的浏览记录。4.一种文件同步的系统，其特征在于，该系统包括源服务器和目的服务器，所述目的服务器包括目的数据源接收单元、目的数据源拷贝单元和数据处理单元；所述源服务器，用于向所述目的数据源接收单元传输所述目的数据源接收单元中未存储的文件数据；所述目的数据源接收单元，用于接收所述源服务器传输的文件数据，存储文件数据，并生成传输日志；所述目的数据源拷...
【专利技术属性】
技术研发人员：王颉，伍刘，徐盎，赵宏宇，
申请(专利权)人：腾讯科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。