一种基于移动平台的计算机辅助记忆方法技术

本发明专利技术提供了一种基于移动平台的计算机辅助记忆方法，涉及计算机辅助记忆领域，使用可穿戴设备记录影像，并将影像传输和存储在服务器中，对影像进行结构化处理后，可在电脑端和移动端按时间查询影像记录。本发明专利技术将重要会议等影像录制并存储在服务器中，对视频进行结构化处理，并进行时间、地点和事件信息的文本标注。当用户需要检索某些信息时，向系统输入影像的大概时间，返回相应的图像、视频和文本信息；用户查看相关信息后，若认为此段影像不需要保存，可以选择删除相关信息；若认为需要修改相关的标注信息，则可以进行修改操作，系统会将对应的操作传回服务器中，用户通过对录制影像信息的查询、修改和删除，达到辅助记忆的目的。

【技术实现步骤摘要】
一种基于移动平台的计算机辅助记忆方法
本专利技术涉及计算机辅助记忆领域，尤其是一种对于影响数据的辅助记忆方法。
技术介绍
视频检索是智能视频处理的重要组成部分，在信息查找、视频监控和人们日常生活中发挥着重要的作用。随着科学技术的迅速发展，人们的工作压力逐渐增大，在参加重要会议、小组讨论等场合时，很难记录全部的重要信息。若使用可穿戴设备记录重要事件的影像，并传输和存储在服务器中，当用户需要提取某段信息时，可在电脑端和移动端按时间查询影像记录，这将大大提高工作效率，节约用户时间。基于内容的视频检索系统已获得广泛的研究，涌现了许多相关的解决方案。例如，由IBM研究中心开发的QBIC(QueryByImageContent)系统是较早开发成功的基于内容的图像和视频检索系统，系统提取视频的颜色、纹理和运动物体等特征保存至数据库中，当用户输入对视频的描述等相关信息时，系统对输入信息进行分析并与数据库比较，找出最相似的视频提供给用户。该系统虽然实现了强大的检索功能，但是无法进行日常工作或生活中的影像记录，并且系统庞大，对于个人的影像记录与查询极不方便。可穿戴设备(如录像眼镜)的出现使得记录日常个人的影像十分方便，我们可以定时将记录的影像导入服务器(一般为电脑端)，供用户查询使用。人们通常会在电脑端和移动端查询影像记录，若在电脑端查询，只需将影像按时间显示给用户即可。然而随着移动设备的发展，人们更偏向在移动端处理信息，此时则需要考虑服务器(电脑端)与移动端的交互，实现移动平台上的实时信息查询。
技术实现思路
为了克服现有技术的不足，本专利技术提供一种基于Android平台的计算机辅助记忆方法，使用可穿戴设备记录影像，并将影像传输和存储在服务器中，对影像进行结构化处理后，可在电脑端和移动端按时间查询影像记录。本专利技术解决其技术问题所采用的技术方案包括下述步骤：步骤一、将树莓派与便携式录像设备相连接，打开摄像头录取影像，将所录取影像存储在树莓派的内存硬盘中；步骤二、影像录取完成后，将存储在树莓派的录取影像使用数据线导入服务器中，在服务器上把整段影像分割为播放长度10分钟为一段的影像片段，同时保留影像片段的实际录制时间，然后对每个影像片段标注出所对应的地点和事件信息，并存储在文本文件中，作为标注文本数据，该数据库中的每个影像片段均含四个字段：影像片段的开始时间点，影像片段的结束时间点，影像片段所在目录索引和影像片段的描述信息，所述的影像片段所在目录索引为影像的一个唯一对应的编码，影像片段的描述信息为所标注的地点和事件信息，由此建立一个关系型数据库，数据库建立之后，使用数据库中的sql语句将影像片段和标注文本数据按影像片段的实际录制时间顺序插入数据库中；步骤三、使用Android开发平台开发用于和用户交互的客户端App程序，客户端App程序包括用户检索信息的输入，文本信息的展示、修改与删除，关键帧的展示和短视频的播放与删除；用户输入需检索视频片段的时间信息，时间信息包含为所需查询的日期、小时和分钟，客户端获取用户的时间信息后，通过Socket通信技术将请求服务器检索图片的操作信息和用户输入的时间信息传给服务器端，服务器端解析接收到的信息得到需要执行的操作类型和时间信息，查询用户时间信息所对应的影像片段以及该影像片段前后的各两个影像片段，然后分别提取符合所检索时间信息的五个影像片段中，每个影像片段的中间时刻的一帧图片，将五帧图片使用Socket通信技术传回客户端，客户端使用Socket通信技术接收并将图片展示给用户查看，此时用户可查看其输入的检索时间对应的影像片段和及该影像片段前后各两个片段中的一帧图片，同时客户端监听用户是否点击图片，如果用户点击图片，客户端通过Intent方法进入展示界面，并通过与服务器的交互在展示界面上展示用户所点击图片所对应的时间、地点和事件信息，同时用户在展示界面可修改图片的地点和事件信息，以及删除或播放图片在数据库中所属的影像片段：若监听到用户产生修改事件，客户端通过Intent方法进行修改，用户输入地点和事件相关的修改内容，当用户修改完成后，客户端将修改操作的请求和修改内容传递给服务器端，由服务器端执行修改；若监听到客户产生删除事件，Socket通信技术将该删除信息传回服务器端，由服务器端删除要求所对应的影像片段；若监听到用户产生影像播放事件，客户端进入播放影像界面，通过Intent方法，并通过Socket通信向服务器端请求该图片所对应的整段影像，并在展示影像的界面播放影像；步骤四、在服务器上使用Java开发平台开发基于Windows平台的用于执行用户指令的服务器端程序；服务器端与客户端使用基于局域网的Socket程序进行通信，服务器端接收客户端发送的包括请求执行的操作类型和用于识别视频片段的时间信息的字符串，并解析该字符串确定需要执行的操作和时间信息，之后通过sql语句访问步骤2建立的数据库，如果解析到检索请求，服务器端通过sql判断语句在数据库中进行输入时间信息与影像片段的比对，查询该时间信息所对应的影像片段以及该影像片段前后的各两个影像片段，然后分别提取以上五个影像片段中间时刻的一帧图片，通过socket通信技术将提取的五帧图片传回客户端；如果解析到发送图片所对应标注文本的请求，服务器端通过sql语句从数据库中提取解析到的时间信息所属影像片段的标注文本，并通过socket通信传回客户端；如果解析到修改标记文本请求，服务器端通过sql语句从数据库中提取对应标注文本进行修改；如果解析到删除视频请求，服务器端通过sql语句从数据库中查找相应影像片段并删除；如果解析到发送视频请求，服务器端通过sql语句从数据库中提取对应影像片段，并通过socket通信传回客户端；步骤五、辅助记忆系统的安装和使用；在Android平台上安装客户端程序，在Windows平台上运行服务器端程序，当用户输入所需检索的时间信息时，服务器端返回时间信息所对应的影像片段和标注文本信息，用户可对返回的影像片段和标注文本信息进行查看、修改或删除操作，即可达到辅助记忆的目的。本专利技术的有益效果在于用户将重要会议等影像录制并存储在服务器中，对视频进行结构化处理，并进行时间、地点和事件信息的文本标注。当用户需要检索某些信息时，向系统输入影像的大概时间，返回相应的图像、视频和文本信息；用户查看相关信息后，若认为此段影像不需要保存，可以选择删除相关信息；若认为需要修改相关的标注信息，则可以进行修改操作，系统会将对应的操作传回服务器中。用户通过上述对录制影像信息的查询、修改和删除，达到辅助记忆的目的。附图说明图1为本专利技术的计算机辅助记忆系统工作流程图，其中实线箭头表示工作流，虚线箭头表示数据流。具体实施方式下面结合附图和实施例对本专利技术进一步说明。针对用于人们日常工作和生活场景中的辅助记忆，使用便于携带的可穿戴设备记录影像，本专利技术公开了一种基于移动平台的计算机辅助记忆技术。如今人们的工作日益繁忙，难以在有限的时间内记录全部的重要信息(如某公司新职员参加了一个重要会议，他需要尽可能地记录会议信息，并在会议结束后对会议信息进行学习；或是某职员在一天内会见了多个客户，且之后需要对会见客户的情况进行分析)，我们的计算机辅助记忆技术就可以帮助用户记录并处理信本文档来自技高网...

【技术保护点】
1.一种基于移动平台的计算机辅助记忆方法，其特征在于包括下述步骤：步骤一、将树莓派与便携式录像设备相连接，打开摄像头录取影像，将所录取影像存储在树莓派的内存硬盘中；步骤二、影像录取完成后，将存储在树莓派的录取影像使用数据线导入服务器中，在服务器上把整段影像分割为播放长度10分钟为一段的影像片段，同时保留影像片段的实际录制时间，然后对每个影像片段标注出所对应的地点和事件信息，并存储在文本文件中，作为标注文本数据，该数据库中的每个影像片段均含四个字段：影像片段的开始时间点，影像片段的结束时间点，影像片段所在目录索引和影像片段的描述信息，所述的影像片段所在目录索引为影像的一个唯一对应的编码，影像片段的描述信息为所标注的地点和事件信息，由此建立一个关系型数据库，数据库建立之后，使用数据库中的sql语句将影像片段和标注文本数据按影像片段的实际录制时间顺序插入数据库中；步骤三、使用Android开发平台开发用于和用户交互的客户端App程序，客户端App程序包括用户检索信息的输入，文本信息的展示、修改与删除，关键帧的展示和短视频的播放与删除；用户输入需检索视频片段的时间信息，时间信息包含为所需查询的日期、小时和分钟，客户端获取用户的时间信息后，通过Socket通信技术将请求服务器检索图片的操作信息和用户输入的时间信息传给服务器端，服务器端解析接收到的信息得到需要执行的操作类型和时间信息，查询用户时间信息所对应的影像片段以及该影像片段前后的各两个影像片段，然后分别提取符合所检索时间信息的五个影像片段中，每个影像片段的中间时刻的一帧图片，将五帧图片使用Socket通信技术传回客户端，客户端使用Socket通信技术接收并将图片展示给用户查看，此时用户可查看其输入的检索时间对应的影像片段和及该影像片段前后各两个片段中的一帧图片，同时客户端监听用户是否点击图片，如果用户点击图片，客户端通过Intent方法进入展示界面，并通过与服务器的交互在展示界面上展示用户所点击图片所对应的时间、地点和事件信息，同时用户在展示界面可修改图片的地点和事件信息，以及删除或播放图片在数据库中所属的影像片段：若监听到用户产生修改事件，客户端通过Intent方法进行修改，用户输入地点和事件相关的修改内容，当用户修改完成后，客户端将修改操作的请求和修改内容传递给服务器端，由服务器端执行修改；若监听到客户产生删除事件，Socket通信技术将该删除信息传回服务器端，由服务器端删除要求所对应的影像片段；若监听到用户产生影像播放事件，客户端进入播放影像界面，通过Intent方法，并通过Socket通信向服务器端请求该图片所对应的整段影像，并在展示影像的界面播放影像；步骤四、在服务器上使用Java开发平台开发基于Windows平台的用于执行用户指令的服务器端程序；服务器端与客户端使用基于局域网的Socket程序进行通信，服务器端接收客户端发送的包括请求执行的操作类型和用于识别视频片段的时间信息的字符串，并解析该字符串确定需要执行的操作和时间信息，之后通过sql语句访问步骤2建立的数据库，如果解析到检索请求，服务器端通过sql判断语句在数据库中进行输入时间信息与影像片段的比对，查询该时间信息所对应的影像片段以及该影像片段前后的各两个影像片段，然后分别提取以上五个影像片段中间时刻的一帧图片，通过socket通信技术将提取的五帧图片传回客户端；如果解析到发送图片所对应标注文本的请求，服务器端通过sql语句从数据库中提取解析到的时间信息所属影像片段的标注文本，并通过socket通信传回客户端；如果解析到修改标记文本请求，服务器端通过sql语句从数据库中提取对应标注文本进行修改；如果解析到删除视频请求，服务器端通过sql语句从数据库中查找相应影像片段并删除；如果解析到发送视频请求，服务器端通过sql语句从数据库中提取对应影像片段，并通过socket通信传回客户端；步骤五、辅助记忆系统的安装和使用；在Android平台上安装客户端程序，在Windows平台上运行服务器端程序，当用户输入所需检索的时间信息时，服务器端返回时间信息所对应的影像片段和标注文本信息，用户可对返回的影像片段和标注文本信息进行查看、修改或删除操作，即可达到辅助记忆的目的。...

【技术特征摘要】
1.一种基于移动平台的计算机辅助记忆方法，其特征在于包括下述步骤：步骤一、将树莓派与便携式录像设备相连接，打开摄像头录取影像，将所录取影像存储在树莓派的内存硬盘中；步骤二、影像录取完成后，将存储在树莓派的录取影像使用数据线导入服务器中，在服务器上把整段影像分割为播放长度10分钟为一段的影像片段，同时保留影像片段的实际录制时间，然后对每个影像片段标注出所对应的地点和事件信息，并存储在文本文件中，作为标注文本数据，该数据库中的每个影像片段均含四个字段：影像片段的开始时间点，影像片段的结束时间点，影像片段所在目录索引和影像片段的描述信息，所述的影像片段所在目录索引为影像的一个唯一对应的编码，影像片段的描述信息为所标注的地点和事件信息，由此建立一个关系型数据库，数据库建立之后，使用数据库中的sql语句将影像片段和标注文本数据按影像片段的实际录制时间顺序插入数据库中；步骤三、使用Android开发平台开发用于和用户交互的客户端App程序，客户端App程序包括用户检索信息的输入，文本信息的展示、修改与删除，关键帧的展示和短视频的播放与删除；用户输入需检索视频片段的时间信息，时间信息包含为所需查询的日期、小时和分钟，客户端获取用户的时间信息后，通过Socket通信技术将请求服务器检索图片的操作信息和用户输入的时间信息传给服务器端，服务器端解析接收到的信息得到需要执行的操作类型和时间信息，查询用户时间信息所对应的影像片段以及该影像片段前后的各两个影像片段，然后分别提取符合所检索时间信息的五个影像片段中，每个影像片段的中间时刻的一帧图片，将五帧图片使用Socket通信技术传回客户端，客户端使用Socket通信技术接收并将图片展示给用户查看，此时用户可查看其输入的检索时间对应的影像片段和及该影像片段前后各两个片段中的一帧图片，同时客户端监听用户是否点击图片，如果用户点击图片，客户端通过Intent方法进入展示界面，并通过与服务器的交互在展示界面上展示用户所点击图片所对应的时间、地点和事件信息，同时用户在展示界面可修改图片的地点和事件信息，以及删除或播放图片...

【专利技术属性】
技术研发人员：夏勇，杨战波，张艳宁，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西,61