一种基于卷积神经网络的眼球移动预测方案制造技术

本发明专利技术公开了一种满足基于卷积神经网络对于眼球追踪实现的技术。其特征在于在构造中利用了卷积神经网络对于人脸识别的技术，在识别的过程中，将数据再次处理化，使其在眼球追踪中能得到良好的体现，同时在效率和精确方面优于现有的眼球追踪技术，也解决VR中眼球点渲染的难题。本发明专利技术分为以下七个步骤：数据的预处理，卷积神经网络的建立，训练数据集，数据集的二次处理，利用当前模型预测测试集，测试后的数据相转化，实行点渲染。

A prediction scheme for eyeball movement based on convolution neural network

The invention discloses a technique that satisfies the realization of eye tracking based on the convolution neural network. Characterized by a convolutional neural network for face recognition technology in the construction, in the process of identification, data processing again, make it get good reflected in eye tracking can, at the same time tracking technology in efficiency and precision is better than the existing eye, also solve the problem of eye rendering in VR. The invention is divided into seven steps: data preprocessing, convolution neural network establishment, training data set, data set's two processing, using the current model to predict test set, transforming data after testing, and implementing point rendering.

【技术实现步骤摘要】
一种基于卷积神经网络的眼球移动预测方案
本专利技术属于卷积神经网络中图像处理领域，应用于眼球追踪的方案，具体地讲，是一种通过卷积神经网络识别人脸中的关键点，然后通过关键点相对位置进行移动预测的方法。
技术介绍
卷积神经网络(CNN)是一种常见的深度学习架构，受生物自然视觉认知机制启发而来。1959年，Hubel&Wiesel发现，动物视觉皮层细胞负责检测光学信号。受此启发，1980年KunihikoFukushima提出了CNN的前身——neocognitron。20世纪90年代，LeCunetal.[3]等人发表论文，确立了CNN的现代结构，后来又对其进行完善。他们设计了一种多层的人工神经网络，取名叫做LeNet-5，可以对手写数字做分类。和其他神经网络一样，LeNet-5也能使用backpropagation算法训练。CNN能够得出原始图像的有效表征，这使得CNN能够直接从原始像素中，经过极少的预处理，识别视觉上面的规律。然而，由于当时缺乏大规模训练数据，计算机的计算能力也跟不上，LeNet-5对于复杂问题的处理结果并不理想。2006年起，人们设计了很多方法，想要克服难以本文档来自技高网...

【技术保护点】
本专利技术公开了一种满足基于卷积神经网络对于眼球追踪实现的技术。其特征在于在构造中利用了卷积神经网络对于人脸识别的技术，在识别的过程中，将数据再次处理化，使其在眼球追踪中能得到良好的体现，同时在效率和精确方面优于现有的眼球追踪技术，也解决VR中眼球点渲染的难题，本专利技术分为以下七个步骤：(1)、数据预处理：kaggle库，96*96个像素的图片库；(2)、卷积神经网络的建立：为人脸关键位置的识别建立模型；(3)、训练数据集：读取数据样本；(4)、数据集的二次处理：将训练好的数据再进行二次处理，标识眼球的移动方向，以及头部偏转眼球移动的方向；(5)、利用当前模型预测测试集：对于建立好的模型，将...

【技术特征摘要】
1.本发明公开了一种满足基于卷积神经网络对于眼球追踪实现的技术。其特征在于在构造中利用了卷积神经网络对于人脸识别的技术，在识别的过程中，将数据再次处理化，使其在眼球追踪中能得到良好的体现，同时在效率和精确方面优于现有的眼球追踪技术，也解决VR中眼球点渲染的难题，本发明分为以下七个步骤：(1)、数据预处理：kaggle库，96*96个像素的图片库；(2)、卷积神经网络的建立：为人脸关键位置的识别建立模型；(3)、训练数据集：读取数据样本；(4)、数据集的二次处理：将训练好的数据再进行二次处理，标识眼球的移动方向，以及头部偏转眼球移动的方向；(5)、利用当前模型预测测试集：对于建立好的模型，将图像进行预测，判断出眼球的移动变化；(6)、测试后的数据相转化：眼球的移动变化，作为坐标进行转化，有效的应用于渲染软件中；(7)、实行点渲染：在渲染软件中，通过视频图像帧的方式，快速进行点渲染技术。2.根据权利要求1所述的卷积神经网络对于人脸识别的技术，在识别的过程中，将数据再次处理化的机制，其特征在于，所述机制具体包括一下步骤：(1)、数据预处理：将96*96像素图像转化保存在以csv文件中，通过读取csv文件来读取脸部数据；(2)、卷积神经网络建立：3个卷积层，第一个卷积层用3*3的卷积核，后面两个用2*2的卷积核，每个卷积层后面都跟max_pool池化层，之后再跟3个全连接层(其中包括两个隐层一个输出层)，每个卷积层的feature_map分别用32,64,128；定义卷积运算的代码如下，对tf.nn.con2d()的参数做如下说明：x是输入的样本，在这里就是图像，x的shape＝[batch,height,width,channels]，其中，batch是输入样本的数量，height和width是每张图像的高和宽，channels是输入的通道，比如初始输入的图像是灰度图，那么channels＝1，如果是rgb，那么channels＝3，对于第二层卷积层，channels＝32；W表示卷积核的参数，shape的含义是[height,width,in_channels,out_channels]；strides参数表示的是卷积核在输入x的各个维度下移动的步长。了解CNN的都知道，在宽和高方向stride的大...

【专利技术属性】
技术研发人员：何兴高，姜伟卓，唐晨，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51