国创项目申请书模板

创新训练项目 立项申请书

项目名称 项目执行时间 项目 负责人 项目 成员1 项目 成员2 导师 情况 基于SSVEP脑机接口的自然交互式光标定位及文字输入控制工具研发 一年 项目团队人数 学号 院系班级 电子邮箱 学号 院系班级 学号 院系班级 职务职称 电子邮箱 项目简介〔100字以内〕 3人 1408010112 信电学院电气141班 caucieehsq@163 1408010104 信电学院电气141班 1408010101 信电学院电气141班 讲师 ***************** 填表日期 2015年11月27日 旨在基于脑机接口研发一套工具，实现对电脑光标、文字输入的控制，实现人机自然交互。工具包含脑电采集设备、信号分析转换、光标定位及文字输入控制等功能。将通过研究对工具准确率、响应时间等参数进行优化。 中国农业大学教务处 制表

一、申请理由 一、自身的知识条件、特长、兴趣。 本团队成员均来自于信电学院电气141班 队长：获学习优秀二等奖学金，学习能力强，于程序设计方面有一定基础。参加过数学建模竞赛及其培训，有处理实验数据的经验。曾经在《面向对象的程序设计》课程中担任项目组长，有组织能力。 队员1：高中曾获数学竞赛市级二等奖，生物竞赛市级一等奖，思维活跃，善于应用语言文字编写文书，发现和提出问题，并且热爱编程，学习能力较强，乐观进取。 队员2：获学习优秀三等奖学金，英语基础较好，已通过国家英语六级考试，可以较高效率阅读英文文献，对于C，C++都有较好基础，并自学了C#，有一定的探索精神，所写文章曾获“海淀区科技创新大赛”三等奖及“海尔科技奖”三等奖 二、已有的知识基础 已经学习大学电脑基础、C语言程序设计、C++程序设计、Qt程序开发等必要课程，并通过小学期面向对象编程课程的学习，完成小程序的设计开发，为项目实施打下了理论和初步实践基础。 从今年8月开始，团队开始接触脑机接口方面的研究工作。 1〕团队每个成员均切身体会了清华大学组织的脑机接口实验，对本项目的应用前景及技术优势有更深的理解。 2〕学习掌握了OpenViBE这一脑机接口数据信号处理的成熟工具，通过对该工具源代码的分析，加强了C++编程的技能，能够实现基于该工具的二次开发。 3〕学习掌握了脑机接口设备驱动的编写，能够实现设备与信号处理工具的连接。 4〕学习掌握了C#等编程语言及Visual Studio程序开发工具，为研发基于脑机接口桌面软件提供了必要准备。 这个项目的展开，不仅得到了信电学院老师的指导，还得到了清华大学心理系老师的指导。清华大学心理系在脑机接口研究方面居于国际领先地位，他们的指导保障了团队成员能够获取最先进的相关知识和技能培训。 对硬件设备的了解和二次开发能力及软件编程能力，是电气专业学生必备技能，我们想通过这次项目实践，提高这些技能，为以后的学习工作奠定基础。 综上所述，我们团队有较强的学习能力，较好的专业基础，对所开展的创新项目有自己独特的想法，并有初步的实践，我们相信在我们的努力下，在信电学院老师和清华心理系老师的指导下，我们一定能完成项目。 学习文档 仅供参考

二、立项背景 背景情况： 1995年12月8日，法国Elle杂志主编Jean-Dominique Bauby因意外严重创伤而导致闭锁综合症〔locked-in syndrome〕。他几乎完全瘫痪，虽然思维健全，但全身只有左眼皮可以眨动。在医院，他最害怕护士不关电视就离开，因为他没有方法更换电视频道或关电视。即使护士在他身边，他的很多请求仍然没能被人注意到或理解。为了表达出处于闭锁状态的生命感受，他利用眨眼这唯一的动作，艰难地完成了思维的表达。书写人不停地念字母，当他听到他需要的字母，便眨一下眼皮，就这样以及其繁复的方式写下了几万字的著作《潜水钟和蝴蝶》。该书的出版引起了极大的震动，唤起了人们对与 Dauby 有相似处境的人的理解和同情，也让社会开始反思如何给瘫痪、残疾病人以更好的关心。 近年来随着脑科学、电脑科学、信号处理技术的飞速发展以及残疾患者需求意识的不断提高，一项被称为脑机接口(Brain Computer Interface，BCI)的技术正在逐步使得人类利用脑电信号同电脑或其它装置进行通讯成为可能。有别于传统的人机交互方式，脑机接口技术通过大脑与外界的直接通道，实现人脑与外界进行信息交互，不需要再由外周神经和肌肉组成的输出通道参与，从而为思维正常但有严重运动功能障碍的人提供一种与外界环境进行交流和控制的途径。其中，稳态视觉诱发电位〔SSVEP〕是当视觉神经受到一个固定频率的视觉刺激的时，人的大脑视觉皮层会产生一个连续的与刺激频率有关〔刺激频率的基频或倍频处〕的响应；基于SSVEP的脑机接口具有高分类准确率和高信息传输率的性能及较高的识别性能, 可满足残疾人进行表达的需求。清华大学高上凯课题组研究的基于SSVEP脑机接口系统已经能够帮助脊髓损伤患者完成家居环境的操作，为残疾人士的生活带来许多便利。此外，基于人机自然交互的脑机接口对于普通用户也有非常重要的意义。自然人机交互是强调以人为中心的交互方式。它注重人和电脑以人和人的自然交流的方式进行无障碍的交互如：语音交互，体态语言交互，其他姿态语言交互等。电脑的控制技术从二进制编码操作到命令行操作〔Dos系统，早期的Linux系统〕到图形用户界面交互〔windows95等〕再到基于网络用户界面的交互方式〔搜索引擎，多媒体动画，聊天工具等〕。从电脑控制发展历程中及目前的研究趋势中，可以看出自然交互是未来电脑控制技术发展的重要方向。自然人机交互的发展能使人和电脑的交流变得更加自然通畅，能让人们非常方便的使用电脑。 本项目旨在基于SSVEP的脑机接口研发一套工具，实现对电脑光标、文字输入的控制，实现人机自然交互。本项目的成果既可以造福于残障人士，满足其基本的电脑控制及语言表达需求；也可以作为软件的插件，提升普通用户的用户体验[1-3]。 国内外研究现状： 脑机接口技术是现今脑科学、电脑工程、生物医学工程及人机自动控制学习文档 仅供参考

研究领域的一个研究热点，从1999年开始，连续多次脑机接口国际会议被举办。随着国内外研究团队的不断壮大，一些有关脑机接口技术的研究成果相继被提出来。在国外关于脑机接口技术的研究较为突出，例如，美国的 Wadsworth中心、乔治亚州立大学脑实验室和加拿大NSF、伊利假设斯大学，在μ节律、视觉诱发电位和P300电位等研究方向上都有较大进展。在国内有一些高校研究视觉诱发电位、运动想象、P300 电位等方向，以清华大学高上凯课题组为代表，取得了良好的研究成果。脑机接口技术已经初步得到了应用，如美国Wadsworth 中心搭建的节律调节脑机接口系统帮助脊髓损伤患者成功实现了二维光标运动控制；清华大学高上凯课题组研究的基于SSVEP脑机接口系统能够帮助脊髓损伤患者操作家居环境[4,5]。 另外，在人机自然交互方面，虽然我国在这些方面起步较晚，但其技术近年来已引起国家有关部门和科学家们的高度重视，在973、S-863、十五计[12]划及未来的十一五计划均将其列为主要研究课题。目前关于人机自然交互的研究还主要集中在感觉通道输入和动作通道输入〔如语音、手写、姿势、视线、表情等〕以并行、非精确的方式与(可见或不可见的)电脑环境进行交互。如美国主要电信运营商Sprint的PCS部门为客户开通了语音驱动系统[8,9]，提供客户服务、语音拨号、查号和更改地址等业务；美国宇航局(NASA)的Ames实验室研制了一套数据手套工程化系统研究人的体态识别，实现了在约翰逊空间中心完成空间站操纵的实时仿真[11,13]；日本京都的先进电子通信研究所(ATR)开发了一套系统，它能够用图像处理的方法来识别手势和面部表情，并把它们作为系统的输入操纵系统运行[11,14]。但将脑机接口技术应用于自然人机交互的研究还较少，其应用前景却十分可观。 光标控制方面，清华大学程明、高上凯设计了基于SSVEP的光标控制系统，屏幕上代表不同方向的四个方块以不同频率〔6-9Hz〕闪烁，用快速傅立叶变换〔FFT〕进行频谱分析，在线处理 SSVEP，通过比较诱发电位信号频谱峰值，可以判别出受试者眼睛注视的方块，从而控制光标移动[15]。该方法具有准确率高的特点，不过与用户的操作习惯有较大的区别，不利于提升用户的体验。文字输入方面，韩国的Hwang等完成了基于SSVEP脑机接口的外接键盘式字符拼写系统[16]，该系统可以实现在线字符拼写，平均每分钟输出9.39个字符。具有输入较快的优点。但其实现需要外接设备，可能给残障人士带来新的困扰。 参考文献： [1] 程光芒. 脑—机接口视觉刺激器实现技术的研究[D].重庆大学,2006. [2] Denby B, chultz T, Honda K, et al. Silent speech interfaces[J]. Speech Communication, 2010, 52(4): 270-287. [3] Wolpaw J R, Birbaumer N, Heetderks W J,et al. Brain-computer interface technology: a review of the first international meeting [J]. IEEE Transactions on Rehabilitation Engineering, 2000, 8(2):1-173. [4] 邹霞. 基于SSVEP的脑机接口系统设计与研究[D].南昌大学,2014. [5] 何庆华. 基于视觉诱发电位的脑机接口实验研究[D].重庆大学,2003. [6] 黄超. 自然人机交互相关技术研究与系统实现[D].上海交通大学,2010. [7] Wolpaw J R, Mc Farland D J. Control of a two-dimensional movement signal by a noninvasive brain-computer interface in humans[J].Proceedings of the National Academy of 学习文档 仅供参考

Sciences of the United States of America, 2004, 101(51): 17849-17854. [8]姚文冰,姚天任.稳健语音识别技术发展现状及展望.信号处理2001年第17期.pp.484-484 [9]高新涛,陈乖丽.语音识别技术的发展现状及应用前景.甘肃科技纵横2007年第36卷第04期.pp.13-13 [10] 软博会.第十二届中国国际软件博览会.. ://news.zol /95/954596.html.pp.1-1 [11] 创 视， 虚 拟 现 实 研 究 现 状 及 发 展 趋 势. :// provideo.net /newsshow.asp?id=757. 2008-9-1.pp.1-1 [12] 刘伟.人机工程技术研究的现状及发展趋势.海淀走读大学学报.2003年第四卷.pp.1-4 [13] 吴迪,黄文骞.虚拟现实技术的发展过程及研究现状.海洋测绘 .2002 年第22期.pp.15-17 [14] 李志文,韩晓玲.虚拟现实技术研究现状及未来发展.信息技术与信息化.pp.94-96 [15] Cheng Ming Gao Shangkai. An EEG-based cursor control system. Proceedings of the first joint BMES/EMBS conference. Atlanta, GA, USA: IEEE BMES&EMBS. 1999. 669. [16] Hwang H J, Lim J H, et al. Development of an SSVEP-based BCI spelling system adopting a QWERTY-style LED keyboard [J]. Journal of Neuroscience Methods, 2012, 208: 59-65. 三、特色与创新 1、重要性 〔1〕对于特殊人群的帮助 脑机接口系统，是大脑与外界直接进行交互的通道，而目前在全球范围内，因为自然灾害、事故和各种疾病而导致行动不便的人越来越多，以脑机接口为理论依据建立的基于视觉控制的光标定位装置可以为这类人提供便利，并且能以此为基础，研发脑机接口系统在更多领域的应用。 〔2〕具有广阔的发展前景 以VR为基础的人机自然交互是未来电脑控制的重要发展方向，能从用户自身的角度提升电脑的实用性，使电脑的性能提升更大的反映到用户实际的个人体验上。 2.创新性 〔1〕基于脑机接口的人机自然交互 与之前类型相近的研究相比，我们的项目旨在利用SSVEP,通过对于屏幕不同区域的闪烁形成闹点信号，不断分割细化闪烁区域，最终确定光标的位置，只需要目光聚焦即可选择目标，更符合人自然的选择反应，能够实现人与电脑的自然交互，节省了用户的学习成本，提高了用户的选择效率。 〔2〕细致科学的比照研究 通过多次试验比照，邀请志愿者参与测试，确定最科学有效的分割方式及分割次数，保证软件设计的合理性及高效性，从人机交互的角度上提升用户的体验满意度。 〔3〕基于新式硬件开发 学习文档 仅供参考

应用EPOC+装置开发，有较高的性价比、精度和普及性，价格适中且便于携带，有利于项目成果的实际应用与推广。同时，EPOC+装置具有较高的可开发性，还可研发更多类似软件。 四、实施计划及方案 1.进度安排 设备选型〔2016年1月〕： 通过测试选取合适脑电信号采集设备〔现已知设备有Emotiv epoc、Emotiv epoc+、Emotiv insight…〕，实现用户在注视以指定频率闪烁的图像时脑电信号的采集。 驱动编写〔2016年2月-2016年3月〕： 基于其原有的配套程序为之编写相匹配的驱动软件，实现信号采集设备与电脑的连接，并按照一定的格式〔暨OpenVIBE所要求的数据格式〕打包传输到PC端。 PC端软件开发〔2016年4月-2016年6月〕： 利用汇编语言编写训练模块、数据模块、屏幕分割光标定位模块、文字输入模块。 试验测试〔2016年6月-2016年11月〕：依照下文中试验方案进行试验测试并在此过程中不断进行改良优化。 结项〔2016年12月〕： 完成设备及软件，撰写报告，准备答辩，结题。 2.研发方案 1〕设计思路 a.光标定位 学习文档 仅供参考

根据SSVEP脑机接口原理，人脑在注视以不同频率闪烁的物体时，大脑中会产生不同的特征脑电。在电脑显示界面上绘制以指定频率闪烁的区域，并令用户注视显示界面，产生相应的特征脑电，利用数据处理模块，从而判断出用户注视区，之后将用户注视区再次划分成四块等比缩小的、以不同频率闪烁的区域，重复上述循环。当区域缩小到一定值时，该小区域即可认为是用户所希望光标点选的位置，即实现光标点选。 b.文字输入 方案一：以全键盘方式展示出虚拟键盘，利用上述光标定位原理模拟键盘敲击，实现文字输入。 方案二：仿照多级菜单机制，构建初始菜单及多级子菜单，将不同字符作为选项归类到各菜单中。通过用户注视不同闪烁频率的同级菜单，实现对同级菜单的点选，进而进入不同子菜单，最终确认输入字符选项，实现文字输入。 学习文档 仅供参考

2〕初步设计方案 a.用户注视不同闪烁区域，产生特征脑电信号； b.通过设备采集特征脑电信号； C.将采集到的信号输入电脑，并将其转化为标准数据； d.用户进行初始训练，电脑学习并记录用户对于特定频率的特征脑电信号，使其适应用户对特定频率的脑电响应； e.实现光标点选、文字输入，实现对电脑的控制 3〕设备系统研发方案 a.设备选型： 通过调研，选取合适脑电信号采集设备〔现已知设备有Emotiv epoc、Emotiv epoc+、Emotiv insight…〕，在用户注视以指定频率闪烁的图像时，实现脑电信号的采集以及信号的模数转换。 b.驱动编写： 学习文档 仅供参考

基于其原有的配套程序为之编写相匹配的驱动软件，实现信号采集设备与电脑的连接，并按照一定的格式〔即OpenVibe所要求的数据格式〕打包传输到PC端。 c.闪烁绘制、屏幕分割模块： 利用DirectX或GDI在界面上绘制以指定频率闪烁的区域，根据SSVEP脑机接口原理，利用OpenViBE的数据处理模块，对用户通过注视闪烁区域而产生的相应特征脑电进行分类，判别用户所注视的闪烁区，该区域再次划分成四块等比缩小的、以不同频率闪烁的区域，重复上述循环，完成点选。 d.编写训练模块： 以OpenViBE已有的函数、模块为基础，编写与采集设备相匹配的训练记录模块。从而记录训练过程中采集到的特征脑电信号，所记录的数据作为数据处理模块中判别的依据。 e.编写数据处理模块： 基于OpenViBE〔OpenViBE是一个为实时BCI处理脑电信号的有效软件工具，当今最流行的脑-机接口软件系统，OpenViBE最显著的特点是高模块化，它是由C++编写的一组软件模块，可以轻松地集成和高效地设计脑机接口应用程序〕并利用其提供的数据处理函数进行数据处理模块的编写，到达通过该模块对数据的处理，判断出用户此时此刻所注视的区域的的目的。 f.将先前模块与现有光标控制和输入方式结合 将预先编写的驱动程序、闪烁绘制、屏幕分割模块、训练模块、数据处理模块与现有光标控制和输入方式结合，实现基于SSVEP脑机接口的自然交互式光标定位及文字输入控制。 4〕试验方案 a.面向小组内部成员及其周边人进行小规模的实验，实验包括正式实验以及之前的训练过程，纪录实验过程中的所有实验数据以及参试人员执行约先设定的指令的完成时间以及完成度准确度。根据完成时间和完成准确度对程序进行优化。 b.重复a步骤中进行的小范围实验，根据完成时间和完成准确度对程序进行优化，直至到达理想效果。 c.面向农大师生，对优化后的程序进行大范围测试，记录实验过程中的所有实验数据以及参试人员执行事先设定的指令的完成时间、准确度及参试人员的实验感受。 五、实施基础与条件 专业知识基础：已经学习大学电脑基础、C语言程序设计、C++程序设计、Qt学习文档 仅供参考

程序开发等必要课程，并通过小学期面向对象编程课程的学习，完成小程序的设计开发，以及自学了C#等编程语言和Visual studio等软件二次开发工具，为项目实施打下了理论和初步实践基础。 已完成的工作准备：从今年8月开始，团队开始接触脑机接口方面的研究工作。团队每个成员均切身体会了清华大学组织的脑机接口实验，对本项目的应用前景及技术优势有更深的理解。学习掌握了OpenViBE这一脑机接口数据信号处理的成熟工具，通过对该工具源代码的分析，加强了C++编程的技能，能够实现基于该工具的二次开发。学习掌握了脑机接口设备驱动的编写，能够实现设备与信号处理工具的连接。 基本仪器和设备：该项目需要的主要的仪器和设备有 电脑，Emotiv EPOC+ 头盔，这些设备价格低廉，都可以很容易购买到，故而我们已经具备了开展项目的基本条件。 技术学习：这个项目的展开，不仅得到了信电学院老师的指导，还得到了清华大学心理系老师的指导。清华大学心理系在脑机接口研究方面居于国际领先地位，他们的指导保障了团队成员能够获取最先进的相关知识和技能培训。 具有项目研究的实验条件：该项目前期的开发和研究，不需要什么大的空间和场地，只需要一间实验室或者教室就可以，项目的后期工作，需要志愿者进行实验和数据的采集，志愿者可以从本校学生中征集，实验没有任何的人体伤害，且实验时是个人单独进行的，不需要较大的实验场地。这些条件都是在我们的能力范围内可以完成的。 六、预期成果 1.制作科技实物：研发基于SSVEP脑机接口的自然交互式光标定位及文字输入控制工具且能进行实际应用。 2.论文发表：争取发表能被SCI/EI检索的论文1篇或以上 3.申请有关“基于SSVEP脑机接口的自然交互式光标定位及文字输入控制工具”的专利证明或软件著作权 4.完成项目进展与结题报告。 七、经费预算 经费预算总额：19688 元 学习文档 仅供参考

序号 1 2 3 4 仪器、材料、药品名称 单位 数量 2 100 1 3 单价 2544 50 1200 1000 总价 5088 5000 1200 3500 2400 1500 1000 19688 EPOC+ 头盔 个 参加测试实验者报酬 人 专利申请费 次 发表论文及参加相关学术次 会议 5 其他材料费用 6 差旅费 7 专家咨询费 合计 八、申请人签名 项目负责人： 项目团队成员： 年 月 日 九、导师意见 签名 年 月 日 十、学院意见 学习文档 仅供参考

签名 学院公章 年 月 日

学习文档 仅供参考