文章快速检索    
  同济大学学报(自然科学版)  2017, Vol. 45 Issue (6): 917-921,935.  DOI: 10.11908/j.issn.0253-374x.2017.06.020
0

引用本文  

宋亚林, 孙杳如. 手指动作自动矫正的脑电特征[J]. 同济大学学报(自然科学版), 2017, 45(6): 917-921,935. DOI: 10.11908/j.issn.0253-374x.2017.06.020.
SONG Yalin, SUN Yaoru. Automatic Correction of Finger Movement on Electroencephalography[J]. Journal of Tongji University (Natural Science), 2017, 45(6): 917-921,935. DOI: 10.11908/j.issn.0253-374x.2017.06.020

基金项目

国家自然科学基金 (61173116);上海市科委项目 (14JC1402203);“十三五”国家科技支撑计划 (2015BAF10B01)

第一作者

宋亚林 (1977—),男,博士生,主要研究方向为模式识别与脑认知计算.E-mail:622syl@tongji.edu.cn

通信作者

孙杳如 (1969—),男,教授,博士生导师,工学博士, 主要研究方向为模式识别与脑认知计算.E-mail:yaoru@tongji.edu.cn

文章历史

收稿日期:2016-09-26
手指动作自动矫正的脑电特征
宋亚林 1,2, 孙杳如 1     
1. 同济大学 电子与信息工程学院, 上海 201804;
2. 河南大学 软件学院, 河南 开封 475001
摘要:设计了一个手指运动自动矫正实验,受试者在实验中通过手指控制电脑屏幕图标,执行手部动作快速自动矫正,同时被采集脑电 (EEG) 信号.选用后顶叶皮层区的脑电电极数据,经过叠加分析等处理,最终获得手部动作自动矫正的事件相关电位 (ERP) 成份.结果表明:目标跳变引发的自动矫正动作电位,呈现出一种特殊的电位特征,即先于150 ms左右出现一负性脑波,后于320 ms左右出现一正性脑波.
关键词手指动作自动矫正    事件相关电位 (ERP)    双步指向任务    脑电 (EEG)    
Automatic Correction of Finger Movement on Electroencephalography
SONG Yalin 1,2, SUN Yaoru 1     
1. College of Electronics and Information Engineering, Tongji University, Shanghai 201804, China;
2. School of Software, Henan University, Kaifeng 475001, China
Abstract: An experiment of automatic correction of finger movement was designed. In the experiment, participants were asked to quickly point to a target's position with right thumb-stick controlling a hand-cursor on a screen and electroencephalography (EEG) signals were recorded as well. The relevant event-ralated potenial (ERP) components were analyzed by trials data averaging. The results show that a negativity at 150 ms and a positivity at 320 ms were found in jump trials.
Key words: finger-movement automatic correction    event-related potential (ERP)    double-step reaching task    electroencephalography (EEG)    

手部动作自动矫正行为对人类的日常生活起到至关重要的作用.当操作的目标物体属性发生不可预期的改变时,人类对这些属性的变化产生快速反应,进而矫正其正在进行的手部动作,以应对目标属性的改变,这种矫正在一个特定的时间区间内是超越人的意识控制的[1-4].人类大脑的后顶叶皮层区主要参与手部动作自动矫正过程,对于视觉运动的规划与执行起到重要作用[2, 5-6].

近年来,针对手部动作自动矫正的机制研究已取得诸多成果.在二维平面环境下,以Pisella为代表的研究者们发现,目标水平位置的非预期改变能够引发手部动作自动矫正,发生时间大约在130~150 ms[2, 3, 7-10].然而, 目标物体颜色属性的变化是否影响手部动作自动矫正行为的研究成果却存在着争议[2-3, 7].在三维环境中,Brenner等[11]和van Mierlo等[12]进行了手部动作自动矫正的相关研究,得出需要约200 ms来应对由双眼视差引起的目标位置的突然变化, 但是并未提供直接的实验证据显示立体深度信息能够引发手部动作的自动矫正.Song等[13]的研究表明,立体视觉中目标深度跳变可在约190 ms时引发自动矫正行为,从而得到了直接的实验证据.上述研究成果来源于受试者的行为数据,同时这一特殊重要动作过程的深层脑活动研究也取得了一些成果.Calton等[14]的植入电极的动物实验表明,不可预期目标变化会引发大脑后顶叶皮层区的激活.Rodríguez-Fornells等[15]利用脑电 (EEG) 验证人类运动错误检测与矫正时间过程的问题.实验结果表明,错误反应后立即出现错误相关负波 (ERN),并且矫正时偏侧预备电位出现时间早于ERN出现的时间.Spüler等[16]进行了动作执行过程中ERN的实验研究,受试者通过操作拇指摇杆来控制图形光标以执行障碍躲避,系统提示执行错误,同时记录EEG信号,最终获得动作执行中出现错误时脑电成份.侯文生等[17]也开展了手指运动过程中不同脑功能区之间联系的脑磁图信息分析.然而,上述实验并未对双步指向任务模式的自动矫正行为进行直接检测,人类手部动作自动矫正的脑部活动仍是一个值得研究的问题.

为了深入研究自动矫正的脑活动问题,本文选用具有较高时间分辨率脑电事件相关电位 (ERP) 检测方法.同时为避免手部动作对脑电采集产生较为严重的手动波形伪迹干扰,采用拇指摇杆控制屏幕手形光标来点击屏幕中的目标位置,若有目标位置变化,则快速调整手形光标指向新的位置.根据手部动作自动矫正的双步指向任务特点,脑电分析时检测ERN等事件相关电位.

1 研究方法 1.1 实验受试者

实验受试者来自于同济大学的在校学生,11名受试者自愿参加本次实验,其中男生9人,女生2人,平均年龄 (24.5 ± 4.1) 岁.所有受试者均为右利手,无神经疾病病史,视力正常或矫正正常.所有受试者在实验之前被告知了实验内容并签署了知情同意书.

1.2 实验设备

在进行手指动作实验时,受试者坐于光线较暗的专用脑电实验屏蔽房中,该脑电实验房能够较好屏蔽外界声音与电磁干扰,从而保证实验的顺利进行.根据以往自动矫正的实验范式,受试者眼睛距离液晶显示屏幕500 mm (此距离为近身实验操作的常用距离),头部通过下颌固定器固定,用以避免因为过大的头部运动引起EEG信号受到伪迹干扰.刺激目标通过Lenovo液晶显示器 (屏幕尺寸482.6 mm (19英寸),分辨率1 440 × 900像素,刷新频率75 Hz) 呈现.

本实验为二维平面下的手部动作快速自动矫正,受试者需要通过游戏手柄来完成实验任务,并通过采集拇指操纵杆的位置得到实验的手部运动信息.脑电数据的采集使用Brain Products (BP) 公司的脑电设备,受试者佩戴64导脑电帽 (符合国际10-20系统标准,即国际脑电图学会规定的标准电极放置法).以往关于手部动作自动矫正的研究成果表明,大脑中的后顶叶皮层区主要参与这一调整过程的处理,因此本文实验中选用64导联中的21个电极作为最终的采集电极,分别是C1、C2、C3、C4、C5、C6、Cz、CP1、CP2、CP3、CP4、CP5、CP6、CPz、P1、P2、P3、P4、P5、P6、Pz,如图 1所示.实验中同时采集受试者的水平眼电和垂直眼电信号,其中水平眼电 (hEOG) 电极位于双眼外眼角,垂直眼电 (vEOG) 电极布置在左眼下约2 cm处.参考电极选用位于双耳乳突的TP9和TP10,两个电极标记为Ref1和Ref2.所有导联采集到的脑电经过actiCHamp放大器放大,脑电采集频带为0.01~40 Hz,采样频率为500 Hz,两个参考电极和接地电极阻抗均小于10 kΩ,其他采集电极在实验前后阻抗小于30 kΩ.

图 1 手指自动矫正实验脑电电极分布 Fig.1 Electrode distribution for finger-movement automatic correction experiment
1.3 实验刺激

本实验刺激设定对照手部动作快速自动矫正的经典实验范式[2],目标刺激可能出现在屏幕中线左右两侧的不同位置 (L或R),左侧目标和右侧目标位置距离屏幕中线均为20 mm (视觉角度为2.3°),屏幕底部中线处为实验的开始位置,目标刺激点距开始位置距离为200 mm.目标刺激采用纯色呈现,开始位置为一灰度值80的灰色颜色块,背景色采用人眼可舒适观看的灰度值172,真实的手形图标用来提供实验过程中的视觉反馈,如图 2所示.

图 2 手指自动矫正实验示意图 Fig.2 Schematic diagram for finger-movement automatic correction
1.4 实验设计与过程

在脑电环境中直接进行手部动作自动矫正行为的实验是比较困难的,手部动作将会产生较为严重的手动波形,从而对脑电的实验成份提取及结果分析产生较大的影响.因此,为尽量减少对脑电信号采集的影响,本实验采用手指控制电脑屏幕图标的方式对手部动作快速自动矫正的脑电电位进行研究,关于操控电脑屏幕图标的研究方式已有文献进行报道[11].

本实验包括实验组和对照组两组实验.实验组采用经典的二维平面中双步指向任务模式,在实验过程中,受试者使用游戏手柄的拇指操作杆控制屏幕中的手形图标运动.在实验中,受试者需要尽可能快速而准确地控制手形图标来接近目标,实验任务仅包括前进任务.在实验中如果目标物体的深度位置发生跳变,受试者要快速改变手指的指向并将其指向新的目标位置 (见图 3),所有实验的每次操作需要在300 ms内完成.对照组实验采用观察物体目标跳变过程的方法,目标发生跳变时不采取任何手部动作.

图 3 手指自动矫正实验过程示意图 Fig.3 Experimental paradigm for finger-movement automatic correction

实验组实验中,每个受试者需要完成一组实验,实验条件包括一种任务 (前进任务)、两种类型的实验操作 (非跳变类型和跳变类型) 和两种不同的目标位置 (左侧和右侧).其中, 跳变实验类型的发生率为低概率事件, 跳变发生的次数占操作总次数的25%.受试者在每组实验任务中需要完成200次控制操作,刺激目标的位置随机地出现在中线左右两侧不同的位置.实验中75%(150次) 的目标位置不发生跳变,25%(50次) 情况下刺激目标的位置发生水平方向跳变,跳变发生在控制操作的开始时刻.跳变实验操作中,25次刺激目标的水平位置由左跳变至右,另外25次操作则由右向左跳变.

实验中的每次点指操作有就绪状态、运动开始状态、运动结束状态和重新恢复就绪状态.当手形图标的手指尖位于开始位置时,听到声音提示则表示已就绪,经过一个随机时间段 (1 000~1 500 ms) 后,出现刺激目标.在实验中,受试者看到刺激目标后,需要使用拇指操纵杆立即控制屏幕手形图标指向目标位置,若发生目标跳变,则需立刻操纵拇指摇杆指向新目标位置.受试者在正式实验开始前,需要先进行训练实验,最后20次实验中正确执行实验任务,则可通过实验训练.为了更好地对脑电数据进行后续分析与处理,实验过程中目标出现时刻点、受试者拇指运动开始时刻点、实验操作类型 (跳变和非跳变) 处、目标位置信息 (左侧和右侧) 等均需要记录下来,以打标记方式将这些事件标记 (如:S1~S9) 并发送至脑电采集设备.

对照组实验采用观察目标跳变与非跳变过程,但目标发生跳变时受试者不采取任何动作,目标跳变与非跳变的发生率与实验组实验相同.

2 数据分析方法

脑电数据使用BrainVision Analyzer 2.0软件进行分析处理,所有受试者的脑电数据均进行参考电极转换计算,由初始的Cz电极转换为TP9和TP10.带通滤波的高通频率选用40 Hz.选用水平眼电电极和垂直眼电电极作为参考电极去除眼动干扰,伪迹去除时梯度值选用50 μV·ms-1,最大幅度值为100 μV,最小幅度值为0.5 μV.分段处理时时间窗为[-200, 800] ms,基线校正的时间窗为[-200, 0] ms.用叠加平均、峰值探测等方法提取ERP成份.

本实验的目的是对脑电数据进行计算分析,分别提取ERN成份以及事件发生后400 ms内的ERP.ERN是受试者发现错误反应后约100 ms出现的一个负波,因此选择跳变开始事件前200 ms至事件后300 ms,即[-200, 300] ms作为锁时分段处理的区间,进行叠加平均处理.以往有关手部动作自动矫正的实验结果表明,矫正发生的时间窗在300 ms以内[2-3],因此本文在ERP潜伏期数据处理时选择时间区间在事件触发的前200 ms至后400 ms的时间段,即[-200,400] ms作为锁时分段处理的区间,进行叠加平均处理.提取在两种实验操作 (非跳变类型和跳变类型) 方式下各个成份的峰值与潜伏期及其电极分布,执行配对t检验分析,从而得到手指动作快速自动矫正脑电相关成份的特征数据.另外,对实验组与对照组的脑电也采用配对t检验分析其是否存在明显差异.统计分析在SPSS 19.0软件环境中进行,P < 0.05表示统计显著性.

3 实验结果 3.1 手指自动矫正行为的ERP分析结果

手指运动实验采集的各个受试者的脑电数据,均使用BP公司的脑电处理软件进行脑电信号的分段、叠加、平均等处理,ERP数据如表 1所示.11名受试者中,1名受试者的实验数据由于干扰较为严重被去除.

下载CSV 表 1 手指自动矫正的ERP数据 Tab.1 ERP data for finger-movement automatic correction

实验组的手指自动矫正实验结果分析显示,通过叠加平均可以得到N1成份和P300成份,而实验前假设的ERN电位无论在跳变操作还是在非跳变操作中均未提取出明显的脑电成份.

在跳变类型操作中,本实验首先发现一个波幅峰值为-11.16 μV、潜伏期约为144 ms的负性脑波 (N1),此后又发现了一个波幅峰值为17.99 μV、潜伏期约为328 ms的正性脑波 (P300).在非跳变类型的实验操作中,本实验仅发现一个波幅峰值为-7.67 μV、潜伏期约为148 ms的负性脑波 (N1),而在其后并未现明显的脑电波峰.手指动作的自动矫正脑电叠加平均值如图 4a所示.

图 4 实验组和对照组手指自动矫正的ERP图 Fig.4 ERP diagram for finger-movement automatic correction in experimental group and control group

对照组的实验结果分析显示,脑电数据叠加平均后,无论在跳变类型还是在非跳变类型的实验过程中均发现了负性脑波:跳变类型的波幅峰值为-5.38 μV,潜伏期约为152 ms;非跳变类型的波幅峰值为-4.16 μV,潜伏期约为148 ms.除此之外,未发现其他明显的脑电成份 (见图 4b).

本文进一步对在跳变和非跳变实验操作中提取出的N1成份的波幅和潜伏期数据,利用配对t检验方法进行对比分析,观察两者之间是否存在明显差异.实验结果显示:跳变与非跳变实验操作中,N1成份出现的潜伏期不存在明显差异 (t=2.09, p>0.05),而N1成份的波幅峰值却存在明显差异 (t=5.89, p < 0.05).

本文针对实验组及对照组N1成份的潜伏期及波幅峰值进行对比分析,结果显示在跳变实验过程中,实验组和对照组的N1成份的潜伏期未出现明显差异 (t=1.22, p>0.05),而其波幅峰值却存在明显差异 (t=3.72, p < 0.05).

3.2 ERP分布结果

根据实验数据结果,本文将叠加平均后的数据以50 ms为单位,绘制了脑地形图 (见图 5).从图中可以发现,跳变与非跳变实验操作的脑地形图存在较大差别,主要在150 ms左右的时间段和300~350 ms的时间区间内.在150 ms左右出现的负波,主要分布在Pz电极附近,在跳变实验时程度更加明显;在300~350 ms的时间段内,跳变实验时出现了明显的正波,主要分布在Cz电极至Pz电极之间的区域,强度值较高,而在非跳变实验时脑地形图中未有明显的正波出现.

图 5 ERP脑地形图 Fig.5 ERP topographic mapping
4 讨论

以往研究结果表明[18],N1成份与注意力相关,易受到刺激的物理特性影响.分析引起N1脑电成份差异的原因是,目标发生跳变时能够引起受试者更强的视觉刺激.后续脑电成份的提取中发现,若实验中目标发生跳变,则在N1成份后,还可提取出一个正性脑电成份 (波幅峰值约为18 μV,潜伏期约为328 ms).脑地形图显示,此正性波主要分布于Cz电极至Pz电极之间的区域,强度较强,属于脑中央回至顶叶脑区部位.因此,考虑此正性波为P300成份.实验中目标未发生跳变时,不能提取出明显正性脑电成份.P300为ERP的内源性脑电成份,不受刺激的物理特性影响,而与受试者的精神状态和注意力有关.本文实验范式与P300的经典实验范式一致 (即Oddball实验)[19-20],因此P300成份出现在目标发生跳变的实验操作中 (发生概率为25%).目标发生跳变的实验操作类型中,提取的P300脑电成份分布于从后中央回到顶叶皮层的区域范围内,其中包含了后顶叶皮层,与以往的手部动作自动矫正的研究结果相一致[2, 5-6].另外,单纯目标跳变的视觉信息引发的脑电成份的对照组分析显示,目标发生跳变后仅出现了N1负波,其波幅峰值与自动矫正的脑电成份存在着明显差异 (p < 0.05),从而排除了目标跳变与目标非跳变的视觉信息引发脑电电位的可能.因此,本文提取出的脑电相关电位,是关于手部动作自动矫正的特有的脑电电位.

实验采用经典的二维平面中双步指向任务模式,实验过程中出现初始目标位置发生跳变,受试者纠正并改变手指运动,实验过程发生了明显的动作纠错.实验设计时,假设受试者脑电将引发ERN的出现,但经过叠加平均处理后,在触发事件后并未发现明显的ERN成份脑电波.考虑原因为:① 以往研究的ERN多发生于错误行为出现后的100 ms左右,由前扣带回脑区来处理其反应心理活动的错误信息,而手部动作自动矫正行为主要由后顶叶皮层区来处理;② 手部动作自动矫正的实验范式与以往的ERN实验范式存在比较大的差异,自动矫正的动作行为更多地存在于手部动作执行过程中,目标快速改变后人脑无意识的快速反应.这些结论与文献[16]的研究成果相一致.

5 结语

通过对实验脑电数据的叠加平均分析,本文得出了手指快速自动矫正的特殊脑电ERP成份,即在目标发生跳变的触发事件后,先于150 ms左右提取出一个负性脑波,后于320 ms左右出现一正性脑波;而在目标不发生跳变的实验中仅出现一个波幅较小的负性脑波.对于严重脑卒中患者,手部大幅度运动严重受限,但部分重症患者能够执行小幅度的手指动作.运用脑电成份检测,能够对此类人群的自动矫正进行监测与评估.本文实验所得出的手指动作自动矫正脑电ERP成份的结论,能够为进一步开展重症脑部疾病 (如严重脑卒中患者) 康复治疗中的动作检测,提供必要的神经科学和脑电研究的理论支持.

参考文献
[1]
GOODALE M A, PELISSON D, PRABLANC C. Large adjustments in visually guided reaching do not depend on vision of the hand or perception of target displacement[J]. Nature, 1986, 320: 748 DOI:10.1038/320748a0
[2]
PISELLA L, GREA H, TILIKETE C, et al. An 'automatic pilot' for the hand in human posterior parietal cortex: toward reinterpreting optic ataxia[J]. Nature Neuroscience, 2000, 3(7): 729 DOI:10.1038/76694
[3]
CRESSMAN E K, FRANKS I M, ENNS J T, et al. No automatic pilot for visually guided aiming based on colour[J]. Experimental Brain Research, 2006, 171(2): 174 DOI:10.1007/s00221-005-0260-2
[4]
BLANGERO A, GAVEAU V, LUAUTE J, et al. A hand and a field effect in on-line motor control in unilateral optic ataxia[J]. Cortex, 2008, 44(5): 560 DOI:10.1016/j.cortex.2007.09.004
[5]
DESMURGET M, EPSTEIN C M, TURNER R S, et al. Role of the posterior parietal cortex in updating reaching movements to a visual target[J]. Nature Neuroscience, 1999, 2(6): 563 DOI:10.1038/9219
[6]
HIMMELBACH M, KARNATH H, PERENIN M, et al. A general deficit of the 'automatic pilot'with posterior parietal cortex lesions?[J]. Neuropsychologia, 2006, 44(13): 2749 DOI:10.1016/j.neuropsychologia.2006.04.030
[7]
BRENNER E, SMEETS J B. Colour vision can contribute to fast corrections of arm movements[J]. Experimental Brain Research, 2004, 158(3): 302
[8]
CAMERON B D, CRESSMAN E K, FRANKS I M, et al. Cognitive constraint on the 'automatic pilot'for the hand: movement intention influences the hand's susceptibility to involuntary online corrections[J]. Consciousness and Cognition, 2009, 18(3): 646 DOI:10.1016/j.concog.2009.04.008
[9]
DAY B L, LYON I N. Voluntary modification of automatic arm movements evoked by motion of a visual target[J]. Experimental Brain Research, 2000, 130(2): 159 DOI:10.1007/s002219900218
[10]
MCINTOSH R D, MULROUE A, BROCKMOLE J R. How automatic is the hand's automatic pilot?[J]. Experimental Brain Research, 2010, 206(3): 257 DOI:10.1007/s00221-010-2404-2
[11]
BRENNER E, SMEETS J B. Two eyes in action[J]. Experimental Brain Research, 2006, 170(3): 302 DOI:10.1007/s00221-005-0213-9
[12]
VAN MIERLO C M, LOUW S, SMEETS J B, et al. Slant cues are processed with different latencies for the online control of movement[J]. Journal of Vision, 2009, 9(3): 21 DOI:10.1167/9.3.21
[13]
SONG Y, SUN Y, ZENG J, et al. Automatic correction of hand pointing in stereoscopic depth[J]. Scientific Reports, 2014, 4: 7444
[14]
CALTON J L, DICKINSON A R, SNYDER L H. Non-spatial, motor-specific activation in posterior parietal cortex[J]. Nature Neuroscience, 2002, 5(6): 580 DOI:10.1038/nn0602-862
[15]
RODRÍGUEZ-FORNELLS A, KURZBUCH A R, MVNTE T F. Time course of error detection and correction in humans: neurophysiological evidence[J]. Journal of Neuroscience the Official Journal of the Society for Neuroscience, 2002, 22(22): 9990
[16]
SPVLER M, NIETHAMMER C. Error-related potentials during continuous feedback: using EEG to detect errors of different type and severity[J]. Frontiers in Human Neuroscience, 2015, 9: 155
[17]
侯文生, 张阳, 李卫娜, 等. 手指自主按键运动中脑磁图信号的相干性分析[J]. 山东大学学报 (理学版), 2011, 46(1): 1
HOU Wensheng, ZHANG Yang, LI Weina, et al. Coherence analysis of magnetoencephalography signals related to self-paced finger press[J]. Journal of Shandong University (Natural Science), 2011, 46(1): 1
[18]
WASCHER E, HOFFMANN S, SANGER J, et al. Visuo-spatial processing and the N1 component of the ERP[J]. Psychophysiology, 2009, 46(6): 1270 DOI:10.1111/psyp.2009.46.issue-6
[19]
ROSLER F, SUTTON S, JOHNSON R J, et al. Endogenous ERP components and cognitive constructs[J]. Electroencephalography and Clinical Neurophysiology Supplement, 1986, 38: 51
[20]
PICTON T W. The P300 wave of the human event-related potential[J]. Journal of Clinical Neurophysiology, 1992, 9(4): 456 DOI:10.1097/00004691-199210000-00002