INFO new logo

fNIRS如何在脑机接口中使用

想象一下,一个人穿戴着便携式近红外脑成像系统Brite,玩一个要求很高的电子游戏,这个游戏不仅难度高,还十分需要脑力运动量。Brite记录下与脑力负荷相关的血容量变化或血液动力学变化,并将正在测量的信号实时发送到分析系统,该系统测量了脑力工作负荷的增加,随后将游戏的难度降低了5%。这是一个基于功能性近红外光谱(fNIRS)的脑机接口(BCI)的例子,在该接口中,从大脑检测的生理信号被转换并用于控制输出设备(如计算机)。本文将扩展基于NIRS的BCI是如何工作的,以及研究人员使用基于NIRS的BCI的可能性。

工作原理

最基本的脑机接口可以建立一个单通道系统,由一个检测器和一个传输器组成,这意味着可以测量大脑中某一位置的血液动力学的变化。但在实践中,多通道系统被更频繁地使用,因为多通道系统可以同时测量更广的大脑区域并提供更多的大脑数据。此外,您应该考虑将在哪个大脑区域使用BCI:可以使用各种大脑激活方法,在这个例子中,我们将用我们的大脑运动皮层玩著名的“贪吃蛇”游戏。

图1,左侧图像显示了游戏“Brain Snake”的Matlab界面,蛇是通过一种基于近红外光谱(NIRS)的脑机接口(BCI)来控制的,具体来说是由手指敲击引起的运动皮层的血液动力学信号控制的。右侧图像显示了我们自己的Matlab脚本显示的血液动力学的输入变化。如果差值超过1μM,蛇就会右转。

我们的OxySoft软件用于记录NIRS数据,在OxySoft中,可以管理和分析记录的数据。但是,为了进行实时分析和数据处理,我们需要将数据实时流式传输到所选的分析软件,该软件将用作游戏的输入。例如,可以将OxyMon测量的数据流式传输到FieldTrip缓存区中,FieldTrip是一个基于Matlab的工具箱,可以从FieldTrip网站免费下载。借助FieldTrip,您可以实时分析NIRS数据,这对于BCI来说是非常有用的。您还可以使用Lab Streaming Layer实时传输数据(LSL)连接到网络上的任何设备和软件,我们将数据流链接到Matlab,并且使脚本生效,以便蛇可以使用数据进行转弯。

图2的顶部图表(通道1)显示了在静止状态下测量的原始血红蛋白变化。手指敲击是在垂直的蓝线之间进行的。在原始数据中,您可以看到频率快速波动(心跳),以及其他频率较低的振荡(缓慢的血管运动)。这些低频波具有与血红蛋白浓度变化相似的幅度,因此,它们可以掩盖变化。我们可以通过在设置中添加一个短的分离通道来显著提高BCI的成功率(图3)。图2中通道2的曲线图显示了在短分离通道中测得的信号。在图2的底部图中绘制了过滤后的信号,即用短分离通道过滤掉心跳和缓慢的血管运动。在该图中,我们可以看到一个非常清晰的对手指敲击的反应,手指敲击开始后,经过几秒钟的延迟,氧合血红蛋白浓度增加(通常约为1-2μM),脱氧血红蛋白浓度降低(约0.5μM)。您可以在图2的底部图形中看到这些变化,当信号幅度增加到某个阈值以上时,蛇将右转。因此,用户可以控制蛇并将其定向至黄色块。

图2,在运动皮层测得的典型的氧合血红蛋白(红色)和脱氧血红蛋白(蓝色)的浓度变化(OxySoft制图表)。x轴表示时间(以秒为单位),y轴表示浓度变化(以微摩尔表示)。在垂直的蓝线之间执行手指轻击,上图显示了使用4cm光电二极管之间的距离(通道1)测量的血液动力学变化,下图显示了在1.5cm光电二极管之间的距离的较浅通道(通道2)处的血红蛋白浓度。底部曲线图中绘制了两个通道之间的差异。减法(MF x通道1到通道2)中使用一个乘数因子(MF)。在这种情况下,O2Hb的倍增系数为1.6。此外,还绘制了三个手指敲击周期内标准偏差的循环平均值。

部分客户案例

BCI有许多应用,包括医疗保健、市场营销、教育、娱乐和安全性。但目前,这些所有的应用以及更多其他的应用都仍处于探索中。目前,近红外光谱技术正被广泛应用于脑机接口的创建和发展。研究人员Zephaniah和Kim(2014)撰写了一篇综述文章,介绍了基于NIRS的BCI的最新发展和应用。令我们高兴的是,他们提到了我们的便携式脑成像系统PortaLite,并在上面写下了一句话:“这只是一个传感器的示例,它显示了便利性和便携性,这使它成为BCI系统的理想选择。”我们相信这对OctaMon和Brite来说也是如此,我们相信我们的设备可以进行更多有趣的研究。与此同时,我们客户的工作也非常出色,不断学习和研究有关BCI的更多信息。以下是部分客户案例:

  • Kamavuako等人(2018年),利用OxyMon研究来调查是否可以利用在公开(沉默)或秘密(沉默)讲话期间Broca区域激活引起的血液动力学变化来创建BCI,以供患有神经肌肉疾病(如闭锁综合征)的人使用。
  • Hennrich及其的同事(2015年),利用OxyMon研究更复杂,功能更强大的分类方法(如基于NIRS的BCI的深度神经网络)的可行性。
  • 由于有效的单次试验分类是创建一个良好BCI的关键,Herff等人(2014年)使用OxyMon证明,测量PFC中的血液动力学变化可用于有力地量化和分类精神负荷。
  • Zhang及其的同事(2017)探索了在同一运动中识别运动表象和运动执行的可行性。结果表明,fNIRS-BCI确实可以在同一运动中识别两者。
  • Maior等人(2018)一直致力于fNIRS和神经电影学的合作,并可能利用fNIRS开发一部由大脑血液动力学反应驱动的交互式电影。

谢谢大家在BCI方面所做的工作,我们期待在这个令人着迷的领域中进行更多的研究!

参考文献:
1. Zephaniah, P. V., & Kim, J. G. (2014). Recent functional near infrared spectroscopy based brain computer interface systems: developments, applications and challenges. Biomedical Engineering Letters, 4(3), 223-230.
2. Kamavuako, E., Sheikh, U., Gilani, S., Jamil, M., & Niazi, I. (2018). Classification of overt and covert speech for Near-Infrared Spectroscopy-based Brain Computer Interface. Sensors, 18(9), 2989.
3. Hennrich, J., Herff, C., Heger, D., & Schultz, T. (2015, August). Investigating deep learning for fNIRS based BCI. In 2015 37th Annual international conference of the IEEE Engineering in Medicine and Biology Society (EMBC) (pp. 2844-2847). IEEE.
4. Herff, C., Heger, D., Fortmann, O., Hennrich, J., Putze, F., Schultz, T. (2014). Mental workload during n-back task—quantified in the prefrontal cortex using fNIRS. Frontiers in Human Neuroscience 7, 935.
5. Zhang, Z., Jiao, X., Xu, F., Jiang, J., Yang, H., Cao, Y., & Fu, J. (2017). The investigation of brain-computer interface for motor imagery and execution using functional near-infrared spectroscopy. In International Conference on Innovative Optical Health Science (Vol. 10245, p. 102450I). International Society for Optics and Photonics.
6. Ramchurn, R.; Maior, H.; Wilson, M.; Martindale, S.; Benford, S.; Cai, M. (2018, October) fNIRS and Neurocinematics. Poster session presented at the fNIRS 2018 conference in Tokyo, Japan.