九游（NINEGAME）娱乐股份有限公司-官方网站

　　电刺激（ElectricalStimulation）在许多后天失明患者中能够引发视觉感知，通常通过视网膜或视神经假体传递。大多数视觉假体利用相机捕捉视觉场景，并通过计算机视觉算法处理，将其转换为视觉刺激模式。然而，这一过程需要精细优化刺激参数，以产生有用的感知。

　　Romeni 等人在近期的研究中，探讨了脑电图（EEG）作为反馈皮层信号，用于优化电刺激过程。他们首次研究了EEG 对电刺激兼容的视觉刺激（包含多个视觉特征变化）响应的可辨识性，并采用机器九游娱乐学习算法解码视觉刺激的多个特征，显著加快了电刺激优化过程。此外，EEG作为非侵入式脑机接口工具，使得电刺激优化无需构建详细的生物物理模型，也无需采用除神经假体植入以外的侵入性程序。该研究有助于确定哪些视觉特征可以从脑电反应中解码，哪些视觉特征可以从电刺激兼容的刺激中分辨出来，从而为使用EEG优化电刺激参数铺平了道路，提高了当前视觉神经义肢的有效性。

　　该研究包括10名健康被试，坐在覆盖他们大部分视野的大屏幕前（图1(b)）。在黑暗背景上闪现一系列不同大小和位置的矩形亮形状，共60种不同的视觉刺激。刺激特征包括：大小、位置、亮度、形状（块状/条状）、大小和位置。每种刺激重复50次，每个视觉刺激闪现并保持750毫秒，然后闪灭。下一个刺激在随机选择的（1000到1250）毫秒的间隔时间后闪现（图1(c)）。此过程同时记录EEG信号，128通道。为了评估区分刺激多个特征的可能性，实验人员定义了十组解码任务，分别解码关于呈现刺激的位置、大小或两者的信息（图1）。

　　Fig1. 实验设置。(a) 使用视觉特征EEG解码器优化视觉恢复电刺激的工作流程。(b) 被试相对于屏幕的位置、屏幕尺寸和覆盖的视野部分。刺激在屏幕的一个区域闪烁，该区域分为25个等大的方格。要求参与者注视屏幕中央出现的红点。(c) 视觉刺激序列的表示，包括基线、刺激和随机后刺激间隔。

　　结果发现，刺激物的大小及其亮度对事件相关电位（ERP）有显著影响。较大的视觉刺激会使ERP相对于基线产生较大的正偏差和较小的负偏差。调节视觉刺激物的大小并不会按比例复制EEG反应，这表明视觉刺激的特征对脑电反应有复杂的影响。（图2）

　　Fig.2 与亮度相关类别的ERP。图中显示了三个受试者在枕叶和顶叶通道中的亮度相关类别（1块 vs 3条形 vs 5条形，以及1块 vs 4块 vs 9块）的ERP（0-0.75秒）。所选受试者（受试者1、2和10）分别是分类得分最高、最低和平均的受试者。不同颜色代表不同的刺激，而彩色带表示不同类别的单次试次响应显著不同的时间间隔，彩带的颜色表示显著性水平。所示通道的位置显示在左上角的拓扑图中。

　　相反，结果发现枕叶通道的ERP反应与刺激位置相关，而与刺激大小无关。此外，不同位置的视觉刺激的ERP在受试者间的差异更为显著。例如，例如，视野左侧的刺激会在头皮右侧产生较大的负偏转，视野下部的刺激会在ERPs中产生较大的负偏转。在大多数任务和受试者中，一些脑区在不同类别之间达到了统计学上的显著水平。（图3）

　　Fig3. 位置相关类别的 ERPs 电位。三个受试者在枕叶和顶叶通道的位置相关类别（左与右、上与下）ERPs（0-0.75 秒）。选取的受试者（受试者 1、2 和 10）是分类得分最好、最差和平均的受试者。不同的颜色对应不同的刺激，而彩色带则对应不同类别的单次试次反应存在显著差异的时间间隔，带的颜色代表显著性水平（见图例）。所示通道的位置显示在左上角的地形图中。

　　图 4(a)显示了十倍交叉验证折叠或蒙特卡罗重采样的受试者准确率以及相应的概率水平。图 4(b)发现，在位置解码任务和块解码任务中，解码准确率都明显高于偶然水平。

　　不同受试者的解码表现存在显著差异。此外，研究人员发现，当任务包含多种视觉特征，而这些视觉特征仅有细微差别或者不同视觉刺激的亮度和偏心率同时增加，会导致解码精度的下降。（图4）

　　Fig4. 单次试次解码。(a) 所有受试者和解码任务的分类准确性，评估方法为十折交叉验证或十次重采样的平均值。误差条表示十倍交叉验证折叠和重采样的标准差。(b) 通过Wilcoxon检验获得的所有宏类和所有受试者的p值。该分析测试单次试次解码获得的中位准确性是否高于随机解码器获得的中位准确性。如果p  0.0001，则单元格以红色突出显示；如果p  0.001，则以橙色突出显示；如果p  0.005，则以黄色突出显示；如果p  0.005，则以白色突出显示。

　　研究发现，多次试次解码可以显著提高准确性。有趣的是，在某些情况下，多次试次解码导致了准确性的下降。为了研究这种现象，研究人员研究了多次试次解码引起的准确性变化是否依赖于初始准确性。图5(b)发现当单次试次的初始性能较高时，多次试次解码相对于单次试次解码会产生更高的性能提升。（图5）

　　Fig5. 多次试次解码结果。(a) 按受试者获得的准确率曲线，通过改变多次试次推断中使用的试次次数得到。(b) 准确性从单次试次到15次试次（多次试次）推断的变化依赖于单次试次的变化。正值表示单次试次和多次试次推断之间的准确性增加。黑线代表每个子图中点的最小二乘拟合，子图标题中报告了与线斜率相关的显著性水平。(c) 受试者1的单次、2次、3次和15次试次推断的平均混淆矩阵。平均值是通过十倍交叉验证/10次蒙特卡罗重采样计算的。在子图标题中，我们报告了跨折叠的平均准确性。

　　从EEG活动中解码视觉刺激的能力是使用EEG技术作为反馈来优化电刺激（ES）的前提。在本研究中，研究人员定义了一组新颖的视觉刺激，与视觉系统的电刺激相兼容，并展示了不同刺激类别对应的EEG ERP在统计上是可以区分的。通过机器学习进行单次试次的解码，获得了高于机会水平的准确率，并通过多次试次解码策略对视觉刺激特征辨别过程进行了改进。同时，研究人员定量的发现了哪些视觉特征（角、五条纵线和水平线）能导致成功的解码，哪些视觉特征解码相对过于困难（亮度、中心和外部区域）。

　　该研究证明了EEG信号能够有效地解码不同的视觉刺激特征。尽管，在健康受试者群体上训练的解码器可能无法直接用于盲人患者，但这为利用EEG优化电刺激参数提供了重要依据，有望提高视觉神经假体的有效性，使更多失明患者能够通过视觉假体恢复部分视觉功能。未来可以通过迁移学习的方式，对患者数据进行解码器的微调和领域适应技术来促进技术使用的泛化能力。