原文：Multivariate pattern analysis of MEG and EEG: A comparison of representational structure in time and space
MEG和EEG的多变量模式分析：表征性结构在时间和空间的比较
亮点 ：系统比较了MEG和EEG在采用SVM的RSA分析时的结果差异，其比较思路和技术细节值得参考，例如给出了采用方法的详尽理由，包括优点辨析和成功条件。也展示了如何用RSA结合EEG/MEG和fMRI进行研究。可以加深理解MEG、EEG差异，以及RSA分析方法的使用逻辑和注意问题。
【内容】为个人思考补充
脑磁图MEG和脑电图EEG来进行多变量模式分析可以揭示认知背后的高时间分辨率的神经机制，但问题是 MEG和EEG的神经活动采样存在系统的差异 。
Method ：为了解释这个问题，在被试观看 日常物体的图像 时进行了同步的脑磁图MEG/脑电图EEG研究。对脑磁图和脑电图数据进行多变量分类分析（multivariate classification analyses），互相比较时间进程下的结果，并对功能磁共振成像数据进行单独的空间分析。
Result ：脑磁图和脑电图显示的视觉处理的毫秒级时空变化基本一致。除了产生收敛的结果外，也发现了脑磁图和脑电图对于视觉表征部分独特的方面。 相较于EEG，在MEG这些独特的成分较早出现 。通过fMRI识别这些独特成分的来源， 无论脑磁图还是脑电图都来自于高级视觉皮层，而脑磁图还显示了来自低水平视觉皮层的成分 。
Conclusion ：总之，对MEG和EEG数据的多变量分析提供了一个关于神经处理的趋同和互补的观点，并促使在MEG和EEG研究中更广泛地采用这些方法。
16名健康人类志愿者（7名女性，年龄mean ± s.d. = 24.1 ± 4.5）
刺激集包括92张彩色照片（Kiani等人，2007；Kriegeskorte等人，2008b；Cichy等人，2014，2016b），包括人类和非人类的面部和身体，以及分隔在灰色背景上的自然和人工物体（图1a）。
被试观看在屏幕中心呈现的图像（视觉角度4度），时间为500毫秒，并叠加一个浅灰色的固定十字。共15次测试，每次持续290秒。在每次测试中，每个图像都以随机顺序呈现两次，试验间隔（ITI）被随机设置为1.0或1.1秒，概率相同。被试被要求保持固定，并在每3至5次试验中随机显示回形针图像时按下按钮并眨眼（平均4次）。回形针图像不是92个图像集的一部分，回形针试次被排除在进一步分析之外。
同时采集MEG和 EEG 信号。MEG 306个通道，EEG 74个通道。
先用Maxfilter software，采用默认参数处理清除不良数据。之后用BrainStorm进行预处理，分段是-100 到 900ms，采用30Hz低通滤波
【以下分析为揭示两种数据对于不同实验材料和概念水平进行分类的精度】
使用了多种采样方式
1）全部74个EEG通道；2）全部306个MEG通道；3）74个MEG通道的随机子集和同样数量的EEG通道路；4）380（306+74）个所有MEG和EEG通道等
首先确认了单个实验条件下，区分MEG和EEG激活模式的时间进程。分类采用了SVM线性支持向量机，使用libsvm软件，固定正则化参数，C=1.
【Feature selection】分类方法是时间分辨的，从MEG和EEG通道的测量结果中分别创建了每一毫秒的模式向量。特别是，对于每个时间点t（从-100到900毫秒，以1毫秒为单位）， 每个试验的特定条件下通道激活值作为模式向量 （M =30【15个run，每个材料重复两次】），从而产生30个原始模式向量。
【Pattern assembly & partitioning】【Average】为了减少计算负荷，提升信噪比，按照随机顺序再次平均了每组（k=5）的M向量，得到了M/k=6 个的平均模式向量。
【Pairwise classification】对于所有成对的条件组合，在平均的模式向量上训练和测试SVM分类器。详细来讲，M/k-1个模式向量被分配到一个训练集来训练SVM。保留的模式向量被分配到测试集，用来评估训练后的SVM的性能（%解码准确率）。
训练和测试程序重复100次，随机分配原始模式向量到平均模式向量。对于减少通道数据集的情况，这也涉及到对每个迭代的通道进行重新取样，以获得解码准确的无偏估计。
【RDM】对于每个时间点，将跨迭代的平均分类结果存储在92* 92大小的矩阵中，按分类条件的行和列进行索引。这个解码矩阵是对称的，有一个未定义的对角线（因为条件内没有分类）。
评估了何时MEG和EEG激活模式可以在 上级（有生命与无生命，自然与人工）、中级（身体与面孔） 和下级（人与动物的身体和面孔）这三个水平区分五种不同物体类型。为此，根据矩阵元素索引的条件对，将92* 92解码矩阵划分为相关分类的类别内和类别间。类别间减去类别内的解码准确度的平均值 作为 类别的聚类衡量标准 ，表明关于类别成员的信息超过单一图像的可辨别性。
【以下分析为揭示MEG和EEG测量的差异之处】
为了揭示MEG和EEG数据的多变量模式分析所发现的视觉表征的共同与独特之处，使用了表征相似性分析（RSA）。将 解码准确率作为异质性（dissimilarity）测量指标：解码准确率越高，分类条件的激活模式就越不相似。
使用由 线性SVM确定的解码准确率作为距离测量的优点 是：i）它可以自动选择包含鉴别性信息的通道，从而避免了基于人类的选择的需要，因为这种选择可能带来偏见；ii）它可能对噪音很强的通道不那么敏感，而不是对所有通道的贡献进行同样权重的测量，如相关性分析。
MEG和EEG解码矩阵被解析为 表征差异矩阵（RDMs） ，这允许在两种模式之间进行直接比较。其基本思想是，如果EEG和MEG测量类似的信号，那么在EEG中唤起类似模式的两个物体也应该在MEG中唤起类似的模式。
RDMs的有效比较要求它们 由独立的数据构建 （Henriksson等人，2015）。否则，与实验条件无关的trial by trial信号波动，如认知状态（注意力、警惕性）或外部噪声（运动、电磁噪声）将膨胀、扭曲，并使EEG和MEG之间的相似性产生偏差。
为了独立构建MEG和EEG的RDMs，我们将数据分成两半，将偶数和奇数试验分配到不同的集合 。然后我们用RSA比较了（Spearman's R）来自split half 1与split half 2的RDMs，在MEG和EEG测量模式内部和之间进行比较（Fig 3A）。重要的是， 由于相同试验的脑电图和脑电图数据在每次分割中都被分组，脑电图和脑电图测量模式内部和之间的比较同样受到逐次试验波动的影响，因此具有很好的可比性 （如果脑电图和脑电图分别记录于记录在单独的session，就不会出现这种情况【强调了两个数据需要同时获得而不能分别获取的必要性】）。
比较不同成像模式（MEG与EEG）的RDMs，只显示了视觉表征的共同方面。比较成像模式内的RDMs（MEG vs MEG，EEG vs EEG）获取的信度估计就包含了其共同和独特方面。
因此， 模式内相似性减去跨模式相似性的差异 揭示了用MEG或EEG测量的视觉表征的独特方面。在这个分析中，时间分辨的分类与上述单个图像分类类似，但为了减少试次，再次平均模式向量时平均k=3个的模式向量。
与已有数据进行对比【Cichy, R.M., Pantazis, D., Oliva, A., 2014. Resolving human object recognition in space and time. Nat. Neurosci. 17, 455–462.】
15名参与者在记录fMRI数据时观看了相同的92幅图像集。每个参与者在两个不同的日子里完成了两个测试，每个测试由10-14次trial组成，每次持续384秒。在每次运行中，每幅图像都被展示一次，图像顺序是随机的。在每次试验中，图像显示500毫秒。【保持被试注意的任务】所有试验中的25%是无效试验，在此期间只呈现灰色背景，固定的注视点变暗了100毫秒。被试被要求用按下按钮的方式来报告固定交叉亮度的变化。
两个兴趣区（ROI）：初级视觉区 V1（primary visual area）和下颞叶皮质IT（inferior temporal cortex）。
使用基于相关性的异质性测量为每个被试单独构建fMRI的RDMs。
【构建相似性矩阵】对于每个ROI，提取并串联每个图像条件的fMRI 体素激活值 。然后，计算每对图像条件的模式向量之间的所有成对相关系数（皮尔逊的R），并将结果存储在一个92 92的对称矩阵中，按比较条件的行和列索引。
【转换指标】通过1-R，将相关相似性测量转换为差异性测量。选择这种距离测量的原因是，
1）它是fMRI分析中的常见选择；
2）已被证明能够与MEG数据成功融合；
3）计算速度快；并允许直接比较基于相同fMRI数据的结果。
为了进一步的分析，对所产生的异质性的测量进行了平均，产生 每个被试和ROI一个RDM 。
为了确定在MEG和EEG中观察到的时间动态的空间来源，并将它们相互比较，使用了基于RSA的MEG/EEG-fMRI融合方法（Cichy等人，2014，2017，2016b，a）。
采取这一分析的目的是绑定特定的(无时间)的fMRI空间点与(无空间)的MEG/EEG时间点的表征相似性，如果条件在fMRI和MEG信号空间中唤起类似的模式，那么时间和空间的点就被联系起来。
这种方法的成功关键是取决于，在物体视觉过程中表征几何学在空间和时间上的快速变化，从而空间分辨率的fMRI RDMs可以与时间分辨率的MEG RDMs独特地联系起来。
最后，为了比较基于不同MEG和EEG数据集的融合结果，我们基于一个通道采样的结果中减去基于另一个通道采样的结果，来获得特定被试的融合结果。
对于每个ROI和被试，计算每个时间点特定的fMRI RDM和平均的MEG或EEG RDM之间的相似性，从而得到表征相似性时间进程。（Fig 4A）
对每个fMRI被试，在时间点从-100到+500毫秒以5毫秒为单位，分别进行了Searchlight分析。对于每个体素v，在以体素v为中心、半径为4个体素的球体中提取特定条件的t-value 模式（searchlight at v），并将它们排列成 模式向量 。
用1减去每对条件的Pearson's R 来计算模式向量之间的成对不相似性，从而得出fMRI RDM。然后计算探照灯特定的fMRI RDM和被试平均的MEG或EEG RDMs之间的相似性（Spearman's R）。
对大脑中的每个体素重复这一分析，得到了fMRI和MEG或EEG在每个时间点的表征相似性的三维图。对所有的时间点重复同样的方法，我们得到了一系列的三维地图，揭示了在物体感知过程中人脑的时空激活，这些激活分别由MEG和EEG记录。
置换检验和bootstrap
对于每个时间点，对解码矩阵的所有元素进行了平均，产生了所有实验条件下特定条件下解码准确性的大平均时间过程（Fig. 1C）。观察到MEG/EEG 的所有四个主要通道采样的显著效果。这表明， 原则上MEG和EEG信号都可以进行同样的多元分析 ，并再现了Cichy等人（2014）基于脑电图的结果。
鉴于MEG和EEG在解码单一图像方面的定性和定量差异，调查了MEG和EEG在揭示不同分类抽象水平的物体类别处理信息方面是否也有差异。
按照Cichy等人（2014）的方法，我们将解码准确率矩阵划分为两个分区：图像属于统一类别浅灰，不同类别深灰。
平均子类之内和之间的解码正确率（decoding accuracies）的比较作为检验类别的聚类标准。其原理是，为了揭示多于单个图像信息的类别信息，必须从表明单个图像和类别之间（不同的子类）的差异的信息中减去表明单个图像之间的差异的信息（相同的子类）。这就产生了对一个表征的明确测量，即类别信息可以以线性方式读出（DiCarlo和Cox，2007）。
发现在MEG和EEG的sensor的所有四个采样中，所有五个细分类别的信息都有明显的信号（Fig 2A-E，中间部分，除了EEG中的自然性）。
从差异的角度来看，仅发现微小的统计差异。且潜伏期无显著差异。
最后，基于MEG&EEG与MEG采样的结果比较显示，除自然性外，所有情况下都有差异（Fig 2A-E）。
平均单幅图像解码准确性和特定类别的信号是汇总统计，只能部分反映脑电图和EEG数据中丰富的多变量信息。如果考虑到解码矩阵所捕获的整个表征空间结构，那么脑电图和EEG是如何比较的呢？为了进行研究，在完整的解码矩阵上使用了表征相似性分析（RSA）
Fig 5B，发现了一个正性显著的表征相似性时间过程，表明视觉表征的某些方面被两种模式都捕捉到了。同时也存在一个显著高于跨模式表征的相似性，表明MEG和EEG也分别解决了视觉表征的部分独特方面。
MEG和EEG独特信号的时间进程是不同的：MEG的峰值延迟明显早于EEG的峰值延迟。
发现了两个脑区在所有通道采样方式的情况下显著的fMRI和MEG/EEG的表征相似性（Fig4 BD）
在比较 MEG和EEG的差异和共同之处时，
首先，比较峰值潜伏期，没有发现显著差异
其次，比较减去EEG或MEG的结果（Fig4 CE）观察哪种模式和fMRI相似性更高。发现MEG为基础的融合相似性一致的强于EEG为基础的融合。
第三，进一步进行偏相关分析。发现MEG 在V1脑区的独特成分比EEG更敏感（Fig 5）
基于MEG和EEG的与fMRI数据的融合都揭示了腹侧视觉流中表征相似性的逐级前馈（feedward cascade 前馈级联）早期的表征关系在枕极（occipital pole）类似，以可比较的动态变化沿腹侧视觉通路迅速扩散。（Fig.6B）
总体而言结果表明，MEG和EEG都很适合与fMRI数据进行基于RSA的融合，以揭示皮质信息流，但没有揭示MEG/EEG对视觉表征独特方面的进一步敏感性来源。
总的来说，几乎所有在一种测量模式中产生重要结果的分析在另一种模式中也产生了重要结果（EEG的自然性分类是唯一例外）。
通过基于分类的时间进程对脑电图和EEG进行比较，以及直接通过表征相似性分析，产生了对神经表征的共同和独特方面的敏感性证据。
MEG和EEG与fMRI的融合使独特的方面得到了空间定位：两种模式都捕捉到了高水平视觉皮层中表征的独特方面，而MEG也捕捉到了低水平视觉皮层中的表征。可能是由于低级视觉区位于浅层来源，而高级视觉区是深层来源。因为低级视觉区神经元活动更早出现，所以MEG更早的峰值，也可以被解释为MEG对浅层神经源更敏感。
并且在通道数保留很少（32）时，大部分效应仍然可以被观察到，说明了RSA可以应用于只有少量通道时的情景。
EEG效应弱于MEG，说明MEG在需要时间分辨率时是更优选