请问，线性判别分析LDA和偏最小二乘判别分析PLSDA有什么区别？

Question

如题所述

Answer 1

线性判别分析（LDA）和偏最小二乘判别分析（PLS-DA）是两种常用的多变量分析方法，用于模式识别和分类问题。它们之间有一些关键的区别：
一、基本原理:
1.LDA:
这种方法的目的是找到一个线性组合的特征，这样不同类别的数据在这个新的维度上尽可能分开。它通过最大化类间差异和最小化类内差异来实现。
2.PLS-DA:
PLS-DA是偏最小二乘回归的变体，专用于分类问题。它寻找变量的线性组合以最大化原始变量和响应变量（类别）之间的协方差。
二、假设条件:
1.LDA:
它假设不同类别的数据具有相同的协方差结构，且数据近似服从多元正态分布。
2.PLS-DA:
相比之下，PLS-DA对数据的分布和协方差结构没有严格的假设。
三、适用性:
1.LDA:
最适合于数据集的特征是相互独立的情况，特别是当特征的数量较少时效果更好。
2.PLS-DA:
对于具有大量相关特征的复杂数据集更为合适，尤其是在化学计量学和生物信息学等领域。
四、容错性和鲁棒性:
1.LDA:
对异常值和非正态分布的数据较为敏感。
2.PLS-DA:
更具鲁棒性，能更好地处理异常值和非正态分布的数据。

Answer 2

把4维的x向量X=(x1,x2,x3,x4),拓展成14维的向量(x1,x2,x3,x4,x1*x1,x1*x2,x1*x3,x1*x4,x2*x2,x2*x3,x2*x4,x3*x3,x3*x4,x4*x4),可以把原问题化简为老师提示的问题,从而进行求解. 楼主学过模式识别（Pattern Recognition）里的LDA（Linear Discriminant Analysis）算法吗?中文叫线性判别分析.LDA算法基本就是求解这么个问题： minimize t subject to Ax=-1 (数值) LDA算法是模式识别里的经典算法,它有很成熟的解析解,你随便网上搜搜,就能得到很详细的解答. 楼主本身的这个问题,算是QDA算法（Quadratic Discriminant Analysis）,中文叫二次项判别分析.因为QDA带了二次项,因此比LDA本身要复杂一些. 但是QDA问题可以简化成LDA算法,具体方法就是把4维向量X=(x1,x2,x3,x4),扩展成如下的14维向量Y=(x1,x2,x3,x4,x1*x1,x1*x2,x1*x3,x1*x4,x2*x2,x2*x3,x2*x4,x3*x3,x3*x4,x4*x4). 这样XT*A*X+bT*X+c,就可以化为dT*Y+c的形式了（这个14维向量d和A,b的关系很容易算）,然后套用下现成的LDA算法求出d,然后反推出A和b,基本就搞定了.