贝叶斯决策理论中,两种经典的策略包括:1、已知类条件概率密度参数表达式和先验概率。2、利用贝叶斯公式转换成后验概率。
贝叶斯决策(Bayesian Decision Theory)就是在不完全情报下,对部分未知的状态用主观概率估计,然后用贝叶斯公式对发生概率进行修正,最后再利用期望值和修正概率做出最优决策。
贝叶斯决策属于风险型决策,决策者虽不能控制客观因素的变化,但却掌握其变化的可能状况及各状况的分布概率,并利用期望值即未来可能出现的平均状况作为决策准则。
贝叶斯决策理论方法是统计模型决策中的一个基本方法,其基本思想是:
1、已知类条件概率密度参数表达式和先验概率。
2、利用贝叶斯公式转换成后验概率。
理论分析
(1)如果,我们已知,被分类类别概率分布的形式和已经标记类别的训练样本集合,那我们,就需要从训练样本集合中,来估计概率分布的参数。
在现实世界中,有时会出现这种情况。(如,已知为正态分布了,根据标记好类别的样本来估计参数,常见的是极大似然率和贝叶斯参数估计方法)
(2)如果,我们不知道,任何有关被分类类别概率分布的知识,已知,已经标记类别的训练样本集合和判别式函数的形式,那我们,就需要从训练样本集合中,来估计判别式函数的参数。在现实世界中,有时会出现这种情况。
(如,已知判别式函数为线性或二次的,那么,就要根据训练样本来估计判别式的参数,常见的是线性判别式和神经网络)
(3)如果,我们既不知道,任何有关被分类类别概率分布的知识,也不知道,判别式函数的形式,只有已经标记类别的训练样本集合。
那我们,就需要从训练样本集合中,来估计概率分布函数的参数。在现实世界中,经常出现这种情况。(如,首先要估计是什么分布,再估计参数。常见的是非参数估计)
(4)只有没有标记类别的训练样本集合。这是经常发生的情形。我们需要对训练样本集合进行聚类,从而,估计它们概率分布的参数。(这是无监督的学习)
(5)如果,我们已知被分类类别的概率分布,那么,我们不需要训练样本集合,利用贝叶斯决策理论就可以设计最优分类器。但是,在现实世界中,从没有出现过这种情况。这里是贝叶斯决策理论常用的地方。