贝叶斯参数估计先验分布的选择

利用贝叶斯公式,得到似然函数的函数时候,需要知道先验分布和后验分布的形式。
准则1; 选取与似然函数具有相同核的分布作为先验分布
准则2:选择共轭先验分布,即先验分布和后验具有相同形式。

问题1:上边的描述是否正确?
问题2:我们在贝叶斯估计的时候,所有能获得的信息就是我们假设的先验和后验的分布?
问题3:为什么选择和似然函数相同核的分布作为先验分布?

邹博 - 计算机科学博士,深谙机器学习算法原理

赞同来自: fish 百分点乐凯

P(theta|x) ∝ P(x|theta) * P(theta)似然概率是P(x|theta)有场景确定的,如掷硬币就是两点分布/二项分布,线性回归的误差选择高斯分布。 因此,如果选择先验概率P(theta)为某个分布,使得该分布与似然概率的乘积仍然服从这个分布,则可以方便迭代运算,利于参数估计的收敛。这个选择的分布,就是似然分布的共轭先验分布。 须知,这样做更多的是工程需要,而非数学理论本身。

要回复问题请先登录注册