mahout bayes(贝叶斯)算法研究(2)

mahout bayes(贝叶斯)算法研究
接前面的mahout-bayes(贝叶斯)算法研究(1)
9.输出数据含义分析与研究 
 
这个混合矩阵的意思说明: 
上述a到u分别是代表了有20类别,这就是我们之前给的20个输入文件                                                                                                            
列中的数据说明每个类别中被分配到的字节个数,classified说明应该被分配到的总数
381 0   0   0   0   9   1   0   0   0   1   0   0   2   0   1   0   0   3   0   0    |  398  a     = rec.motorcycles
意思为rec.motorcycles 本来是属于 a,有381篇文档被划为了a类,这个是正确的数据,其它的分别表示划到b~u类中的数目。我们可以看到其正确率为  381/398=0.95728643216080402010050251256281 ,可见其正确率还是很高的了。
 
 
10.输入数据格式分析研究
 
就像案例一样:需要输入的内容是文本分类和模型使用              
在train中添加特征类型数据
在test中添加测试数据
 
Train的输入格式,第一个字符时类标签,剩余的是特征(单词),标签和特征词用table键隔开,如下面的格式:

比如在20newsgroup这个例子中的文件中

alt.atheism是类标签,剩下的是特征。其他的类似11.如何将业务数据转换成对应的输入数据
 
假设我们要通过某一些关键词来确定这个账单是最可能属于谁的
 
账单1

 账单2

当特征值选取


Result

 
 
在zhangdan2中一共3条记录,有2条被收录到b(zhangdan1)中,有1条被收录到a(zhangdan2)
满足条件:字段:shanghai和zhangchun都在zhangdan1中满足2条
          字段:beijing在zhangdan2中满足1条
所以该文档更可能属于zhangdan1
 
测试可能不够全面只是为了了解大致了解
 12.如何将结果提取并应用
 
 
看这条输出:
a列代表数据在a中的符合条数(即可能有386个在a),所以a被归类在comp.graphics的可能性很高
所以可能通过这样的数据来判断数据可能被归类到哪里
13.适用场景展望
 
该算法可能用来处理大规模数据的分类,特征值选取越准确,正确率越高,算法简单容易理解,但在单机上的实验运行速度较慢。

0 个评论

要回复文章请先登录注册