一些机器学习概念

老师,我有些混淆这些概念。是否能给我解释一下,每个概念举个例子。
1,有监督学习和无监督学习,强化学习
2,分类和聚类。
3,比如KNN,是不是既有分类的KNN,又有聚类的KNN。
有些分不清了。

wgb - 机器学习与数据挖掘从业者

赞同来自: fish

先推荐一些资料,可以看下李航的《统计学习方法》第一章的内容。   1,关于有监督学习和无监督学习。 简单地说,数据集中只有X没有Y的问题,就是无监督学习,典型的比如聚类问题和降维问题(PCA)。   而数据集中,既有Y又有X的问题,就是有监督学习的问题,常见的有:回归问题,分类问题,标注问题等。   2,分类和聚类 比如,我知道了学生的n个指标X1,...,Xn。 如果我不知道其他信息,只想依据这n个指标给学生分成几个群体或者层次,那么这样的问题就是聚类问题。当然,这时候,聚成几个类以及聚类的结果如何解释,要依靠你的模型选择以及X的含义。   如果我还知道一部分学生健康状况Y(Y=1,表示健康;Y=2,表示不健康),那么我就可以建立这样一个模型:Y=f(X),然后利用训练集估计模型参数,对于一个Y不知的学生,我可以用建立的模型进行预测(Y=1 OR Y=0),那么这样的问题就是分类问题。   3,KNN KNN,k-最近邻,最常用的场景应该是解决监督学习中的分类和回归问题。其基本思想就是定义一种距离,然后用训练集中距离测试集中某个个体最近的k个类的Y(训练集中Y已知),来预测测试集中的个体。   实际上,聚类的思想和KNN类似,都是把“距离”最近的归为一类或者认为他们性质相似。但是我目前还没有听说用KNN来做聚类的。      

Robin_TY - PhD@CSU,研究方向:计算机视觉,模式识别

赞同来自: 跃爷

1. 我再补充一下关于增强学习的内容。   某些应用中,系统的输出是动作的序列。在这种情况下,单个的动作并不重要,重要的是策略,即达到目标的正确动作的序列。不存在中间状态中最好动作这种概念。如果一个动作是好的策略的组成部分,那么该动作就是好的。这种情况下,机器学习程序就应当能够评估策略的好坏程度,并从以往好的动作序列中学习,以便能够产生策略。这种学习方法称为增强学习(reinforcement learning)算法。它​强调如何基于环境而行动,以取得最大化的预期利益。​   在机器学习问题中,环境通常被规范为马可夫决策过程(MDP),所以许多强化学习算法在这种情况下使用动态规划技巧。传统的技术和强化学习算法的主要区别是,后者不需要关于MDP的知识,而且针对无法找到确切方法的大规模MDP。强化学习和标准的监督式学习之间的区别在于,它并不需要出现正确的输入/输出对,也不需要精确校正次优化的行为。强化学习更加专注于在线规划,需要在探索(在未知的领域)和遵从(现有知识)之间找到平衡。   参考资料:维基百科,《机器学习导论》   2. 是不是分类就是监督。聚类就是非监督。 这种说法不太严谨。可以这样表达:分类属于监督学习,聚类属于非监督学习。不过对于监督/非监督学习还是要从本质上区别,取决于训练样本是否给定了标签,也就是y。   3. 另一个疑虑在于,我现在写的knn,决策树,线性感知等等几乎大部分算法都是有y的,也就是说绝大多数遇到的都是监督的是吧? 这个问题其实和问题2是一样的,有y的当然就是监督学习了。但“绝大多数遇到的”,不知道指的是现实中的应用、还是指你现在自己在实现的算法。​

要回复问题请先登录注册