建设工程扣分查询网站,世界500强企业排名2023,wordpress能赚钱,专门做湘菜的网站1 机器学习概述
1.1 数据驱动的问题求解 大数据-Big Data 大数据的多面性
1.2 数据分析 机器学习#xff1a;海量的数据#xff0c;获取有用的信息
专门研究计算机怎样模拟或实现人类的学习行为#xff0c;以获取新的知识或技能#xff0c;重新组织已有的知识结构使之…1 机器学习概述
1.1 数据驱动的问题求解 大数据-Big Data 大数据的多面性
1.2 数据分析 机器学习海量的数据获取有用的信息
专门研究计算机怎样模拟或实现人类的学习行为以获取新的知识或技能重新组织已有的知识结构使之不断改善自身的性能使用计算机来彰显数据背后的真实含义它为了把无序的数据转换成有用的信息。是一门多领域交叉学科涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它是人工智能的核心是使计算机具有智能的根本途径其应用遍及人工智能的各个领域它主要使用归纳、综合而不是演绎。
2 机器学习基本概念
2.1 机器学习是什么 2.2 机器如何学习 2.3 学习范式1无监督
在机器学习无监督学习的问题是在未加标签的数据中试图找到隐藏的结构。 因为提供给学习者的实例是未标记的因此没有错误或报酬信号来评估潜在的解决方案。 数据没有类别信息也不会给定目标值。 非监督学习包括的类型
聚类在无监督学习中将数据集分成由类似的对象组成多个类的过程称为聚类。密度估计通过样本分布的紧密程度来估计与分组的相似性。此外无监督学习还可以减少数据特征的维度以便我们可以使用二维或三维图形更加直观地展示数据信息。 2.4 学习范式2有监督
给定一组数据我们知道正确的输出结果应该是什么样子并且知道在输入和输出之间有着一个特定的关系。 (包括分类和回归) 样本集训练数据 测试数据
训练样本 特征(feature) 目标变量(label: 分类-离散值/回归-连续值)特征通常是训练样本集的列它们是独立测量得到的。目标变量: 目标变量是机器学习预测算法的测试结果。在分类算法中目标变量的类型通常是标称型(如真与假)而在回归算法中通常是连续型(如1~100)。
2.5 机器学习的流程 2.5.1 训练过程 数据集的划分
训练集Training set学习样本数据集通过匹配一些参数来建立一个模型主要用来训练模型。类比考研前做的解题大全。验证集validation set 对学习出来的模型调整模型的参数如在神经网络中选择隐藏单元数。验证集还用来确定网络结构或者控制模型复杂程度的参数。类比 考研之前做的模拟考试。测试集Test set 测试训练好的模型的分辨能力。类比 考研。这次真的是一考定终身。
模型训练
欠拟合Underfitting模型没有很好地捕捉到数据特征不能够很好地拟合数据对训练样本的一般性质尚未学好。类比光看书不做题觉得自己什么都会了上了考场才知道自己啥都不会。过拟合Overfitting模型把训练样本学习“太好了”可能把一些训练样本自身的特性当做了所有潜在样本都有的一般性质导致泛化能力下降。类比做课后题全都做对了超纲题也都认为是考试必考题目上了考场还是啥都不会。通俗来说欠拟合和过拟合都可以用一句话来说欠拟合就是“你太天真了”过拟合就是“你想太多了”。 模型分类
分类问题 说白了就是将一些未知类别的数据分到现在已知的类别中去。比如根据你的一些信息判断你是高富帅还是穷屌丝。 评判分类效果好坏的三个指标就是上面介绍的三个指标正确率召回率F值。回归问题 对数值型连续随机变量进行预测和建模的监督学习算法。 回归往往会通过计算 误差Error来确定模型的精确性。聚类问题 聚类是一种无监督学习任务该算法基于数据的内部结构寻找观察样本的自然族群即集群。 聚类问题的标准一般基于距离簇内距离Intra-cluster Distance 和 簇间距离Inter-cluster Distance 。 簇内距离是越小越好也就是簇内的元素越相似越好而簇间距离越大越好也就是说簇间不同簇元素越不相同越好。一般的衡量聚类问题会给出一个结合簇内距离和簇间距离的公式。
2.5.2 机器学习算法汇总 3 机器学习算法使用
3.1 选择算法需要考虑的两个问题
算法场景 预测明天是否下雨因为可以用历史的天气情况做预测所以选择监督学习算法给一群陌生的人进行分组但是我们并没有这些人的类别信息所以选择无监督学习算法、通过他们身高、体重等特征进行处理。 需要收集或分析的数据是什么 3.2 机器学习开发流程
收集数据: 收集样本数据准备数据: 注意数据的格式分析数据: 为了确保数据集中没有垃圾数据 如果是算法可以处理的数据格式或可信任的数据源则可以跳过该步骤另外该步骤需要人工干预会降低自动化系统的价值。 训练算法: [机器学习算法核心]如果使用无监督学习算法由于不存在目标变量值则可以跳过该步骤测试算法: [机器学习算法核心]评估算法效果使用算法: 将机器学习算法转为应用程序
3.3 常见的模型指标
正确率 提取出的正确信息条数 / 提取出的信息条数召回率 提取出的正确信息条数 / 样本中的信息条数F 值 正确率 * 召回率 * 2 / 正确率 召回率F值即为正确率和召回率的调和平均值
【例】 某池塘有 1400 条鲤鱼300 只虾300 只乌龟。现在以捕鲤鱼为目的。撒了一张网逮住了 700 条鲤鱼200 只 虾 100 只乌龟。 【答】那么这些指标分别如下 正确率 700 / (700 200 100) 70% 召回率 700 / 1400 50% F 值 70% * 50% * 2 / (70% 50%) 58.3%
3.4 机器学习数学基础
微积分 统计学/概率论 线性代数
4 机器学习工具
Python语言 科学函数库SciPy、NumPy(底层语言C和Fortran)绘图工具库Matplotlib数据分析库 Pandassklearn 数学工具Matlab
5 课后延伸
请学习数学基础并组织分组讲解内容参考 https://zhuanlan.zhihu.com/p/25197792
参考资料
《机器学习》 周志华 《统计学习方法》 李航 《Python核心编程》 人民邮电出版社 “Pattern recognition and machine learning” Bishop 《数据挖掘-概念与技术》 Jiawei Han等机械工业出版社 《机器学习实战》 Peter Harrington人民邮电出版社
