导购网站怎么建立,wordpress编辑主题,深圳旅游公司网站,wordpress自主注册机器学习视频地址#xff1a;
4.5 线性回归中的梯度下降_哔哩哔哩_bilibili
机器学习分类#xff1a;
1. 有监督学习#xff08;Supervised Learning#xff09;
在有监督学习中#xff0c;训练数据包含了输入特征和正确的输出标签#xff0c;模型通过这些带有标签的…机器学习视频地址
4.5 线性回归中的梯度下降_哔哩哔哩_bilibili
机器学习分类
1. 有监督学习Supervised Learning
在有监督学习中训练数据包含了输入特征和正确的输出标签模型通过这些带有标签的数据进行学习以预测新数据的输出。
分类Classification目标是预测数据点属于哪个类别。例如电子邮件是否为垃圾邮件、图片中对象的类型等。回归Regression用于预测一个连续值的输出。比如预测房价或股票价格。
2. 无监督学习Unsupervised Learning
在无监督学习中训练数据不包含输出标签算法试图从未标注的数据中学习出一些有用的模式或结构。
聚类Clustering目的是发现数据中的自然分组。如将客户分成不同的市场群体。关联规则学习Association Rule Learning旨在挖掘变量之间的关系例如购物篮分析中找出哪些商品经常一起被购买。降维Dimensionality Reduction减少数据集的变量数量同时尽量保留原始数据的信息用于简化数据以便于可视化或提高模型效率。
其他学习方式
除了上述两种主要的学习方式外还有
半监督学习Semi-supervised Learning介于有监督学习与无监督学习之间的一种方法使用少量带标签的数据和大量不带标签的数据进行学习。强化学习Reinforcement Learning通过试错机制来学习策略以最大化某种累积奖励。它广泛应用于机器人导航、游戏AI等领域。
损失函数学习地址
损失函数选择
选凸函数的话会收敛到全局最小值。证明凸函数用Hessian矩阵。凸函数定义两点连线比线上所有点都大。
batch理解
在机器学习中指的是用于一次模型更新的所有样本的集合。当使用批处理进行训练时每次更新模型参数是基于整个批处理内的所有样本计算得到的梯度。batch设置为2的话数据集6张图片第一次1 2第二次3 4第三次5 6
梯度下降法学习地址
numpy学习地址
Python之Numpy详细教程_python numpy-CSDN博客
numpy常用函数 np.array([1,2,3])np.array(
[1,2],
[2,3],
[3,4])
//reshape(-1, 1) 是一种便捷的方式来将任何一维数组转换为列向量其中 -1 告诉 NumPy 自动计算合适的尺寸以匹配另一维度的大小在这里是指定的 1
//reshape(-1, x)可以理解为得到x的数组
np.array([1, 2, 3]).reshape(-1, 1)
//做点积操作
np.dot(w,x)特征归一化处理
归一化方法学习地址 Min-Max 归一化通过线性变换将数据映射到[0, 1]区间内。
Z-score 标准化Standardization这种方法将原始数据转换为均值为0、标准差为1的数据分布即标准正态分布。
L2 正则化也称为向量归一化对于每个样本将其特征向量除以其L2范数使得每个样本的特征向量长度为1。这在文本分类等需要处理高维度稀疏数据的任务中非常有用。
Batch Normalization不同于上述针对输入数据的归一化方法Batch Normalization是在神经网络内部使用的一种技术通常应用于隐藏层的输出上。它通过对每一批次的小批量数据进行归一化保持输入到每一层的分布稳定从而加速训练过程并允许使用更高的学习率。
Layer Normalization与Batch Normalization不同Layer Normalization是基于单个训练样本而不是批次来计算均值和方差因此不受批次大小的影响特别适合于循环神经网络RNN或需要在线学习的场景。
梯度下降中如何选择
正常情况下会是这样如果误差越来越大说明学习率大了。 停止条件
1.看图达到最小。2.判断收敛数分那种收敛判定。
如何选择
这两种说明学习率太大或者程序有bug。 常用技巧就是将学习率设置的很小。
通常来说0.001 0.003 0.01 0.03 0.1 0.3 1 ...经常尝试扩大三倍取值。
