广州网站建设找哪里,营销策略4p,濮阳市做网站公司,wordpress php版本太低目录
1 关于阈值θ和偏移量b和公式变形的由来
2 激活函数
3 关于回归#xff0c;分类等
4 关于模型
5 关于回归
6 关于分类
7 关于误差和梯度下降
7-2 最小二乘法修改θ
8 深度学习
10 分类
11 参考书籍 1 关于阈值θ和偏移量b和公式变形的由来 比如很多信息传入可…
目录
1 关于阈值θ和偏移量b和公式变形的由来
2 激活函数
3 关于回归分类等
4 关于模型
5 关于回归
6 关于分类
7 关于误差和梯度下降
7-2 最小二乘法修改θ
8 深度学习
10 分类
11 参考书籍 1 关于阈值θ和偏移量b和公式变形的由来 比如很多信息传入可以表达为
WXw1x1w2x2....这个是输入值其中w表示权重x表示信息
也有的写成 θXθ1x1θ2x2....这个是输入值都是一个意思 如果w1x1w2x2....θ 就会激活 如果w1x1w2x2....θ 就不激活 那么 w1x1w2x2....θ就是判断公式 可以变形为 w1x1w2x2....θ w1x1w2x2....-θ0 而尽量都取正数就是 w1x1w2x2....(-θ)0 用系数b代替-θ w1x1w2x2....b0 如果把b看成一个虚拟的输入信息那么b的权重就是1 w1x1w2x2....1*b0 2 激活函数 一个最简单的函数分段函数图形是直的但是上下限也是[0,1] f(x)0, if x0f(x)1, if x0 一个比较连续的 sigmod分段函数图形是曲线但是上下限也是[0,1] sigmod比较经典 f(z)1/(1-e^(-z)) 3 关于回归分类等
老的AI逻辑中间AI现在AI数据 数据分为2部分一部分训练数据一部分验证数据 有监督学习回归分析验证半监督学习无监督学习分类等 4 关于模型
回归regression 用来处理连续数据如事件序列数据 比如按天记录的数据
分类classification 数据带有标签 有监督学习
聚类clustering 数据不带标签 无监督学习 5 关于回归 有1次回归函数其中包含1元的2元等等如果是多元的需要求偏导数 一般来说一次回归函数都是线性函数
有2次回归函数其中包含1元的2元等等如果是多元的需要求偏导数 一般来说二次回归函数都是曲线~
选择什么样的函数有差别 如果函数次数太低拟合不够可以用精确度变化曲线精确度和回归度比较 如果函数次数太高可能是过拟合可能训练数据拟合好但是验证数据拟合不好 6 关于分类
分类是把 f(x) 做成了一个概率函数
可以看作是
f θ(x)0.5 时 y1
f θ(x)0.5 时 y0 其实就是
θTX0 时 y1
θTX0 时 y0 7 关于误差和梯度下降 误差函数感觉很类似于方差函数 (y-f(x))^2 最梯度下降 采用最小二乘法 可能会陷入局部最优 随机梯度下降 随机选择一些一定能达到全局最优 随机梯度下降
最速下降因为事先选取点的差别可能陷入局部最优 而随机梯度下降因为全局随机理论上不会陷入局部最优一定会找到全局最优 想象不规则的sinx这种函数曲线
1个随机数量 小批量随机梯度下降 7-2 最小二乘法修改θ
yaxb yθ0θ1*x
根据一些原始数据 大概200 → 500 但是随便假设θ01θ12 fθ(x)f(x)y12x 当时200 → 201 可见参数θ01θ22 假设的不好 最小二乘法修改θ E(θ)1/2*∑(y-f(x))^2 E(θ)1/2*∑(yi-f(x)i)^2
跟方差一样 还要去掉误差的正负影响而是考虑误差与均值的差距的绝对值。 所以用平方
用平方比abs更容易求导数 1/2也是为了求二次方的导数故意设计的1/2或者2 只会改变函数形状的扁平还是高起一般来说yf(x) 值越大越高值越小越扁平
所以最速下降法就是求导数也就是微分 导数函数求出来后导数0时的x 对应就是f(x)的极值
方法1 加上考虑函数的性质 比如 f(x)x^22x1这种往下凸出的就是对应的最小值
方法2 比如 f(x)x^22x1 导数 f(x)2x2 因此最小值是x-1对应 而且 x-1,f(x)2x20 为正f(x)递增 x-1,f(x)2x20 为负f(x)递减 所以 沿着与导数的符号相反的方向移动xf(x) 就会朝着最小值前进
最速下降梯度下降法 xx-la*df(x)/dx xx-学习率*导数 学习率的选择要尽量小点否则就会不容易收敛或无法收敛
其实这就是更新的θ 如果f(x)fθ(x1,x2,x3)θ0θ1*xθ2*x^2 θ*X θ0θ0-la*Σ(f(x)-y) θ1θ1-la*Σ(f(x)-y)x θ2θ2-la*Σ(f(x)-y)x^2 多变量偏导数
如果f(x)fθ(x1,x2,x3)θ0*x0θ1*xθ2*x^2 θ*X 变成2个向量点乘 8 和矩阵计算矩阵内积点乘的关系 w1x1w2x2.....wnxn 天生适合用矩阵计算 w1x1w2x2.....wnxnW*X
考虑到 偏移量其实是和阈值有关系 1*bw1x1w2x2.....wnxnW*X 可变成 列向量 (1,w1,w2...wn) 转行向量 (1,w1,w2...wn) T 列向量 (b,x1,x2...xn) 8 深度学习
输入层中间层输出层
中间层的宽度 中间层的层数深度学习
加宽度相对容易 加深度就会很难 10 分类 假设W*Xw1x1w2x2 如果W*Xw1x1w2x20 假设w1 w21 x1x20
W*X|W||X|cosθ 其中cosθ 决定点乘内积符号 90-270cos为负数使得内积为负的向量 使得内积为正的向量
内积为正两者相似 内积为负数两者不相似 内积为0两者垂直完全不相关 11 参考书籍
《机器学习的数学》 《深度学习的数学》 《程序员的AI书》
