互联国际网站,国外html响应式网站模板下载,wordpress无法修改密码,公司网站内容相近目录
#x1f354; 逻辑回归应用场景
#x1f354; 极大似然估计
2.1 为什么要有极大似然估计#xff1f;
2.2 极大似然估计步骤
2.3 极大似然估计的例子
#x1f354; Sigmod函数模型
3.1 逻辑斯特函数的由来
3.2 Sigmod函数绘图
3.3 进一步探究-加入线性回归
3…
目录 逻辑回归应用场景 极大似然估计
2.1 为什么要有极大似然估计
2.2 极大似然估计步骤
2.3 极大似然估计的例子 Sigmod函数模型
3.1 逻辑斯特函数的由来
3.2 Sigmod函数绘图
3.3 进一步探究-加入线性回归
3.4 结果解释
3.5 对数似然损失函数 逻辑回归应用场景
在KNN算法中直接可以得出预测结果但是如果想输出预测结果还要输出预测结果的概率这时候就需要使用逻辑回归解决问题。
比如预测性别的时候预测为男性同时预测概率为90%这样可以通过概率更加具有说服力。 应用场景 逻辑回归Logistic Regression是机器学习中的一种分类模型逻辑回归是一种分类算法虽然名字中带有回归。由于算法的简单和高效在实际中应用非常广泛。 广告点击率 是否为垃圾邮件 是否患病 金融诈骗 虚假账号 看到上面的例子我们可以发现其中的特点那就是都属于两个类别之间的判断。逻辑回归就是解决二分类问题的利器。 极大似然估计
2.1 为什么要有极大似然估计 例子我与一位猎人一起外出打猎一只野兔从前方穿过只听到一声枪响野兔应声倒下。问是谁倒下的呢 答极有可能是猎人。 显然候选人就两个我和猎人。若选择我则事件发生的发生概率为0.01%因为我不会打猎若选择猎人则事件发生的概率为99%而事件已经发生因此选择猎人更为合适。 极大似然估计的思想 设总体中含有待估参数w可以取很多值。已经知道了样本观测值例子中的兔子被猎人打死了从w的一切可能值中引例中是我和猎人选出一个使该观察值出现的概率为最大的值作为w参数的估计值这就是极大似然估计。顾名思义就是看上去那个是最大可能的意思 2.2 极大似然估计步骤 求极大似然函数估计值的一般步骤 1 写出似然函数 2 对似然函数取对数并整理 3 求导数 4 解似然方程 极大似然估计只是一种概率论在统计学的应用它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布但是其中具体的参数不清楚参数估计就是通过若干次试验观察其结果利用结果推出参数的大概值。极大似然估计是建立在这样的思想上已知某个参数能使这个样本出现的概率最大我们当然不会再去选择其他小概率的样本所以干脆就把这个参数作为估计的真实值。
当然极大似然估计只是一种粗略的数学期望要知道它的误差大小还要做区间估计。 Sigmod函数模型
3.1 逻辑斯特函数的由来 Sigmod函数也称之为逻辑斯特函数 假设一事件发生的概率为P则不发生的概率为1-P我们把发生概率/不发生概率称之为发生的概率比数学公式表示为 更进一步我们定义logit函数它是概率比的对数函数log-odds Logit函数耳朵输入值范围介于[0,1]之间它能将输入转换到整个实数范围内。 对logit函数求反函数我们将logit的反函数叫做logistic函数 该函数的图像如下图 对图像的理解sidmod函数以实数值作为输入并将其反射到[01]区间拐点在y0.5地方。 3.2 Sigmod函数绘图 需求绘制[-77]的sigmod函数图像
import matplotlib.pyplot as plt
import numpy as npdef sigmod(z):return 1.0/(1.0np.exp(-z))znp.arange(-7,7,0.1)
phi_zsigmod(z)plt.plot(z,phi_z)
plt.axvline(0.0,colork)
plt.axhspan(0.0,1.0,facecolor1.0,alpha1.0,lsdotted)
plt.yticks([0.0,0.5,1.0])
plt.ylim(-0.1,1.1)
plt.xlabel(z)
plt.ylabel($\phi (z)$)
plt.show() 函数图像如图所示 逻辑回归的分类结果是通过属于某个类别的概率值来判断 预测概率大于 50% 则分为类1类别(正例), 反之为0类别(反例) 3.4 结果解释 输出结果解释(重要)假设有两个类别AB并且假设我们的概率值为属于A(1)这个类别的概率值。现在有一个样本的输入到逻辑回归输出结果0.55那么这个概率值超过0.5意味着我们训练或者预测的结果就是A(1)类别。那么反之如果得出结果为0.3那么训练或者预测结果就为B(0)类别。 关于逻辑回归的阈值是可以进行改变的比如上面举例中如果你把阈值设置为0.6那么输出的结果0.55就属于B类。 在学习逻辑回归之前我们用均方误差来衡量线性回归的损失。 在逻辑回归中当预测结果不对的时候我们该怎么衡量其损失呢
我们来看下图(下图中设置阈值为0.6) 那么如何去衡量逻辑回归的预测结果与真实结果的差异
首先我们进行逻辑斯特回归函数的表示学习。 3.5 对数似然损失函数 假设有 0、1 两个类别某个样本被分为 1 类的概率为: p, 则分为 0 类的概率为 1-p则每一个样本分类正确的概率为 上述公式可转换为 假设我们现在有样本[(x1, y1), (x2, y2) … (xn, yn)]那么全部预测正确的概率表示为 通过极大化事件概率从而估计出模型参数。 接下来将上式其转换为对数加法的形式 上述公式为最大化问题。 增加一个负号将其变为最小化问题公式再次转换如下 此时得到逻辑回归的对数似然损失函数. 如上述案例我们就带入上面那个例子来计算一遍就能理解意义了。 我们已经知道-log(P), P值越大结果越小所以我们可以对着这个损失的式子去分析。
