做英文网站2014,公共资源交易中心待遇,工信部网站备案的需要幕布,做网站如何收益机器学习的一般步骤 数据清洗
数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序#xff0c;包括检查数据一致性#xff0c;处理无效值和缺失值等。与问卷审核不同#xff0c;录入后的数据清理一般是由计算机而不是人工完成。
探索性数据分析(EDA
探索性数据…机器学习的一般步骤 数据清洗
数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序包括检查数据一致性处理无效值和缺失值等。与问卷审核不同录入后的数据清理一般是由计算机而不是人工完成。
探索性数据分析(EDA
探索性数据分析EDA是一个开放式流程我们制作绘图并计算统计数据以便探索我们的数据。目的是找到异常模式趋势或关系。 这些可能是有趣的例如找到两个变量之间的相关性或者它们可用于建模决策例如使用哪些特征。简而言之EDA的目标是确定我们的数据可以告诉我们什么 IQR Q3-Q1即上四分位数与下四分位数之间的差也就是盒子的长度。 最小观测值为min Q1 - 1.5IQR如果存在离群点小于最小观测值则下限为最小观测值离群点单独以点汇出。 最大观测值为max Q3 1.5IQR如果存在离群点大于最大观测值则上限为最大观测值离群点单独以点汇出。如果没有比最大观测值大的数则上限为最大值。
寻找关系 为了查看分类变量 - categorical variables对分数的影响我们可以通过分类变量的值来绘制密度图。 密度图还显示单个变量的分布可以认为是平滑的直方图。 如果我们通过为分类变量密度曲线着色这将向我们展示分布如何基于类别变化的。 现在我们有了正确的列数据类型我们可以通过查看每列中缺失值的百分比来开始分析。 当我们进行探索性数据分析时缺失的值很好但是必须使用机器学习方法进行填写。Pairs Plot是一次检查多个变量的好方法因为它显示了对角线上的变量对和单个变量直方图之间的散点图。 特征工程
特征工程:
获取原始数据并提取或创建新特征的过程。这可能意味着需要对变量进行变换例如自然对数和平方根或者对分类变量进行one-hot编码以便它们可以在模型中使用。 一般来说我认为特征工程是从原始数据创建附加特征。
特征工程在数据挖掘中有举足轻重的位置数据领域一致认为数据和特征决定了机器学习的上限而模型和算法只能逼近这个上限而已。
特征工程重要性 特征越好灵活性越强 特征越好模型越简单特征越好性能越出色好特征即使使用一般的模型也能得到很好的效果主要方法 离散型变量处理 分箱/分区 交叉特征 特征缩放 特征提取
特征选择
选择数据中最相关的特征的过程。在特征选择中我们删除特征以帮助模型更好地总结新数据并创建更具可解释性的模型。一般来说特征选择是减去特征所以我们只留下那些最重要的特征。
特征选择主要有两个功能 1.减少特征数量、降维使模型泛化能力更强减少过拟合 2.增强对特征和特征值之间的理解主要方法 去除变化小的特征 去除共线特征 去除重复特征 主成分分析PCA 数据建模
• 基于性能指标比较几种机器学习模型 • 对最佳模型执行超参数调整 • 在测试集上评估最佳模型 • 解释模型结果 • 得出结论
