药店网站模板,购物网站数据分析,京东不让卖网站制作么,深圳市城乡和建设局网站机器学习的建模流程 流程为#xff1a; 原始数据 -- 数据预处理 -- 特征工程 -- 建模 -- 验证。 原始数据收集 所有AI或机器学习的基础就是数据#xff0c;没有数据就什么都做不了#xff0c;在搭建一个系统之前首要考虑的就是有没有足够多的数据可以支撑这… 机器学习的建模流程 流程为 原始数据 -- 数据预处理 -- 特征工程 -- 建模 -- 验证。 原始数据收集 所有AI或机器学习的基础就是数据没有数据就什么都做不了在搭建一个系统之前首要考虑的就是有没有足够多的数据可以支撑这个AI系统。数据是最重要的如何收集数据的策略也是最重要的很多人说AI的策略就是数据的收集策略。很大程度上数据质量的高低决定了模型的稳定性或效果所以收集数据这一步非常关键。 数据预处理 如果数据中包含了很多噪音那可以通过预处理的方法降噪或剔除脏数据。如果有数据格式不一致字段不对齐等问题无法后续做统一处理那也可以通过数据的预处理搞定规范化数据以保证后续模型的准确性。 实际中数据预处理是很繁琐的是很多AI工程师不想触碰的工作但实际这个工作极其重要如果数据预处理做不好那数据质量就有问题后面所有环节都会受到影响导致机器学习效果差通常会花大量精力做数据的预处理工作。 特征工程 指从数据或样本里提取出对预测结果有价值的信息每个应用场景所涉及的特征是不一样的整个提取有效特征的过程就叫特征工程Feature Engineering。 实际工作中我们会花大量精力在特征工程里这一步非常非常重要而且它直接影响整个系统的效果。甚至说模型的重要性未必高于特征工程的重要性所以我们会花50%以上的时间在特征工程这个环节。 经过特征工程后的每一个数据都可以转换成向量或者矩阵或张量这种数值类型然后这个数就可以直接作为模型的输入进入建模阶段。 建模 建模阶段就是使用各种各样的模型去尝试看哪个模型带来的效果是最好的该环节主要做的事情有几点1做一些调参的工作指我们不断的调整模型使这个模型可以达到最优的效果。2改造当发现模型不太满足实际的需求了可以对模型做一些改造然后再调参。 验证 训练出来的模型到底怎么样如果不好的话可能需要重新做一些前面做过的事情这个环节非常重要。每个项目都需要一个明确的独特的评估标准如果评估通过比如正确率到达某个标准就可以上线。 建模的时候都会把给定的数据分成训练数据和测试数据 主要是为了验证模型的好坏只有通过测试数据才能看到模型训练得到底行不行。 © 著作权归作者所有,转载或内容合作请联系作者 喜欢的朋友记得点赞、收藏、关注哦
