长春网站建设开发,网站怎么做关键词搜索排面,百度首页推荐关不掉吗,开发外贸网站开发文章目录 题目第一问第二问2.1 数据预处理2.2 数据集分析2.2.1 训练集2.2.2 预测集 2.3 特征工程2.4 模型建立2.4.1 模型框架和评价指标2.4.2 模型建立2.4.3 误差分析和特征筛选2.4.4 新品模型 2.5 模型融合2.6 预测方法2.7 总结 结尾 距离比赛结束已经过去两个多月了。 整个过… 文章目录 题目第一问第二问2.1 数据预处理2.2 数据集分析2.2.1 训练集2.2.2 预测集 2.3 特征工程2.4 模型建立2.4.1 模型框架和评价指标2.4.2 模型建立2.4.3 误差分析和特征筛选2.4.4 新品模型 2.5 模型融合2.6 预测方法2.7 总结 结尾 距离比赛结束已经过去两个多月了。 整个过程还是非常辛苦的在前期整个团队都在进行学习铺垫精力主要集中在全部数据给出后的建模 收到了答辩的通知可惜评委问的问题太过离谱没能展现出我们的创新点最终没能获得特等奖是个国一 因为感觉对我们的工作进行一个总结对很多准备相关比赛的同学还是挺有帮助的所以还是复盘一下 用Prophet一个个商品预测肯定是错误的训练时间太长。先整合成结构化数据再上机器学习才是合理的做法
题目
任务1数据分析
针对提供的历史销售数据(order_train1.csv)需要进行深入的数据分析。分析主题包括但不限于
1.1 产品的不同价格对需求量的影响 1.2 产品所在区域对需求量的影响以及不同区域的产品需求量有何特性 1.3 不同销售方式线上和线下的产品需求量的特性 1.4 不同品类之间的产品需求量有何不同点和共同点 1.5 不同时间段例如月头、月中、月末等产品需求量有何特性 1.6 节假日对产品需求量的影响 1.7 促销如618、双十一等对产品需求量的影响 1.8 季节因素对产品需求量的影响
任务2需求预测
基于上述分析需要建立数学模型对给出的产品(predict_sku1.csv)进行未来3个月即2019年1月、2月、3月的月需求量预测。预测结果需要按照给定格式保存为文件result1.xlsx。
请分别按照天、周、月的时间粒度进行预测并尝试分析不同的预测粒度对预测精度可能产生的影响。
第一问
第一问就是数据探索性分析没啥好说的现在会调chatgpt并且进行简单的修改就能做出不错的图了。
虽然题目的意思可能是通过第一问的分析对第二问的建模起到什么帮助可能会在论文里看起来不错但说实话屁用没有。第二问预测靠的还是特征工程等经验。所以第一问不是重点展示几个图吧不细讲了。
价格与需求量散点图 线下/线上订单需求量随时间变化趋势图 各大类/细类产品需求量占比双环图 各大类产品月需求量气泡图 不同时段月初、月中、月末的产品需求量折线图 线下/上销售趋势 “6.18”和“双十一”期间Top50促销产品所属细类双向柱状图 第二问
第二问要预测的精准还是比较考验学习、代码能力的当时是看了好几个销量预测的比赛代码主要是kaggle上的并且一步步自己改。搭出Baseline后能先有一个预测的结果再一步步的加上自己的想法。
以下内容都是先有Baseline后一步步试出来的所以会有些跳跃性 一些链接很多我找不到了 详细的EDA和随机森林 1st place solution - Part 1 - “Hands on Data” 2.1 数据预处理 缺失值处理 异常值检测 对于检测出来有异常值的商品在预测集中的商品单独建模手动预测不再预测集中的商品直接删除 分类型数据转换成数值型 销售渠道产品编号/产品类别/销售区域 对于波动很大的销量数据我们有两种指标。 标签平滑处理取对数用RMSE指标不对数处理使用Tweedie偏差Tweedie deviance 如果你不处理就用RMSE评价销量预测的精确度肯定有问题。 比如一只5块钱的笔一个月销量大约5000个预测偏差100个。跟一块2000块钱的手表一个月销量大约500个预测偏差100个。用RMSE评价是一样的但实际上肯定是手表预测的偏差带来的问题更大。Tweedie偏差就能解决这种问题 当然如果先对数处理倒也可以用RMSE 二选一即可最后我还是使用了后者
2.2 数据集分析
2.2.1 训练集
这里我们对数据进行了很详细的分析我自己单独去看每一类别中的每个商品的趋势就能发现很多特征。尽管大部分因为时间原因没有用上但这在现实业务的预测中是很重要的一步。我们要对这个数据集有详细的了解才能针对性处理。
稍微列举几点
403/404/405最初线上2017年起增加线下406线下小规模订单2018.3从105区域迁到其他区域407销售趋势呈多个小高峰具有季节性趋势411于2017年11月上市自2017年起地区104停止销售104地区大部分产品转移到105地区编写函数实现数据迁移有些商品有线上引领线下的销售特征如果某个商品线上涨了那个这个商品下个月大概率线下也会涨
数据按月整合才能做特征工程和机器学习 对每个产品的需求量按区域和月份进行整合建立一个包含销售区域、销售月份和产品等组合信息的结构化数据集 然后我们提出了一个比较有用的策略-商品分层。思路来源于营销课广告因为不同性质定位的产品其销售规律肯定有所不同所以分类 新品直至第36个月date_block_num才开始出现在市场上的产品。流星品突然出现的商品但销售时长不超过5个月销量会急剧下降。睡眠品一直保持客观的销量却在某个时间点之后销售量骤减但究其原因并非季节性因素的产品。常规品总有销量的产品销售时长达39周以上或至少存在于市场中一年以上。 其实应该还有季节性商品的但是大部分商品其存在时间都没到两年所以算法不太能判断的出来遂放弃
2.2.2 预测集
然后我们编写了分类函数对预测集中的商品进行分类来看看要预测的都是哪些商品 发现大部分是常规品新品占比也不小。在搭出Baseline后我们进行了误差分析后面会提就是分析预测误差来源于哪里。我们就发现很多的新品和一些波动大的商品预测偏差很大所以单独建立了新品模型。
2.3 特征工程
特征工程是最重要的也是决定模型最终预测精度的关键。常规的就是滞后特征、趋势特征等等。不断添加新特征不断训练模型验证效果最后没用的特征我们删除就好
切记不要数据泄漏不要在做特征的时候引入未来的数据。比如趋势应该是上上个月-上个月的趋势别是上个月-这个月的。这个月数据是要预测的 2.4 模型建立
2.4.1 模型框架和评价指标 题目非常离谱的要按日/周/月分别建模预测。实际上能做好月的就不错了因为不然你要做三组特征这是不可能的。 我们的解法就是按照月预测不断的优化。日/周的就prophet随便预测一下就行。但在这个过程中我们发现prophet不仅可以预测还可以提取一些季节性特征。 因为我们做的特征实际上是缺少季节性的所以就融入了这部分来自prophet提取的特征也发现效果确实不错。 2.4.2 模型建立
模型选择的话我们Baseline使用LightGBM做的因为其训练时间最快方便我们不断优化 最后使用了三种梯度提升树算法LightGBM、CatBoost、XGBoost进行模型融合该怎么说呢效果肯定是很好的但是这样也会带来过拟合。实际上其实不用那么复杂用一个模型也许效果最好 2.4.3 误差分析和特征筛选
误差分析 在训练前期的帮助很大重新预测误差大的商品并将预测值覆盖提交到原先的模型中 特征筛选 剔除没啥用的特征 2.4.4 新品模型
对于新品我们使用滑动窗口提取出每个月的新品来组成新品模型的训练集和预测集并且重新进行特征工程因为新品没啥历史数据预测只能靠同类商品的一些信息所以我们做的特征往这个方向靠 2.5 模型融合
比较了一下选定了进行模型融合的方法
还是那句话模型太复杂并不代表真正的预测效果越好。但是这些工作在论文的展现中是需要的。 2.6 预测方法
我们还测试了三种预测方法。因为题目要求预测往后三个月的数据。
直接预测、滚动预测应该比较好理解。
滞后预测需要重新做特征比如预测M2月的销售量。我们是不能用M1月的数据做特征的 2.7 总结 结尾
先吐槽一下本次比赛的题目题目的数据感觉质量不是太好前期做起来很头疼也许是销量数据的通病。第二问的按日/周/月精度分别预测让人很难理解。再吐槽一下评委私以为能进入答辩的队伍应该都是用机器学习/深度学习对整个数据集一起训练的评委应该focus我们工作的创新点。但是评委貌似无法理解认为我们怎么能用到了Prophet但又不用一个个训练好像很难理解用机器学习怎么对每个商品进行预测。我们达到的是全局最优而不是每个商品最优这跟用不用Prophet无关我们只是用了Prophet来一个个提取特征总体的工作是用LGBM不断优化的。
还有就是这个比赛需要先提交论文和预测数据2019年1、2、3月的数据提交的后一天又会给出1、2、3月的数据要求在预测一遍4、5、6月的数据。当时都五一放假了喂那天早上发现1月份的真实销售数据销量很高总体大概是预测的23倍。然后我就发现5月的数据也有可能很高就重新改代码总结了每一类商品的每月销售特征又预测了一天。最终相信效果应该是不错的。合理的运用Trick来提升预测精度也是获奖必不可少的部分
最后致谢一下吧。感谢我的两位队友的努力感谢npy的作图和比赛期间的理解、感谢学姐学长的帮助和答辩指导、感谢我的指导老师。希望这篇总结能帮助到别人。
