房产交易网站开发,网页设计尺寸怎么设计,做的好的奥运会网站,常用的oa系统办公软件目录
0. 前言
原书正文
1. 下载和缓存数据集
1.1 download() 下载数据集
1.2 download_extract() 解压缩
2. Kaggle 简介
3. 访问和读取数据集
4. 数据预处理
5. 训练#xff08;核心难点#xff09;
5.1 get_net() 定义模型-线性回归
5.2 log_rmse() 对数均方根…目录
0. 前言
原书正文
1. 下载和缓存数据集
1.1 download() 下载数据集
1.2 download_extract() 解压缩
2. Kaggle 简介
3. 访问和读取数据集
4. 数据预处理
5. 训练核心难点
5.1 get_net() 定义模型-线性回归
5.2 log_rmse() 对数均方根误差
5.3 train() 核心函数
6. K折交叉验证
6.1 get_k_fold_data() 拿数据
6.2 k_fold() 返回训练误差
7. 模型选择调参-重要操作
8. 提交Kaggle预测
8.1 train_and_pred() 训出模型来预测
8.2 上传.csv 看得分
9. 小结
10. 练习 0. 前言 课程全部代码pytorch版已上传到附件本节的代码位置chapter_multilayer-perceptrons/kaggle-house-price.ipynb本节的视频链接15 实战Kaggle房价预测 课程竞赛加州2020年房价预测【动手学深度学习v2】_哔哩哔哩_bilibili整个pipeline用最基础的线性回归来熟悉比赛的全流程pipeline如何读懂代码一开始看代码有很多看不懂一点一点问deepseek不错的代码GPT用好GPT其实GPT回答得并不易懂用GPT来确认思路比较好提问的例子这行代码在本节的最后生成.csv预测房价结果那里 原书正文
之前几节我们学习了一些训练深度网络的基本工具和网络正则化的技术如权重衰减、暂退法等。 本节我们将通过Kaggle比赛将所学知识付诸实践。 Kaggle的房价预测比赛是一个很好的起点。 此数据集由Bart de Cock于2011年收集 :cite:De-Cock.2011 涵盖了2006-2010年期间亚利桑那州埃姆斯市的房价。 这个数据集是相当通用的不会需要使用复杂模型架构。 它比哈里森和鲁宾菲尔德的波士顿房价 数据集要大得多也有更多的特征。
本节我们将详细介绍数据预处理、模型设计和超参数选择。 通过亲身实践你将获得一手经验这些经验将有益数据科学家的职业成长。 1. 下载和缓存数据集
在整本书中我们将下载不同的数据集并训练和测试模型。 这里我们(实现几个函数来方便下载数据)。 首先我们建立字典DATA_HUB 它可以将数据集名称的字符串映射到数据集相关的二元组上 这个二元组包含数据集的url和验证文件完整性的sha-1密钥。 所有类似的数据集都托管在地址为DATA_URL的站点上。
import hashlib # 计算SHA1哈希值
import os # 与操作系统进行交互
import tarfile # 处理.tar文件
import zipfile # 处理.zip文件
import requests # 发送HTTP请求#save
DATA_HUB dict() # 创建一个字典用于存储数据集的URL和SHA1哈希值
DATA_URL http://d2l-data.s3-accelerate.amazonaws.com/ 1.1 download() 下载数据集
下面的download函数用来下载数据集 将数据集缓存在本地目录默认情况下为../data中 并返回下载文件的名称。 如果缓存目录中已经存在此数据集文件并且其sha-1与存储在DATA_HUB中的相匹配 我们将使用缓存的文件以避免重复的下载。
def download(name, cache_diros.path.join(.., data)): #save下载一个DATA_HUB中的文件返回本地文件名# name: 要下载的数据集的名称cache_dir: 下载文件的缓存目录assert name in DATA_HUB, f{name} 不存在于 {DATA_HUB} # 断言判断为false的时候触发异常直接报错url, sha1_hash DATA_HUB[name] # SHA-1曾广泛用于确保数据完整性文件传输或存储前后的值来对比os.makedirs(cache_dir, exist_okTrue) # 创建缓存目录如果目录已存在则忽略fname os.path.join(cache_dir, url.split(/)[-1]) # 构建完整的本地文件路径if os.path.exists(fname): # 如果文件已存在于本地sha1 hashlib.sha1() # 创建一个SHA1哈希对象with open(fname, rb) as f: # 打开文件while True: data f.read(1048576) # 读取文件内容每次读取1MBif not data: # 如果读取到文件末尾breaksha1.update(data) # 更新哈希对象if sha1.hexdigest() sha1_hash: # 如果计算出的哈希值与预期的哈希值匹配return fname # 返回文件名表示命中缓存 print(f正在从{url}下载{fname}...) # 输出下载信息r requests.get(url, streamTrue, verifyTrue) # 发送GET请求下载文件with open(fname, wb) as f: # 以二进制写入模式打开文件f.write(r.content) # 将下载的内容写入文件return fname # 返回下载后的文件名 1.2 download_extract() 解压缩
我们还需实现两个实用函数 一个将下载并解压缩一个zip或tar文件 另一个是将本书中使用的所有数据集从DATA_HUB下载到缓存目录中。
def download_extract(name, folderNone): #save下载并解压zip/tar文件fname download(name) # 调用之前定义的download函数来下载文件base_dir os.path.dirname(fname) # 获取下载文件所在的目录data_dir, ext os.path.splitext(fname) # 分离文件名和扩展名if ext .zip:fp zipfile.ZipFile(fname, r) # 如果是.zip文件则创建一个ZipFile对象用于解压elif ext in (.tar, .gz):fp tarfile.open(fname, r) # 如果是.tar或.gz文件则创建一个tarfile对象用于解压else:assert False, 只有zip/tar文件可以被解压缩 # 如果文件既不是.zip也不是.tar或.gz则抛出异常fp.extractall(base_dir) # 解压文件到base_dir目录# 如果提供了folder参数则返回base_dir与folder的组合路径否则返回data_dirreturn os.path.join(base_dir, folder) if folder else data_dir def download_all(): #save下载DATA_HUB中的所有文件for name in DATA_HUB:download(name) # 对DATA_HUB字典中的每个数据集名称调用download函数下载文件 2. Kaggle 简介
Kaggle是一个当今流行举办机器学习比赛的平台 每场比赛都以至少一个数据集为中心。 许多比赛有赞助方他们为获胜的解决方案提供奖金。 该平台帮助用户通过论坛和共享代码进行互动促进协作和竞争。 虽然排行榜的追逐往往令人失去理智 有些研究人员短视地专注于预处理步骤而不是考虑基础性问题。 但一个客观的平台有巨大的价值该平台促进了竞争方法之间的直接定量比较以及代码共享。 这便于每个人都可以学习哪些方法起作用哪些没有起作用。 如果我们想参加Kaggle比赛首先需要注册一个账户见 :numref:fig_kaggle。 :width:400px :label:fig_kaggle
在房价预测比赛页面如 :numref:fig_house_pricing 所示的Data选项卡下可以找到数据集。我们可以通过下面的网址提交预测并查看排名 House Prices - Advanced Regression Techniques | Kaggle :width:400px :label:fig_house_pricing 3. 访问和读取数据集
注意竞赛数据分为训练集和测试集。 每条记录都包括房屋的属性值和属性如街道类型、施工年份、屋顶类型、地下室状况等。 这些特征由各种数据类型组成。 例如建筑年份由整数表示屋顶类型由离散类别表示其他特征由浮点数表示。 这就是现实让事情变得复杂的地方例如一些数据完全丢失了缺失值被简单地标记为“NA”。 每套房子的价格只出现在训练集中毕竟这是一场比赛。 我们将希望划分训练集以创建验证集但是在将预测结果上传到Kaggle之后 我们只能在官方测试集中评估我们的模型。 在 :numref:fig_house_pricing 中Data选项卡有下载数据的链接。
开始之前我们将[使用pandas读入并处理数据] 这是我们在 :numref:sec_pandas中引入的。 因此在继续操作之前我们需要确保已安装pandas。 幸运的是如果我们正在用Jupyter阅读该书可以在不离开笔记本的情况下安装pandas。
# 如果没有安装pandas请取消下一行的注释
# !pip install pandas%matplotlib inline
import numpy as np
import pandas as pd
import torch
from torch import nn
from d2l import torch as d2l
为方便起见我们可以使用上面定义的脚本下载并缓存Kaggle房屋数据集。
DATA_HUB[kaggle_house_train] ( #saveDATA_URL kaggle_house_pred_train.csv,585e9cc93e70b39160e7921475f9bcd7d31219ce)DATA_HUB[kaggle_house_test] ( #saveDATA_URL kaggle_house_pred_test.csv,fa19780a7b011d9b009e8bff8e99922a8ee2eb90)
我们使用pandas分别加载包含训练数据和测试数据的两个CSV文件。
train_data pd.read_csv(download(kaggle_house_train))
test_data pd.read_csv(download(kaggle_house_test))
训练数据集包括1460个样本每个样本80个特征和1个标签 而测试数据集包含1459个样本每个样本80个特征。 让我们看看[前四个和最后两个特征以及相应标签]房价。
print(train_data.iloc[0:4, [0, 1, 2, 3, -3, -2, -1]]) # 最后一个是真实房价标签得把它拿出来
print(test_data.iloc[0:4, [0, 1, 2, 3, -2, -1]]) 我们可以看到(在每个样本中第一个特征是ID) 这有助于模型识别每个训练样本。 虽然这很方便但它不携带任何用于预测的信息。 因此在将数据提供给模型之前(我们将其从数据集中删除)。
# 将train_data和test_data(实际是validate集)合并成all_features方便下面算均值和方差
all_features pd.concat((train_data.iloc[:, 1:-1], test_data.iloc[:, 1:])) # 第一列是ID把它拿掉 4. 数据预处理
如上所述我们有各种各样的数据类型。 在开始建模之前我们需要对数据进行预处理。 首先我们[将所有缺失的值替换为相应特征的平均值。]然后为了将所有特征放在一个共同的尺度上 我们(通过将特征重新缩放到零均值和单位方差来标准化数据) # 因为kaggle比赛有测试集这里咱把train和test集拿到一起算均值和方差如果是写论文只能在训练集上拿均值
# pandas的object是python里的str
numeric_features all_features.dtypes[all_features.dtypes ! object].index # 返回数据类型!object的列索引
all_features[numeric_features] all_features[numeric_features].apply(lambda x: (x - x.mean()) / (x.std())) # 数值型数据标准化均值为0方差为1
# 在标准化数据之后所有均值消失(均值已经是0啦可将缺失值设置为0
all_features[numeric_features] all_features[numeric_features].fillna(0) # fillna(0)将所有缺失值替换为0
接下来我们[处理离散值。] 这包括诸如“MSZoning”之类的特征。 (我们用独热编码替换它们) 方法与前面将多类别标签转换为向量的方式相同 请参见 :numref:subsec_classification-problem在softmax那节。 例如“MSZoning”包含值“RL”和“Rm”。 我们将创建两个新的指示器特征“MSZoning_RL”和“MSZoning_RM”其值为0或1。 根据独热编码如果“MSZoning”的原始值为“RL” 则“MSZoning_RL”为1“MSZoning_RM”为0。 pandas软件包会自动为我们实现这一点。
# get_dummies 函数通常用于将分类变量(categorical variables)转换为一系列的二进制0和1列也称为独热编码
# “Dummy_naTrue”将“na”缺失值视为有效的特征值并为其创建指示符特征一个额外的二进制列
all_features pd.get_dummies(all_features, dummy_naTrue)
all_features.shape 可以看到此转换会将特征的总数量从79个增加到331个。 最后通过values属性我们可以 [从pandas格式中提取NumPy格式并将其转换为张量表示]用于训练。
all_features all_features.astype(float) # 强制转换原本的代码里没有这一行报错np的object不能转成torchn_train train_data.shape[0] # 获取 train_data 数据框的行数
train_features torch.tensor(all_features[:n_train].values, dtypetorch.float32) # train和test上面合并了
test_features torch.tensor(all_features[n_train:].values, dtypetorch.float32) # 预处理后这里再拆回来
train_labels torch.tensor( # 测试集没有真实房价需要咱来预测和提交因此没有test_labelstrain_data.SalePrice.values.reshape(-1, 1), dtypetorch.float32) # 把train集的SalePrice列拿出来 5. 训练核心难点
首先我们训练一个带有损失平方的线性模型。 显然线性模型很难让我们在竞赛中获胜但线性模型提供了一种健全性检查 以查看数据中是否存在有意义的信息。 如果我们在这里不能做得比随机猜测更好那么我们很可能存在数据处理错误。 如果一切顺利线性模型将作为基线baseline模型 让我们直观地知道最好的模型有超出简单的模型多少。 5.1 get_net() 定义模型-线性回归
loss nn.MSELoss() # 均方误差损失
in_features train_features.shape[1] # 获取列特征数331def get_net(): # 咱就用最简单的单层线性回归net nn.Sequential(nn.Linear(in_features,1)) # 331个输入1个输出预测的房价return net 5.2 log_rmse() 对数均方根误差 def log_rmse(net, features, labels): # 评估模型性能的指标log rmse 对数均方根误差衡量相对差异# clamp 函数将预测值net(features)中的所有小于1的值都被设置为1 # inf代表无穷大infinity的缩写# 预测值房价用clamp剪裁到1至正无穷到1是防止对数计算出问题到无穷是因为真实的房价∈(1,无穷)clipped_preds torch.clamp(net(features), 1, float(inf))rmse torch.sqrt(loss(torch.log(clipped_preds), # 数学是眼睛找方向代码是脚用工具走多远torch.log(labels)))return rmse.item() # 返回计算得到的均方根误差 # .item() 方法用于从包含单个数值的张量中提取该数值 5.3 train() 核心函数
与前面的部分不同[我们的训练函数将借助Adam优化器] 我们将在后面章节更详细地描述它。 Adam优化器的主要吸引力在于它对初始学习率不那么敏感。
def train(net, train_features, train_labels, test_features, test_labels, # 在本节里的test_features和labelsnum_epochs, learning_rate, weight_decay, batch_size): # 真实输入的都是valid_features和labelstrain_ls, test_ls [], [] # 初始化训练集和测试实际上是验证集的损失列表train_iter d2l.load_array((train_features, train_labels), batch_size) # 迭代器每次迭代返回一个batch# 这里使用的是Adam优化算法以往常用的是小批量随机梯度下降SGDAdam可以理解为比较平滑的SGDoptimizer torch.optim.Adam(net.parameters(),lr learning_rate, # 学习率weight_decay weight_decay) # 权重衰减用于正则化for epoch in range(num_epochs): # 开始训练模型 # 遍历每个训练周期for X, y in train_iter: # 遍历每个批量的训练数据optimizer.zero_grad() # 清除过往梯度l loss(net(X), y) # 计算当前批量的损失l.backward() # 反向传播计算梯度optimizer.step() # 根据梯度更新模型参数train_ls.append(log_rmse(net, train_features, train_labels)) # 记录当前周期的训练集损失if test_labels is not None: # 如果提供了测试实际上用是验证集数据则记录当前周期的验证误差test_ls.append(log_rmse(net, test_features, test_labels))return train_ls, test_ls # 在本节里在训练调参期间test_ls实际输出的是valid_lsk_fold()里调用# 最后的测试集预测用不上test_ls函数里的test只是为了区别于train真实的输入并不是test这个思想很重要 在本节里的train()函数的输入test_featureslabels实际上是是valid_featureslabels最后的测试集预测房价用不上test_ls函数里的test只是为了区别于train真实的输入并不是test这个思想很重要需要深入理解这个函数 6. K折交叉验证
6.1 get_k_fold_data() 拿数据
本书在讨论模型选择的部分 :numref:sec_model_selection 中介绍了[K折交叉验证] 它有助于模型选择和超参数调整。 我们首先需要定义一个函数在折交叉验证过程中返回第折的数据。 具体地说它选择第个切片作为验证数据其余部分作为训练数据。 注意这并不是处理数据的最有效方法如果我们的数据集大得多会有其他解决办法。
def get_k_fold_data(k, i, X, y): # 指定第i份作为验证集其余的作为训练集assert k 1 # 确保k大于1因为至少需要将数据分为两部分fold_size X.shape[0] // k # 计算每个折的大小X_train, y_train None, None # 初始化训练数据集和标签for j in range(k): # 遍历每个折idx slice(j * fold_size, (j 1) * fold_size) # 计算当前折的索引范围X_part, y_part X[idx, :], y[idx] # 获取当前折叠的数据和标签if j i: # 如果当前折是第i个折叠则将其作为验证集X_valid, y_valid X_part, y_part # 做成验证集elif X_train is None: # 否则将当前折叠的数据和标签添加到训练集中X_train, y_train X_part, y_part # 做成训练集else:X_train torch.cat([X_train, X_part], 0) # 沿着第 0 维行拼接训练集datay_train torch.cat([y_train, y_part], 0) # 拼接训练集labelreturn X_train, y_train, X_valid, y_valid # 返回训练集验证集的datalabel 6.2 k_fold() 返回训练误差
当我们在折交叉验证中训练次后[返回训练和验证误差的平均值]。
def k_fold(k, X_train, y_train, num_epochs, learning_rate, weight_decay,batch_size):train_l_sum, valid_l_sum 0, 0for i in range(k): # 做k次data get_k_fold_data(k, i, X_train, y_train) # 每次拿到第i折net get_net()train_ls, valid_ls train(net, *data, num_epochs, learning_rate, # *data输入的是train和valid数据weight_decay, batch_size) # 每次训练拿到两个losstrain_l_sum train_ls[-1]valid_l_sum valid_ls[-1] # 将最后一个 epoch 的训练损失加到总训练损失中if i 0:d2l.plot(list(range(1, num_epochs 1)), [train_ls, valid_ls], # 绘制曲线图不是重点xlabelepoch, ylabelrmse, xlim[1, num_epochs],legend[train, valid], yscalelog)print(f折{i 1}训练log rmse{float(train_ls[-1]):f}, f验证log rmse{float(valid_ls[-1]):f})return train_l_sum / k, valid_l_sum / k # 求平均误差 7. 模型选择调参-重要操作
在本例中我们选择了一组未调优的超参数并将其留给读者来改进模型。 找到一组调优的超参数可能需要时间这取决于一个人优化了多少变量。 有了足够大的数据集和合理设置的超参数折交叉验证往往对多次测试具有相当的稳定性。 然而如果我们尝试了不合理的超参数我们可能会发现验证效果不再代表真正的误差。
k, num_epochs, lr, weight_decay, batch_size 5, 100, 5, 0, 64
train_l, valid_l k_fold(k, train_features, train_labels, num_epochs, lr,weight_decay, batch_size)
print(f{k}-折验证: 平均训练log rmse: {float(train_l):f}, f平均验证log rmse: {float(valid_l):f})
# 看K-折交叉验证的结果图train和valid重合得比较好说明没有over fitting
# 同学们要做的就是不断地去调第一行的几个超参数看平均验证log rmse核心指标损失越小越好
输出 李沐老师 看K-折交叉验证的结果图train和valid重合得比较好说明没有over fitting同学们要做的就是不断地去调第一行的几个超参数看平均验证log rmse核心指标损失越小越好调个10-20多次取最好的一组超参数 请注意有时一组超参数的训练误差可能非常低但折交叉验证的误差要高得多 这表明模型过拟合了。 在整个训练过程中我们希望监控训练误差和验证误差这两个数字。 较少的过拟合可能表明现有数据可以支撑一个更强大的模型 较大的过拟合可能意味着我们可以通过正则化技术来获益。 8. 提交Kaggle预测
8.1 train_and_pred() 训出模型来预测
既然我们知道应该选择什么样的超参数 我们不妨使用所有数据对其进行训练 而不是仅使用交叉验证中使用的1−1/的数据。 然后我们通过这种方式获得的模型可以应用于测试集。 将预测保存在CSV文件中可以简化将结果上传到Kaggle的过程。
def train_and_pred(train_features, test_features, train_labels, test_data,num_epochs, lr, weight_decay, batch_size):net get_net() # 用上面get_net()选择的线性回归模型train_ls, _ train(net, train_features, train_labels, None, None, # 这次不用算验证误差,因此 _和Nonenum_epochs, lr, weight_decay, batch_size) # train()里定义了判断是否有test集d2l.plot(np.arange(1, num_epochs 1), [train_ls], xlabelepoch, # 绘制曲线图不是重点ylabellog rmse, xlim[1, num_epochs], yscalelog)print(f训练log rmse{float(train_ls[-1]):f}) # 训练出模型得到权重用于后几行预测# net(测试集)给前几行训练出的模型传入测试集输出预测结果房价测试集没有真实label的得咱来算preds net(test_features).detach().numpy() # 用detach()拿出预测结果(确保代码健壮性)转为NumPy数组# 将结果重新格式化以导出到Kaggle# 在原本的test_data上新建一列名为SalePricetest_data[SalePrice] pd.Series(preds.reshape(1, -1)[0]) # reshape成形状(1,n)[0]就是拿出唯一一行# 原本test_data有很多列但这里只拿出Id和SalePrice放到新的submission容器里submission pd.concat([test_data[Id], test_data[SalePrice]], axis1) # axis1 表示沿着列来拼接submission.to_csv(submission.csv, indexFalse) # 结果存在submission.csv文件kaggle上提交csv有得分
如果测试集上的预测与折交叉验证过程中的预测相似 那就是时候把它们上传到Kaggle了。 下面的代码将生成一个名为submission.csv的文件。
train_and_pred(train_features, test_features, train_labels, test_data, # train features和labels用来训模型num_epochs, lr, weight_decay, batch_size) # 训出来的模型导入test_features跑出预测值
输出 8.2 上传.csv 看得分
接下来如 :numref:fig_kaggle_submit2中所示 我们可以提交预测到Kaggle上并查看在测试集上的预测与实际房价标签的比较情况。 步骤非常简单。
登录Kaggle网站访问房价预测竞赛页面。点击“Submit Predictions”或“Late Submission”按钮在撰写本文时该按钮位于右侧。点击页面底部虚线框中的“Upload Submission File”按钮选择要上传的预测文件。点击页面底部的“Make Submission”按钮即可查看结果。 :width:400px :label:fig_kaggle_submit2 9. 小结
真实数据通常混合了不同的数据类型需要进行预处理。常用的预处理方法将实值数据重新缩放为零均值和单位方法用均值替换缺失值。将类别特征转化为指标特征可以使我们把这个特征当作一个独热向量来对待。我们可以使用折交叉验证来选择模型并调整超参数。对数对于相对误差很有用。 10. 练习
把预测提交给Kaggle它有多好能通过直接最小化价格的对数来改进模型吗如果试图预测价格的对数而不是价格会发生什么用平均值替换缺失值总是好主意吗提示能构造一个不随机丢失值的情况吗通过折交叉验证调整超参数从而提高Kaggle的得分。通过改进模型例如层、权重衰减和dropout来提高分数。如果我们没有像本节所做的那样标准化连续的数值特征会发生什么
