1-开发环境配置

工欲善其事，必先利其器！

编写和运行程序之前，我们必须先把开发环境配置好。只有配置好了环境并且有了更方便的开发工具，我们才能更加高效地用程序实现相应的功能。然而很多情况下，我们可能在最开始就卡在环境配置上，如果这个过程花费了太多时间，学习的兴趣可能就下降了大半，所以本章专门对本书中所有的环境配置做一下说明。

本章将讲解书中使用的所有库及工具的安装过程。为了使书的条理更加清晰，将环境配置的过程统一合并为一章。本章不必逐节阅读，可以在需要的时候查阅。

在介绍安装过程时，我们会尽量兼顾各个平台。另外，书中也会指出一些常见的安装错误，以便快速高效地搭建好编程环境。

1.1-Python3的安装

既然要用 Python 3 开发爬虫，那么第一步一定是安装 Python 3。这里会介绍 Windows、Linux 和 Mac 三大平台下的安装过程，相关链接如下：

• 官方网站：http://python.org​

• 下载地址：Download Python | Python.org​

• 第三方库：PyPI · The Python Package Index​

• 官方文档：3.11.2 Documentation​

• 中文教程：Python3 教程 | 菜鸟教程​

• Awesome Python：GitHub - vinta/awesome-python: A curated list of awesome Python frameworks, libraries, software and resources​

• Awesome Python 中文版：GitHub - jobbole/awesome-python-cn: Python资源大全中文版，包括：Web框架、网络爬虫、模板引擎、数据库、数据可视化、图片处理等，由「开源前哨」和「Python开发者」微信公号团队维护更新。​

1.1.1 Windows 下的安装

在 Windows 下安装 Python 3 的方式有两种。

一种是通过 Anaconda 安装，它提供了 Python 的科学计算环境，里面自带了 Python 以及常用的库。如果选用了这种方式，后面的环境配置方式会更加简便。

另一种是直接下载安装包安装，即标准的安装方式。

下面我们依次介绍这两种安装方式，任选其一即可。

• 1. Anaconda 安装

Anaconda 的官方下载链接为：Anaconda | Anaconda Distribution，选择 Python 3 版本的安装包下载即可，如图 1-1 所示：

图 1-1 Anaconda Windows 下载页面

如果下载速度过慢，可以选择使用清华大学镜像，下载列表链接为 Index of /anaconda/archive/ | 北京外国语大学开源软件镜像站 | BFSU Open Source Mirror，使用说明链接为 anaconda | 镜像站使用帮助 | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror，下载完成之后，直接双击安装包安装即可。安装完成之后，Python 3 的环境就配置好了。

• 2. 安装包安装

我们推荐直接下载安装包来安装，此时可以直接到官方网站下载 Python 3 的安装包：Download Python | Python.org。

写书时，Python 的最新版本是 3.6.2，其下载链接为 Python Release Python 3.6.2 | Python.org，下载页面如图 1-2 所示。需要说明的是，实际的 Python 最新版本以官网为准。

图 1-2 Python 下载页面

64 位系统可以下载 Windows x86-64 executable installer，32 位系统可以下载 Windows x86 executable installer。

下载完成之后，直接双击 Python 安装包，然后通过图形界面安装，接着设置 Python 的安装路径，完成后将 Python 3 和 Python 3 的 Scripts 目录配置到环境变量即可。

关于环境变量的配置，此处就不进行演示。

• 3. 添加别名

上面这两种安装方式任选其一即可完成安装，但如果之前安装过 Python 2 的话，可能会导致版本冲突问题，比如在命令行下输入 python 就不知道是调用的 Python 2 还是 Python 3 了。为了解决这个问题，建议将安装目录中的 python.exe 复制一份，命名为 python3.exe，这样便可以调用 python3 命令了。实际上，它和 python 命令是完全一致的，这样只是为了可以更好地区分 Python 版本。当然，如果没有安装过 Python 2 的话，也建议添加此别名，添加完毕之后的效果。

• 4. 测试验证

安装完成后，可以通过命令行测试一下安装是否成功。在 “开始” 菜单中搜索 cmd，找到命令提示符，此时就进入命令行模式了。输入 python，测试一下能否成功调用 Python。如果添加了别名的话，可以输入 python3 测试。

1.1.2 Linux 下的安装

Linux 下的安装方式有多种：命令安装、源码安装和 Anaconda 安装。

使用源码安装需要自行编译，时间较长。推荐使用系统自带的命令或 Anaconda 安装，简单、高效。这里分别讲解这 3 种安装方式。

• 1. 命令行安装

不同的 Linux 发行版本安装方式又有不同，在此分别予以介绍。

CentOS、RedHat

如果是 CentOS 或 Red Hat 版本，则使用 yum 命令安装即可。

下面列出了 Python 3.5 和 Python 3.4 两个版本的安装方法，可以自行选择。

Python 3.5 版本：

sudo yum install -y https://centos7.iuscommunity.org/ius-release.rpm

sudo yum update

sudo yum install -y python35u python35u-libs python35u-devel python35u-pip

执行完毕之后便可以成功安装 Python 3.5 及 pip 3 了。

Python 3.4 版本：

sudo yum groupinstall -y development tools

sudo yum install -y epel-release python34-devel libxslt-devel libxml2-devel openssl-devel

sudo yum install -y python34

sudo yum install -y python34-setuptools

sudo easy_install-3.4 pip

执行完毕之后便可以成功安装 Python 3.4 及 pip 3 了。

Ubuntu、Debian、Deepin

首先安装 Python 3，使用 apt-get 安装即可，在安装前，还需安装一些基础库，相关命令如下：

sudo apt-get install -y python3-dev build-essential libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev libcurl4-openssl-dev

sudo apt-get install -y python3

执行完如上命令之后，就可以成功安装好 Python 3 了。

然后还需要安装 pip 3，这里仍然使用 apt-get 安装即可，命令如下：

sudo apt-get install -y python3-pip

执行完毕之后便可以成功安装 Python 3 及 pip 3 了。

• 2. 源码安装

如果命令行的安装方式有问题，还可以下载 Python 3 源码进行安装。

源码下载地址为 Index of /ftp/python/，可以自行选用想要的版本进行安装，这里以 Python 3.6.2 为例进行说明，安装路径设置为 /usr/local/python3。

首先创建安装目录，命令如下：

sudo mkdir /usr/local/python3

随后下载安装包并解压进入，命令如下：

wget --no-check-certificate https://www.python.org/ftp/python/3.6.2/Python-3.6.2.tgz

tar -xzvf Python-3.6.2.tgz

cd Python-3.6.2

接下来编译安装，所需时间可能较长，请耐心等待，命令如下：

sudo ./configure --prefix=/usr/local/python3

sudo make

sudo make install

安装完成之后创建 Python 3 链接，命令如下：

sudo ln -s /usr/local/python3/bin/python3 /usr/bin/python3

随后下载 pip 安装包并安装，命令如下：

wget --no-check-certificate https://github.com/pypa/pip/archive/9.0.1.tar.gz

tar -xzvf 9.0.1.tar.gz

cd pip-9.0.1

python3 setup.py install

安装完成后再创建 pip 3 链接，命令如下：

sudo ln -s /usr/local/python3/bin/pip/usr/bin/pip3

这样就成功安装好了 Python 3 及 pip 3。

• 3. Anaconda 安装

Anaconda 同样支持 Linux，其官方下载链接为：https://www.continuum.io/downloads，选择 Python 3 版本的安装包下载即可。

• 4. 测试验证

在命令行界面下测试 Python 3 和 pip 3 是否安装成功：

$ python3

Python 3.5.2 (default, Nov 17 2016, 17:05:23)

Type "help", "copyright", "credits" or "license" for more information.

>>> exit()

$ pip3 -V

pip 8.1.1 from /usr/lib/python3/dist-packages (python 3.5)

如出现类似上面的提示，则证明 Python 3 和 pip 3 安装成功。

1.1.3 Mac 下的安装

在 Mac 下同样有多种安装方式，如 Homebrew、安装包安装、Anaconda 安装等，这里推荐使用 Homebrew 安装。

• 1. Homebrew 安装

Homebrew 是 Mac 平台下强大的包管理工具，首先安装 Homebrew，官方网站是 Homebrew — The Missing Package Manager for macOS (or Linux)。

执行如下命令，即可安装 Homebrew：

ruby -e"$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

安装完成后，便可以使用 brew 命令安装 Python 3 和 pip 3 了。

brew install python3

命令执行完成之后，我们发现 Python3 和 pip 3 均已经成功安装。

• 2. 安装包安装

可以到官方网站下载 Python 3 安装包。

在 Mac 平台下，可以选择下载 Mac OS X 64-bit/32-bit installer，下载完成后，打开安装包按照提示安装即可。

• 3. Anaconda 安装

Anaconda 同样支持 Mac，其官方下载链接为：https://www.continuum.io/downloads ，选择Python 3 版本的安装包下载即可。