从建立爬虫，到运行成功，一步步跟着来即可。

本文有两个案例；

• 案例1：从建立爬虫项目开始，一步步教你如何获取电影名称和网址

• 案例2：更高级一点，爬取电影名称、导演、演员、评分、上映时间、时长、别名等，且存储到文件。

案例1：获取豆瓣top250的电影名称和网址

1、新建爬虫项目：

步骤1-1：开始---输入cmd，打开命令框

步骤1-2：cd 进入想要放爬虫的文件夹（也即你想让你的爬虫放的文件夹）：比如我自己的文件夹：cd C:\Users\huhuanhuan\PycharmProjects\scrapy

步骤1-3：在当前目录中创创建一个爬虫项目文件：scrapy startproject douban250

在pycharm中，会看到新建的爬虫项目如下的目录结构

步骤1-4：进入新建立的项目文件夹中：cd douban50

后续运行已经写好的爬虫，也需要进入到这个目录下面。

步骤1-5：建立一个爬虫蜘蛛，比如爬虫名字为test：

scrapy genspider test movie.douban.com/top250

此时在pycharm中已经可以看到test.py文件。

2、编写爬虫文件：

三个注意及需要修改的地方：

1）在爬虫test.py文件中编写爬虫的程序

2）在settings.py文件中设置延迟下载时间，以及user-agent

3）运行爬虫：可以新增一个py文件，比如名字为runspider.py，方便运行爬虫，不用每次切换到cmd控制页面。

注意点2-1：打开test.py文件，写入如下程序：

注意点2-2：打开settings.py文件，修改一下“USER_AGENT”

    其中USER_AGENT是通过在豆瓣top250的页面，右键---检查----点击nework，找到header，里面有USER_AGENT,把内容复制到settings.py文件即可。主要为了防止被网站拒绝访问。

另外为了防止被网站封掉，可以设置下延迟下载时间：

注意点2-3：在项目文件夹下新增一个runspider.py文件，写入程序，以便直接在pycharm运行爬虫。

程序内容为：

运行runspider.py文件，即可得到所有的电影名称和网址。

你已经获取了所有的豆瓣电影信息了。

案例2：如果你想要更高级一点，爬取电影名称、导演、演员、评分、上映时间、时长、别名等，且存储到文件。

需要在5个py文件中修改：

1）在爬虫test_all.py文件中编写爬虫的程序

2）items.py。设置存储的字段

3）pipelines.py。主要是存储文件的程序

4）在settings.py文件中设置延迟下载时间、user-agent、pipeline

5）同案例1。运行爬虫.py：可以新增一个py文件，比如名字为runspider.py，方便运行爬虫，不用每次切换到cmd控制页面。

目录如下：

1）爬虫文件test_all.py：主要有三个函数：

• parse：查找到a标签、获取电影详情页面链接以及下一页的链接，注意函数间的回调

• getinfobyre：对于正则表达式获取的数据进行处理

• detail_parse：对于跳转的电影详情页面进行数据提取，这里主要注意ItemLoader的用法，以及如果继承上一个链接传来的数据。

2）items.py。设置存储的字段。主要注意点，在数据的输入整理（input_processor）和输出整理（output_processor）的用法。

3）pipelines.py。主要是存储文件的程序。

这里以存储txt为例说明。只存储内容。

4）在settings.py文件中设置。延迟下载时间、user-agent、ITEM_PIPELINES。

代理：

延迟下载：

ITEM_PIPELINES：

5）运行爬虫.py：可以新增一个py文件，比如名字为runspider.py，方便运行爬虫，不用每次切换到cmd控制页面。

程序案例链接：https://pan.baidu.com/s/1Qvj-Qk4HkjbKDCq7oBogIg 密码：izrg

更多的知识，请参考作者的其他博文。