Scrapy入门教程

 时间:2026-02-15 22:53:07

1、安装Scrapy:pip install Scrapy

Scrapy入门教程

2、创建一个项目:scrapy startproject tutorial(到指定目录下在终端执行该命令)

Scrapy入门教程

3、创建成功后,将会显示如下图内容:

Scrapy入门教程

4、我的第一个爬虫Demo:

import scrapyclass 

QuotesSpider(scrapy.Spider):    

          name = "quotes"    

    def start_requests(self):       

        urls = [            

                  'http://quotes.toscrape.com/page/1/',

                  'http://quotes.toscrape.com/page/2/',

         ]

         for url in urls:

             yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):

        page = response.url.split("/")[-2]

        filename = 'quotes-%s.html' % page

        with open(filename, 'wb') as f:

            f.write(response.body)

        self.log('Saved file %s' % filename)

Scrapy入门教程

5、运行我的爬虫:scrapy crawl quotes

Scrapy入门教程

6、运行结果大体如下图所示:

Scrapy入门教程

  • 如何计算带宽
  • 怎样解决syntax error
  • pycharm怎么改成中文
  • Packet tracer中HTTP协议仿真实例
  • 计算机三级证书有用吗,含金量如何,看我秒懂了
  • 热门搜索
    哪里旅游好玩 漳州旅游必去十大景点 鼓浪屿旅游 塞班岛旅游 驴妈妈旅游网 乌鲁木齐旅游 阿尔山旅游 国内旅游景点排行 南京旅游景点 出国旅游