Scrapy基础使用实例

 时间:2024-10-24 22:44:10

1、root用户使用XShell连上CentOS7机器,已经新建了scrapy工程,tree命令显示当前目录结构。tree

Scrapy基础使用实例

2、进入spider文件夹,新建文件coderSpider.pycd mySpider/mySpider/mySpider/spiders/vi coderSpider.py

Scrapy基础使用实例

3、在coderSpider.py中编写代码如下:#!/usr/bin/python#罕铞泱殳coding:utf8足毂忍珩import scrapyclass coderSpider(scrapy.Spider): name = 'coder' #爬虫名 allowed_domains = ['http://www.coder1024.site/'] #允许的域名 start_urls = ['http://www.coder1024.site'] # 开始爬地址 def parse(self,response): with open('coder.html','w') as f: f.write(response.body)

Scrapy基础使用实例

4、ESC退出编辑模式,保存退出:wq

Scrapy基础使用实例

5、运行命令scrapy crawl coder

Scrapy基础使用实例

6、运行完成后,爬虫关闭,再spider文件夹,生成coder.html文件

Scrapy基础使用实例Scrapy基础使用实例
  • 如何使用scrapy框架(scrapy简单教程)?
  • MemCache的实例应用
  • bootstrap hello world源码实例
  • python Scrapy安装出现xslt-config错误问题处理
  • Bootstrap实现流动布局实例
  • 热门搜索
    嵩山旅游攻略 阿联酋旅游攻略 番禺旅游景点 大连旅游图 厦门旅游攻略住宿 上海旅游景区 长滩岛旅游 郑州周边旅游景点 齐云山旅游 日本北海道旅游攻略