用python写爬虫

 时间:2024-10-12 02:52:20

1、创建项目,设置项目存储位置

用python写爬虫

2、安装requests模块

用python写爬虫用python写爬虫用python写爬虫

3、创建py文件

用python写爬虫用python写爬虫

4、编写基础爬虫框架代码

用python写爬虫

5、使用Microsoft Edge浏览器访问百度,并进行关键词搜索

用python写爬虫

6、在搜索到的页面中点击鼠标右键,在菜单中点击“检查”打开浏览器自带的抓包工具

用python写爬虫

7、在抓包工具中选择“网络”标签选项

用python写爬虫

8、使用快捷键Ctrl+R进行刷新

用python写爬虫

9、找到名称与请求域名相同的数据包

用python写爬虫用python写爬虫

10、在数据包的“标头”标签选项详情中找到“查询字符串参数”,将其中的内容复制

用python写爬虫

11、将复制的字符串参数在代码中封装成字典,并在get()方法中传入params

用python写爬虫

12、修改指定的url观察发现浏览器抓到的数据包中请求URL后半部分其实就是前面找到的那些字符串参数

用python写爬虫用python写爬虫

13、运行代码,代码成功运行,生成新文件

用python写爬虫

14、打开文件查看,和前面用浏览器搜索到的页面一样,说明爬取成功了

用python写爬虫

15、观察“字符串参数”中,wd后面的内容即为输入的关键词,因此在代码中将该参数动态化

用python写爬虫

16、运行代码,键入关键词,运行完成

用python写爬虫用python写爬虫用python写爬虫

17、查看baidu.html文件,成功爬取到所键入关键词相关的搜索内容

用python写爬虫
  • 和平精英怎么获得迷蝶贵族套装
  • mysql查询语句select用法
  • 用PS制作一个印制克罗地亚队队徽的足球
  • js如何给表格添加自定义属性
  • ogv视频如何转换为手机中可以观看的电影格式
  • 热门搜索
    张家界旅游必去景点 宁德旅游景点大全 乐亭旅游攻略 长白山旅游路线 舟山旅游景点大全 武汉旅游地图 包车旅游 长春 旅游 旅游业可持续发展 四川稻城亚丁旅游攻略