python爬虫--爬取网页数据的一般步骤

 时间:2024-10-16 21:22:39

1、python的安装推荐安装anaconda,自带jupyter notebook上述基础工具安装完毕后,win + r打开控制台,输入pip install request 即可,如果速度过慢或者链接不上可以尝试pip install request -i https://pypi.tuna.tsinghua.edu.cn/simple/ 同理bs4库的安装与request库的安装类似

python爬虫--爬取网页数据的一般步骤

3、正式开始我们的爬虫之旅~首先要明确我们想要爬取的目标~对于网页源信息的爬取我们首先要获取url,然后定位我们的目标内容

python爬虫--爬取网页数据的一般步骤

5、然后我们需要模拟浏览器的请求(使用request.get(url)),获取目标噩荜务圃网页的源代码信息(req.text)(注意需要在开头引入request库了)

python爬虫--爬取网页数据的一般步骤

7、随后我们要在源网页中进一步定位目标信息在网页源代码中的位置:在网页中F12键,查看元素信息,使用瘾廛装钒左上角的按钮进一步查看目标信息位置

python爬虫--爬取网页数据的一般步骤

8、使用beautifulsoup进一步定位源代码信息

python爬虫--爬取网页数据的一般步骤

9、最后使用循环取出单个元素信息首先分析单个信息的位置:他在ul列表下,使用循环取出

python爬虫--爬取网页数据的一般步骤

10、然后定位单个元素中信息的位置,并取出信息

python爬虫--爬取网页数据的一般步骤

11、最终就得到了目标信息列表啦~

python爬虫--爬取网页数据的一般步骤
  • 如何在wps表格的每一页都设置相同的表头
  • 绝地求生刺激战场模拟器怎样跳伞跳的远?
  • 离职后,公积金取不取出来,取出来有什么影响?
  • el-tabs如何显示在右边
  • 七种常见Excel错误提示及问题解决方法
  • 热门搜索
    天津旅游路线 去法国旅游要多少钱 塞班岛旅游价格 大武汉旅游年卡 福建平潭岛旅游攻略 北京市旅游地图 互助旅游 花都旅游景点大全 安徽的旅游景点 柳州旅游攻略