Python爬虫爬取AJAX

 时间:2024-10-12 19:53:30

1、首先把需要的库安装一下,pip isntall requests,pip install pyquery ,urlencode是python3内置了不用安装

2、然后我们分析下要爬取的网页,我这里以豆瓣电影为例,打开页面打开浏览器开发者工具,点Network选项,然后刷新网页,再选取淌捌釜集XHR这种就是AJAX传来的数据了,经分析我们要爬取的首页电影网址为:https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&page_limit=50&page_start=0https://movie.douban.com/j/search_subjects?这条后面跟着参数,不同参数返回不同内容,这条就是返回了 热门的50条内容

Python爬虫爬取AJAXPython爬虫爬取AJAX
  • 碧蓝航线里钻石有什么用
  • 异地恋真的好么?
  • 玫瑰的药用价值
  • 明日方舟三周年庆典新干员技能属性详解
  • 学会后期调色,从理解HSL面板开始(3)
  • 热门搜索
    青藏线旅游景点 锡林郭勒盟旅游 广东清远旅游 旅游网站哪个好 湖北十堰旅游 美国旅游签证新政策 绍兴旅游景点大全 汤山旅游 适合老人旅游的地方 中国旅游路线