怎么爬取微博数据

1、找出微博用户唯一标示：oid点开右边的network选项，在里面选中xhr，并滑动页面的滚动条加载出新页面，此时会出现一个表单，点击该表单。

3、获取到页面就到了最麻烦的解析页面的环节了，因为ajax返回的是json格式，所以用pyquery特别方便,这一部分需要具体分析获得json结构，我的经验是先如果嵌套在字典里就用.get()方法，如果内容在list里，就用for循环，最终可以发发现，我们要获取的内容先大致是这样