Python爬虫:抓取手机APP的数据

摘要

大多数APP里面返回的是json格式数据,或者一堆加密过的数据 。这里以超级课程表APP为例,抓取超级课程表里用户发的话题。

1.抓取APP数据包

表单:

表单中包括了用户名和密码,当然都是加密过了的,还有一个设备信息,直接post过去就是。

另外必须加header,一开始我没有加header得到的是登录错误,所以要带上header信息。

3.登录

登录代码:

登录成功 会返回一串账号信息的json数据

和抓包时返回数据一样,证明登录成功

3.抓取数据

用同样方法得到话题的url和post参数

做法就和模拟登录网站一样。

下见最终代码,有主页获取和下拉加载更新。可以无限加载话题内容。

结果:

你想更深入了解学习Python知识体系,你可以看一下我们花费了一个多月整理了上百小时的几百个知识点体系内容: