当前位置： 首页 > news >正文

上海怎么建设网站,网站策划主要工作是什么,wordpress悬浮音乐插件,wordpress英文建站文章目录 1. 写在前面2. 抓包分析 【#x1f3e0;作者主页】#xff1a;吴秋霖 【#x1f4bc;作者介绍】#xff1a;擅长爬虫与JS加密逆向分析#xff01;Python领域优质创作者、CSDN博客专家、阿里云博客专家、华为云享专家。一路走来长期坚守并致力于Python与爬虫领域研… 文章目录 1. 写在前面2. 抓包分析 【作者主页】吴秋霖 【作者介绍】擅长爬虫与JS加密逆向分析Python领域优质创作者、CSDN博客专家、阿里云博客专家、华为云享专家。一路走来长期坚守并致力于Python与爬虫领域研究与开发工作 【作者推荐】对爬虫领域以及JS逆向分析感兴趣的朋友可以关注《爬虫JS逆向实战》《深耕爬虫领域》 未来作者会持续更新所用到、学到、看到的技术知识包括但不限于各类验证码突防、爬虫APP与JS逆向分析、RPA自动化、分布式爬虫、Python领域等相关文章 作者声明文章仅供学习交流与参考严禁用于任何商业与非法用途否则由此产生的一切后果均与作者无关如有侵权请联系作者本人进行删除 1. 写在前面 目前爬虫的领域是非常卷的经常有很多小伙伴咨询如何学习、或者其他语言的开发者也想要研究学习。多终端采集的需求及要求在很多企业中都会涵盖。本期用一个之前写的案例来说一下小程序爬虫的基础小程序端接口如果没有加密的话。是非常简单的考验的无非就是请求路径的规划工程化爬虫程序的开发。以及抓包去分析一下需要爬取的数据接口最后抓取解析持久化。今天带来一个简单的小程序爬虫没有任何加密与反爬虫措施新手小白可以学习一下 当然爬虫更多的可能不会是一次性采集大多业务数据的需求都会有增量、更新等此类需求。这个就需要一些经验与技术栈的积累去构建一个7*24持续采集、实时监控、去重增量的爬虫项目

1. 抓包分析 首先我们打开PC端微信中的小程序然后搜索一下需要爬取的小程序。这里抓包工具的话大家自行选择即可我这里使用的是Charles配置的话很简单网上的教程很多大家自行搜索配置即可 这个小程序的话接口是没有加密参数的板块比较多我们就尝试抓取考点练习这个类目下的所有数据点击这个板块可以看到会出现更多的章节这个也我们可以理解为网站的列表页如新闻类网站直接抓包分析一下如下所示 如上抓包图作者分别标记出了14的步骤流程代表的意思就是想要抓取到完整的题目数据那么就需要请求上面标记的4个接口分别如下 一级列表栏目二级列表栏目考题概览页面考题解析页面 好的现在我们先看第一个接口一级栏目接口路径study/getUnitlist需要获取获取这个接口响应JSON数据中的unitid、knowPointList字段用以请求二级栏目你可以理解为这是一个唯一的ID接口抓包数据跟请求参数提交分别如下所示 data {sessionid: self.sessionid, # 小程序的Session、自行获取固值uid: self.uid, # 同样固定的、抓包请求头内获取courseid: 1543,type: 1 }拿到unitid、knowPointList字段后我们开始构建下一次的请求拿到题目的访问页面参数请求接口路径study/getLastPaper这个接口我们需要获取paperid字段来请求具体的试题接口抓包数据跟请求参数提交分别如下所示 data {sessionid: self.sessionid, # 小程序的Session、自行获取固值uid: self.uid, # 同样固定的、抓包请求头内获取courseid: 1543,type: 17,unitid: unitid, # 上面拿到的market: weixinapp_xxzx,kpid: kpid # 代表板块ID、每一个都是固定的 }拿到paperid之后我们就可以拿到试题的具体内容了。这个接口的请求路径study/loadrecordpaper我们只需拿list内的qid用来查看请求最终的试题解析内容接口抓包数据跟请求参数分别如下所示 data {sessionid: self.sessionid,uid: self.uid,paperid: paperid, # 上级接口拿的courseid: 1543,unitid: unitid, # 一级接口拿到的、记得传递过来type: 31,market: weixinapp_xxzx,from: weixinapp }在上面我们拿到了试题的qid就可以直接去请求题型解析接口接口请求路径question/loadQuestion从这个接口去获取完整的一个数据它是包含题目、以及答案解析的接口抓包数据跟请求参数分别如下所示 data {sessionid: self.sessionid,uid: self.uid,courseid: 1543,unitid: unitid, # 一级接口内、记得传递qid: qid, # 上级接口paperid: paperid, # 二级接口内、记得传递type: 17,market: weixinapp_xxzx,videosource: }其实这个小程序的整个流程接口是比较多的从列表进去到最终获取到题与解析答案需要多级接口去请求在请求的过程中还需要携带之前接口响应数据中的某些字段。难度其实是没有的就是需要在做的时候抓包分析后把接口、响应、请求拿下来捋一下这样的话就清晰了最终作者也是放上完整的爬虫请求代码大家替换一下session跟uid就可以直接运行程序完整代码如下所示

   -- coding: utf-8 --import time

   import requests from loguru import loggerclass YtkSpider(object):def init(self):self.headers {Host: ytkapi.cnbkw.com,Accept: /,User-Agent: , #自行获取Referer: , #自行获取Accept-Language: zh-CN,zh-Hans;q0.9}self.sessionid #自行获取self.uid #自行获取self.count 0def get_loadQuestion(self, qid, paperid, unitid, statusNone):url https://ytkapi.cnbkw.com/question/loadQuestiondata {sessionid: self.sessionid,uid: self.uid,courseid: 1543,unitid: unitid,qid: qid,paperid: paperid,type: 17,market: weixinapp_xxzx,videosource: }response requests.post(url, headersself.headers, datadata).json()print(response) def loadrecordpaper(self, paperid, unitid):url https://ytkapi.cnbkw.com/study/loadrecordpaperdata {sessionid: self.sessionid,uid: self.uid,paperid: paperid,courseid: 1543,unitid: unitid,type: 31,market: weixinapp_xxzx,from: weixinapp}response requests.post(url, headersself.headers, datadata).json()data_list response.get(list, [])if data_list:for data in data_list:qid data.get(qid, )logger.info(f获取题ID: {qid})self.get_loadQuestion(qid, paperid, unitid, statusTrue) # 考点练习列表def getUnitlist(self):url https://ytkapi.cnbkw.com/study/getUnitlistdata {sessionid: self.sessionid,uid: self.uid,courseid: 1543,type: 1}response requests.post(url, headersself.headers, datadata).json()unitlist response.get(unitlist, [])for data in unitlist:knowPointList data.get(knowPointList, [])unitid data.get(unitid, [])for kpid in knowPointList:knowPointId kpid.get(knowPointId)self.getLastPaper(knowPointId, unitid)# 考点练习题 def getLastPaper(self, kpid, unitid):url https://ytkapi.cnbkw.com/study/getLastPaperdata {sessionid: self.sessionid,uid: self.uid,courseid: 1543,type: 17,unitid: unitid,market: weixinapp_xxzx,kpid: kpid}response requests.post(url, headersself.headers, datadata).json()paperid response.get(paperid, )if paperid:self.loadrecordpaper(paperid, unitid)else:logger.error(f请导入题库: {response})if name main:obj YtkSpider()obj.getUnitlist()最后我们直接本地运行上面的爬虫程序即可爬取到所有考题的相关完整数据信息可以看到它将正确的选项放在了XML文本内这个自己提取即可如下所示