首页 > 其他 > 详细

自学爬虫(二)

时间:2020-01-08 10:09:11      阅读:72      评论:0      收藏:0      [点我收藏+]

POST请求练习

通过爬取课程成绩我发现所有的班级名也可以爬取,只是需要提交一个表单,它长这样

技术分享图片

 

 

既然知道了表单的内容,那我们可以通过urllib.parse.urlencode()方法把它封装到data里面去,访问的时候直接一起丢过去就可以了

page=1#可以自己写 
data={
‘param_value‘:‘100020‘,
‘executiveEducationPlanNum‘ :‘2019-2020-2-1‘,
‘yearNum‘:‘‘,
‘departmentNum‘ :‘‘,
‘subjectNum‘:‘‘,
‘classNum‘:‘‘,
‘pageNum‘:page,
‘pageSize‘:‘10‘,
}
  query_string = urllib.parse.urlencode(data).encode()


    request = urllib.request.Request(url=url,headers=headers,data=query_string)

    response = urllib.request.urlopen(request).read().decode()

这样就能得到全校班级的json格式了

技术分享图片

自学爬虫(二)

原文:https://www.cnblogs.com/hongweijiang/p/12164923.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!