昨天学习了简单的爬虫入门，所以临时起意写了一个爬取成绩的爬虫，下面讲述写爬虫全过程，因为刚学爬虫，所以找到了一个老的登录页面，不需要输入验证码
此处隐去学校信息：http://xxxjwc.its.xxu.edu.cn/jsxsd/
成绩页面：http://xxxjwc.its.xxu.edu.cn/jsxsd/kscj/cjcx_list
总体思路：
1、利用账号和密码登录，记录下cookie信息
2、利用cookie信息去访问成绩页面
3、利用xpath获得想要的信息（这一点还没仔细学，粗略了解下，用的可能不够好）
一、获得登录时发送的url
1.1使用浏览器的开发工具
利用Chrome浏览器打开教务管理系统网页，使用F12，点击network，勾选Preserve log
1.2登录账号密码，利用开发工具找到登录时发送的url（其实可以从网页源代码中看到表单提交的url）
然后再headers的最下方from data里面可以看到发送的是一个名为encoded的数据，如下所示
这并不是常见的账号和密码类型，读取源代码发现内容如下
function submitForm1(){
try{
var xh = document.getElementById("userAccount").value;
var pwd = document.getElementById("userPassword").value;
if(xh==""){
alert("用户名不能为空！");
return false;
}
if(pwd==""){
alert("密码不能为空！");
return false;
}
var account = encodeInp(xh);
var passwd = encodeInp(pwd);
var encoded = account+"%%%"+passwd;
document.getElementById("encoded").value = encoded;
var jzmmid = document.getElementById("Form1").jzmmid;
return true;
}catch(e){
alert(e.Message);
return false;
}
}
发现encoded是通过账号和密码加密之后再拼接而成的，这里面的encodedInp()是conwork.js下的一个函数，内容如下：
eval(function(p,a,c,k,e,d){e=function(c){return(c<a?"":e(parseInt(c/a)))+((c=c%a)>35?String.fromCharCode(c+29):c.toString(36))};if(!‘‘.replace(/^/,String)){while(c--)d[e(c)]=k[c]||e(c);k=[function(e){return d[e]}];e=function(){return‘\\w+‘};c=1;};while(c--)if(k[c])p=p.replace(new RegExp(‘\\b‘+e(c)+‘\\b‘,‘g‘),k[c]);return p;}(‘b 9="o+/=";p q(a){b e="";b 8,5,7="";b f,g,c,1="";b i=0;m{8=a.h(i++);5=a.h(i++);7=a.h(i++);f=8>>2;g=((8&3)<<4)|(5>>4);c=((5&s)<<2)|(7>>6);1=7&t;k(j(5)){c=1=l}v k(j(7)){1=l}e=e+9.d(f)+9.d(g)+9.d(c)+9.d(1);8=5=7="";f=g=c=1=""}u(i<a.n);r e}‘,32,32,‘|enc4||||chr2||chr3|chr1|keyStr|input|var|enc3|charAt|output|enc1|enc2|charCodeAt||isNaN|if|64|do|length|ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789|function|encodeInp|return|15|63|while|else‘.split(‘|‘),0,{}))
所以我们的账号和密码想要加密就需要自己用python重写这个函数或者直接利用js里面的函数，我选择的是直接利用js里面的函数，需要下载PyExecJS模块，然后导入execjs，账号和密码生成encoded如下：
#对账号密码进行编码 def make_user_token(username, password): with open(‘conwork.js‘) as f: ctx = execjs.compile(f.read()) username_encode = ctx.call(‘encodeInp‘, username) password_encode = ctx.call(‘encodeInp‘, password) token = username_encode + ‘%%%‘ + password_encode return token
准备工作完成，下面开始进行登录从而构建cookie
二、登录
因为刚学爬虫，所以就用最基础的东西来写，利用http.cookiejar中CookieJar来获得cookie信息
#1.登录 def get_opener(): #1.1创建一个cookiejar cookierjar = CookieJar() #1.2使用cookierjar创建一个HTTPCookieProcess对象 handler = request.HTTPCookieProcessor(cookierjar) #1.3使用上一步创建的handler创建一个opener opener = request.build_opener(handler) return opener #1.4使用opener发送登录的请求(账号和密码),目的是得到cookie def login(opener,encoded): data={} data[‘encoded‘] = encoded login_url = ‘http://xxxjwc.its.xxu.edu.cn/jsxsd/xk/LoginToXk‘ req = request.Request(login_url,data=parse.urlencode(data).encode(‘utf-8‘),headers =headers) opener.open(req)
三、访问成绩页面
#2.访问成绩页面 def visit_grade(opener): grade_url = ‘http://xxxjwc.its.xxu.edu.cn/jsxsd/kscj/cjcx_list‘ req= request.Request(grade_url,headers=headers) resp = opener.open(req) return resp.read().decode(‘utf-8‘)
四、得到所需成绩信息
获得成绩页面之后，可以利用spilt或者xpath来获得所需要的内容，这里面我选择的是利用xpath来获得成绩信息
web_data = visit_grade(opener) html = etree.HTML(web_data) grade_data = html.xpath(‘.//*[@id="dataList"]‘)#注意这个路径根据自己所需要的路径设置即可
之后再将里面的信息逐个输出即可，具体情况根据自己所需来设定。这里面有个注意点的是，如果你爬取的是table里面的数据，
因为浏览器会对html文本进行一定的规范化，如果路径中存在tbody结果是为空的，去掉xpath中的tbody即可
五、总体效果
全部代码
from urllib import request,parse from http.cookiejar import CookieJar from lxml import etree import execjs headers = { ‘User-Agent‘: ‘Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Mobile Safari/537.36‘ } #1.登录 def get_opener(): #1.1创建一个cookiejar cookierjar = CookieJar() #1.2使用cookierjar创建一个HTTPCookieProcess对象 handler = request.HTTPCookieProcessor(cookierjar) #1.3使用上一步创建的handler创建一个opener opener = request.build_opener(handler) return opener #1.4使用opener发送登录的请求(账号和密码),目的是得到cookie def login(opener,encoded): data={} data[‘encoded‘] = encoded login_url = ‘http://xxxjwc.its.xxu.edu.cn/jsxsd/xk/LoginToXk‘ req = request.Request(login_url,data=parse.urlencode(data).encode(‘utf-8‘),headers =headers) opener.open(req) #2.访问成绩页面 def visit_grade(opener): grade_url = ‘http://xxxjwc.its.xxu.edu.cn/jsxsd/kscj/cjcx_list‘ req= request.Request(grade_url,headers=headers) resp = opener.open(req) return resp.read().decode(‘utf-8‘) #对账号密码进行编码 def make_user_token(username, password): with open(‘conwork.js‘) as f: ctx = execjs.compile(f.read()) username_encode = ctx.call(‘encodeInp‘, username) password_encode = ctx.call(‘encodeInp‘, password) token = username_encode + ‘%%%‘ + password_encode return token if __name__ ==‘__main__‘: username= ‘xxxxxxxx‘ password= ‘xxxxxxxxxxxxxxxxx‘ encoded = make_user_token(username, password) opener = get_opener() login(opener,encoded) web_data = visit_grade(opener) html = etree.HTML(web_data) grade_data = html.xpath(‘.//*[@id="dataList"]‘) for i in grade_data[0]: n=0 s="" for j in i: if n==3: s+=j.text s+="\t" elif n==4: s+=j.text s+="\t" elif n==5: for grade in j: s+=grade.text s+="\t" elif n==6: s+=j.text s+="\t" n+=1 print(s)
一个最基本的爬虫就做好了，当然这个还很简单，随着后期学习的深入，可能会再写文章改进一下这个。
原文：https://www.cnblogs.com/caijiyang/p/12551043.html