requests抓取需登录(cookie)的页面

之前用requests 比如网址缩短,再比如自动识别网站友情链接,并自动识别网站RSS地址,还有微信公共平台api Python(bottle)版 都是抓取不需要登录的页面内容。

两周前使用requests做了一个简单的phpwind论坛自动登录然后打卡的小脚本,不得不说用requests做这些事比用urllib2之类要方便的多。

简简单单两行代码搞定:

_data = {'lgt':1,'pwuser':usr, 'pwpwd':pwd, 'question':0, 'customquest':'', 'answer':'', 'hideid':0,'forward':'', 'jumpurl':'http://xxx.com/u.php', 'm':'bbs', 'step':2, 'cktime':cktime}

r = requests.post(_url, data=_data)

_cookies = r.cookies

获取到_cookies后再访问u.php页面获取一个verify字符串(这时候就需要代入cookies参数了):

r = requests.get('http://xxx.com/u.php', cookies=_cookies)

_content = r.content

verify = re.compile(r'var verifyhash = \'(.*?)\';',re.I).findall(_content)[0]

然后继续代入_cookies并访问打卡url(需要第二部抓取到的verify):

requests.get('http://bang.dahe.cn/jobcenter.php?action=punch&step=2&verify=%s'%verify, cookies=_cookies)

BTW:pyquery挺好用的,只是不知道和libxml2dom相比效率如何。

已有3条评论 »

  1. laosj

    requests.cookies = web_cookies

  2. sf

    dict

  3. 想请教一下直接构造cookies怎么构造呢?就是复制浏览器的cookies以怎样的格式传给request的cookies?

添加新评论 »