requests包设置header失败

老师,我分析一个动态页面的目标数据,发现目标数据是一个script的post方法请求的如下网址 http://www.innojoy.com/client/interface.aspx ,但是直接访稳或者用requests发post请求,都报错。
老师解释可能 是cookie设置的问题。
 
我在模拟请求的时候,完全按照chrome的请求header头设置了header部分,但是检查header的元素发现很多元素并没有设置成功,包括cookie,这个不知道是什么原因?谢谢老师
pc3.jpg

杨真

赞同来自: guojiangwei 邹博

谢谢邹博老师帮忙看这个问题   我怀疑应该是你post部分出问题了。你post上去的,并不是json,而是一个python的字典,所以你应该用 json.dump(payload) 这样将 payload 转为 json 字符串发送,你确认 一下

邹博 - 计算机科学博士,深谙机器学习算法原理

赞同来自: guojiangwei

碰巧《机器学习升级版II/III/IV》中,作为“数据获取”的一个步骤,也介绍了爬虫原理和如何实现代码。(或许这就是我也被at了的原因吧,呵呵) 我刚才简单写了下测试代码,发现它的主页是可以直接用requests访问的,如下图所示。而问题中的链接本来就是返回无效数据。 希望爬取那个页面?期待进一步讨论。
1488769216869.png
 

要回复问题请先登录注册