start
还是以豆瓣为例,提交表单登录
登录前,只有 4 个包:
https://accounts.douban.com/passport/login
登录后,多了几个包,其中 basic 包查看,可以看到我们的账号与密码,说明这个包的 url 就是我们登录需要的 url,因为是登陆后的,而不是登录前的 url,而且可以看到是 post 方法提交的
到此我们登录就成功了,就可以去提取数据了
END
我们放上代码,其中使用了 post 方法,因为请求写的是 post 方法提交登录表单一般用的都是 post 方法,在 post 方法中,data 参数是需要提交的参数,是字典形式
import requests
from fake_useragent import UserAgent
url = 'https://accounts.douban.com/j/mobile/login/basic'
headers = {
'User-agent' : UserAgent().random,
}
data = {
'name' : '你的',
'password' : '你的'
}
response = requests.post(url,headers=headers,data=data)
response.encoding = 'utf-8'
print(response.text)