start
由于对方网站又做了反爬处理,加入了防盗链以及动态 cookie,为了让大家便于理解,我们改一下代码,但不那么复杂,上面的教程还是有参考价值的,所以不删除了。
我们使用 selenium 来进行访问。
访问代码
from selenium import webdriver
import warnings
warnings.filterwarnings('ignore')
def get_html(url):
"""
请求 url 获得 html
:param url:
:return:
"""
driver.get(url)
html = driver.page_source
driver.quit()
return html
在原代码基础上,只修改访问请求代码。
page_source 获取加载后的此页的 html 代码
新用了一个 warnings 库,此库的作用是忽略警告,意思就是还说,在使用 selenium 时会打印版本信息提示警告,可以不打印。