爬虫
Python的open函数报错’gbk’ codec can’t decode byte
报错信息 代码如下: with open("./test.html") as fin: h … Read more Python的open函数报错’gbk’ codec can’t decode byte
selenium的各个浏览器的webdriver的下载地址
链接 https://www.selenium.dev/documentation/webdriver/get … Read more selenium的各个浏览器的webdriver的下载地址
Http协议和Python Requests库
HTTP协议 请求 请求的数据 URL URL的参数,比如http://httpbin.org/get?key … Read more Http协议和Python Requests库
豆瓣电影爬虫需要加上UserAgent的Headers
问题 豆瓣网站进行了升级,如果爬取的时候不加UserAgent的Headers,会返回爬取错误的装填。 解决方 … Read more 豆瓣电影爬虫需要加上UserAgent的Headers
lxml.etree, element.text doesn’t return the entire text from an element
Use element.xpath("string()") or lxml.etree.t … Read more lxml.etree, element.text doesn’t return the entire text from an element
Python爬虫之伪表头pseudo headers
遇到问题,在爬取这个网站的时候: https://www.biququ.com/html/21627/ 发现了 … Read more Python爬虫之伪表头pseudo headers