Python反爬突破Cloudflare5秒盾的处理

阿阿九

最近爬一个网站，遇到了个很棘手的问题，网页访问正常，查看网页源码内容能看到想要的信息，但是用python去爬的话就会遇到反爬Cloudflare5秒盾的检测，返回各种比如Justamoment…等等的结果，最后用了两种方法解决1、使用Cloudscraper这个估计是大部分人的解决方法了，毕竟很实用，直接上代码importre#pipinstallcloudscraperimportcloudscraperimporturllib3urllib3.disable_warnings()url='https://www.xxx.com'response=scraper.get(url).textprint(response)123456782、使用curl_cffiimportre#pipinstallcurl_cffifromcurl_cffiimportrequestsimporturllib3urllib3.disable_warnings()url="https://www.xxx.com"response=requests.get(url,impersonate="chrome101").textprint(response)123456789基本上都是几行代码解决，已经适应了很多场景，基本上都能解决问题了