python爬虫利用Selenium库来爬取新浪财经股票信息

丢老木

Selnium库（爬取那些爬取难度较高的网站）1 安装模拟浏览器（这里以谷歌浏览器为例，对应的模拟浏览器为chromedriver）1.1查看谷歌浏览器的版本号（单击右上角→帮助→关于GoogleChrome）当前谷歌浏览器的版本为127.0.6533.891.2 下载ChromeDriver安装包     ChromeDriver安装包官方：http://chromedriver.storage.googleapis.com/index.html     ChromeDriver安装包镜像网站：https://npm.taobao.org/mirrors/chromedriver/    上面这两个链接，我都无法打开，全网寻找一番，找到了另外两个地址:   https://chromedriver.storage.googleapis.com/index.html （这里chromedriver最新版是  114.0.5735.90，版本太低，并且它只包含win32的版本，和我自己电脑上的谷歌浏览器版本不一样，在后续使用的时候会出现问题，详情见后面）   ChromeforTestingavailability这个链接包含最新的google浏览器模拟器下载链接，满足版本不匹配和win64版本的要求1.3 安装ChromeDriver    1.查询python的安装路径        【Win+R】→输入cmd→按【Enter】键→输入”wherepython”→按【Enter】键    2.放置chromedriver.exe        解压chromedriver_win32.zip文件，解压缩文件夹中找到chromediver.exe,        将chromedriver.exe文件复制到python安装路径下的Scripts文件夹中    3.运行chromadriver        命令窗口输chromedriver，按【Enter】键，运行结果如下图，则成功安装2 安装Selenium库给JupyterNotebook安装：在AnacondaPrompt中输入pipinstallselenium给Pycharm安装：终端中输入pipinstallselenium3用Selenium库获取网页源代码：新浪财经股票信息     1.访问及关闭页面    打开：fromseleniumimportwebdriver          browser=webdriver.Chrome() #声明要模拟浏览器是谷歌浏览器          browser.get('https://www.baidu.com') #访问指定浏览器    关闭：brower.quit()   2.获取网页源代码      data=browser.page_source #可获得模拟浏览器中经过动态渲染的网页代码   3.最终代码如下和运行结果：fromseleniumimportwebdriverbrowser=webdriver.Chrome()#声明要模拟浏览器是谷歌浏览器browser.get('https://finance.sina.com.cn/realstock/company/sh000001/nc.shtml')#访问指定浏览器data=browser.page_source#可获得模拟浏览器中经过动态渲染的网页代码print(data)遇到的问题：模拟浏览器的版本不匹配报错代码如下：Thechromedriverversion(114.0.5735.90)detectedinPATHatD:\Python3.12.2\Scripts\chromedriver.exemightnotbecompatiblewiththedetectedchromeversion(127.0.6533.89);currently,chromedriver127.0.6533.88isrecommendedforchrome127.*,soitisadvisedtodeletethedriverinPATHandretry 报错截图如下：我又重新下载了，版本正确的模拟浏览器，问题才得以解决。