作者loser113 (洨大魯蛇ㄍ)
看板Python
標題[問題] 爬蟲突然掛掉
時間Thu Feb 4 09:30:07 2021
工具:
python 3.8
selenium
webdriver.Chrome()
情況:
開多個 console 爬同個網站不同頁面
今天早上看發現有些掛掉 幾乎都是同個時間 但有些還是繼續爬
程式碼都依樣 頁面不同
錯誤地方都不太一樣
driver.refresh() 比較多
錯誤原因
NoSuchWindowException: no such window: window was already closed
(Session info: chrome=87.0.4280.141)
嘗試輸入指令
driver
Out[23]: <selenium.webdriver.chrome.webdriver.WebDriver
(session="98fcf588b7cc41cca659c46b9e35424b")>
driver.window_handles
Out[26]: []
driver.page_source
NoSuchWindowException: no such window: target window already closed
from unknown error: web view not found
(Session info: chrome=87.0.4280.141)
找不到頭緒怎麼解
打 driver 仍然有訊信
但是執行一些動作就錯誤
因為有些其他程式還在執行 沒有中斷
想問看有沒有寫法可以避免
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.230.244.130 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1612402209.A.68E.html
1F：推 stillcolor: 是不是因為fail就關閉browser啦？資訊有點少欸～ 02/04 10:08
2F：→ loser113: Chrome 跟頁面都在 02/04 10:28
3F：→ loser113: 頁面是空白 02/04 10:28
4F：推 taipoo: 你是不是觸發網頁的反爬蟲機制，且你爬的是什麼網頁呢？ 02/04 12:00
5F：→ vi000246: 我猜是樓上講的吧 過一天再試試看 02/04 13:24
6F：推 stillcolor: 頁面都空白的話，應該不是selenium的問題吧 02/04 14:21
7F：→ stillcolor: 直覺也是4F講的那樣 02/04 14:21
8F：→ liton: 找個免費的爬蟲軟體批量爬看看會不會被擋 02/04 14:26
9F：→ loser113: 反爬就不得而知 像 google 還有要你選圖 02/04 14:46
10F：→ loser113: 因為同個網站 前一個月沒有這種問題 這個月多放個幾個 02/04 14:48
11F：→ loser113: 帳號去爬 目前找到解法是多寫個sleep在動作 02/04 14:48
12F：→ liton: 網站三不五時改個頁面就能搞死你了 02/04 16:42
13F：→ koshi0413: 你一次多隻爬同一個網頁,是不是IP被偵測到 02/04 21:04
14F：推 fiorentino: 有可能你爬的那個網頁內容就是不存在 02/04 21:53
15F：→ fiorentino: 你打開瀏覽器直接貼上那個網址就知道是不是這個原因 02/04 21:53
17F：→ chickengod: 有人提到可能是網頁開了新視窗 然後關了原本的 02/05 02:30
18F：→ chickengod: 導致handle指向一個已經關閉的視窗 02/05 02:30
19F：→ chickengod: 解法有可能是這個 02/05 02:30
21F：→ chickengod: 指向一個新的視窗 忽略以下exception 02/05 02:30
22F：→ chickengod: NoSuchWindowException, NoSuchElementException 02/05 02:30
今天沒有異狀
我情況是 一個console 對應一個driver 執行程式 沒有關閉網頁指令
有關閉行為 就是點裡面的連結 跑出彈跳視窗 用 find xpath 去把彈出來的視窗關閉
因為我理解是 某種原因 切斷 網頁跟程式的連結 因為網頁還在 但變成空白畫面
程式變成找不到那頁 比較像是網頁當掉 那就應該是 對方網站 OR CHROME 問題
內容我在研究一下 感謝
23F：推 taipoo: 樓上說得也很有可能會發生的 02/05 04:36
※ 編輯: loser113 (36.230.244.130 臺灣), 02/05/2021 09:25:11
※ 編輯: loser113 (36.230.244.130 臺灣), 02/05/2021 09:27:27
24F：推 stillcolor: 話說你空白網頁，有帶入url嗎？ 02/05 14:25
25F：→ loser113: 有 就是要爬的那頁網址 02/05 14:46
26F：推 stillcolor: 會不會是browser memory leak就被砍掉了？我好像碰過 02/05 16:53