作者yoz4ni (yoooooz)
看板Python
標題[問題] 爬蟲 Google search
時間Tue Jun 9 11:25:13 2020
請問一下
再拿到 response 後用 tag 去找資料會失敗
為什麼我執行的時候很容易失敗
https://i.imgur.com/xs0Hu1x.jpg
偶爾會成功
https://i.imgur.com/LF6VOjR.jpg
我 header 放
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'
請問有人有遇到過這樣的問題嗎?
我後來把 cookie 也全部加進去也沒效 QQ
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.125.46.7 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1591673115.A.586.html
1F：→ pmove: 失敗時，回傳的資料是？ 06/09 12:22
2F：→ mychiux413: 找看看有沒有'recaptcha'的id,有的話就是機器人在擋 06/09 12:30
3F：→ mychiux413: 爬google的所有動作最好是每5秒動一次比較安全 06/09 12:31
4F：→ mychiux413: 如果recaptcha跳出來,可以休息10分鐘後再來 06/09 12:32
5F：→ yoz4ni: 回傳的資料如果是找 tag 的話是沒資料的(空的) 06/09 14:55
6F：→ yoz4ni: 請問是 recaptcha 的話要在哪裡才能看的到呢? 06/09 14:56
9F：→ alvinlin: 另Google Custom Search API 也參考 06/09 15:59
10F：→ alvinlin: 有API用API吧。爬東西很累人的 06/09 15:59
11F：→ mychiux413: 會有一個element的id叫做'recaptcha', 可以用bs4找 06/09 16:05
12F：→ alvinlin: 找到recaptcha也沒用。破解不了的 06/09 16:22
13F：→ OrzOGC: 一個人硬幹是贏不過google那些工程師的 06/09 18:00
14F：→ yoz4ni: 因為我是在練習，所以想說不去用 API 來抓資料看看 06/10 02:24
15F：→ yoz4ni: 還是說這樣的練習其實是不需要的OAO 06/10 02:24
16F：→ yoz4ni: 我晚點去把回傳資料找看看有沒有 id 是 recaptcha 的 06/10 02:26
17F：→ alvinlin: 也不是這樣說。因為看你已經正確抓到資料了，所以你的程 06/10 03:13
18F：→ alvinlin: 式沒問題。但你如果是要去對付reCaptcha這我試過沒找到 06/10 03:13
19F：→ alvinlin: 方法。所以你只能繞道。剛好這個有API那應該試著用其他 06/10 03:13
20F：→ alvinlin: 方法取得資料，而不是和它硬幹。 06/10 03:13
22F：→ vi000246: 通常google有api的東西就不要自己爬了 贏不了google工程 06/10 09:07
23F：→ vi000246: 師的 06/10 09:07
24F：→ shadowjohn: 爬的內容你連續多抓幾個分頁頻率一高就被檔了 06/10 09:26
25F：推 femlro: 我有時候手動搜尋快一點都被擋了 何況爬蟲 06/10 16:26
26F：推 aidansky0989: 只有更新cookies還不夠，IP時間等等都要調 06/10 16:35