作者MAGICXX (逢甲阿法)
看板Python
標題[問題] 檔案下載完畢後 才繼續
時間Sat Nov 7 16:15:46 2020
我現在用爬蟲去抓資料
可是有時候在下載還沒完成之前 他就又去重新找新的資料 然後就會少抓一筆資料
然後就會跳過一筆資料 害我的資料常常會有缺少
請問一下 selenium 有沒有 "檔案下載完成之後 再做接著的動作" 這種機制
謝謝
--
◢███◣ 真是太令我興奮了，教授BOY~~
█████
█▉◥█◤ 覆蓋一張空白考卷在桌上 結束這學期
██ ◤ \
◤◤╲╰┤ ㊣ ｊｕｓｔｌａｓａｉ
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.134.51.64 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1604736948.A.C96.html
1F：推 pig98520: 加一個檢查檔案是否存在的機制？ 11/07 17:41
2F：→ MAGICXX: 可是 我下載的檔案都是隨機的亂碼 有辦法判別嗎？ 11/07 18:00
3F：→ MAGICXX: 而且其實都很小 他們下載很快 點了下載之後 因為他伺服器 11/07 18:02
4F：→ MAGICXX: 端處理下載會有延遲 才會發生下載錯誤的問題... 11/07 18:02
5F：推 lambo: 已經知道延遲 不然就sleep一下？ 11/07 18:06
6F：→ MAGICXX: 設太短會沒用 設太長等很久... 11/07 18:27
7F：→ MAGICXX: 我剛剛試了一下 大概200~300個檔案會跳一次 很討厭.... 11/07 18:30
8F：推 andy19960407: 直接先判定好要下載哪些資料 在for 起來載勒？ 11/07 22:49
9F：→ Pieteacher: time.sleep() 11/07 22:52
10F：推 ripple0129: 土炮一下，搜索下載資料夾檔案有沒有.tmp之類，下載 11/08 00:23
11F：→ ripple0129: 中檔案印象chrome會有不同副檔名 11/08 00:23
12F：→ MAGICXX: 因為資料名稱是亂碼 沒辦法先放在for裡面給他跑 11/08 03:10
13F：→ MAGICXX: 最後我還是給他sleep...雖然我覺得應該有方法才對... 11/08 03:10
15F：推 TitanEric: 感覺可以用以上chrome內建機制解 11/08 09:14
16F：推 LP9527: 用 「檔案數量 」作判斷啊.. 11/08 11:08
17F：推 annheilong: 你有辦法下載檔案就會知道檔名吧？ 11/09 10:22
18F：推 s860134: 檔案數量和 .temp 應該是合理解 11/10 09:14
19F：→ MAGICXX: 我最後是去比對 如果沒有crdownload 就繼續抓這樣 11/11 11:53
20F：推 mychiux413: 下載時有辦法換成requests去做嗎？ 12/21 19:20