作者j884232001 (j884232001)
看板Python
標題[問題] 新手學爬蟲(#的問題)
時間Mon Apr 1 21:17:34 2019
小弟目前邊看youtube邊試著學習python遇到了以下問題
請問圖中的資訊#text該如何使用select選擇出來呢?
或是該如何在panel-heading內剔除我不要的資訊?
欲爬蟲網址 :
https://reurl.cc/Q52ao
https://imgur.com/bBpIGUn
soup為已丟進BeautifulSoup4處理過並確定我想要的資訊有抓到
print(soup.contents)
輸出結果(部分)
<div class="panel panel-default">
<div class="panel-heading">
<span class="label label-primary">3738</span>
<span class="label label-default">Lv.107</span>
<span class="label label-info" data-html="true" data-original-title="<img
src='
https://rd-center.fharr.com/assets/sprite/cowraiders3.gif'
style='max-height:75px;max-width:60px;'/>" id="tooltip_3738" rel="tooltip">
魔物模組</span>
<span class="label label-success"></span> <a
href="
https://rd.fharr.com/mob-3738.html">草寇</a>
(彎刀草寇)
</div>
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.169.157.215
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1554124659.A.8DE.html
※ 編輯: j884232001 (118.169.157.215), 04/01/2019 21:23:01
※ 編輯: j884232001 (118.169.157.215), 04/01/2019 21:24:47
※ 編輯: j884232001 (118.169.157.215), 04/01/2019 21:25:36
※ 編輯: j884232001 (118.169.157.215), 04/01/2019 21:30:19
※ 編輯: j884232001 (118.169.157.215), 04/01/2019 21:34:44
※ 編輯: j884232001 (118.169.157.215), 04/01/2019 23:11:17
1F：推 bugbug777: 如果你英文還行的話，查一點字典把這個看完吧 04/02 00:18
3F：→ bugbug777: class跟id的性質不太一樣，你應該補充一點HTML跟CSS的 04/02 00:23
4F：→ bugbug777: 基礎 04/02 00:23
由於(彎刀草寇)這行字並沒有Attributes因此想直接抓panel-heading就這層的text
但不曉得該怎麼下參數..
※ 編輯: j884232001 (118.169.157.215), 04/02/2019 02:15:21
5F：推 lemon651: 抓整個div的最後幾個字吧 最直接 04/02 05:39
有使用過.get_text()、但似乎沒辦法用Regex來做規則、請問您的做法是下哪個參數呢?
※ 編輯: j884232001 (118.169.157.215), 04/02/2019 11:16:02
6F：推 chaotic0307: 用pandas讀入網頁之後再處理會不會比較好? 04/02 14:40
7F：推 art1: 看起來是最外層div的文字內容，所以應該是最後一個元素 04/02 17:16
8F：→ HenryLiKing: 你是只要 (灣刀草寇)這四個字嗎？ 04/02 19:54
9F：推 HenryLiKing: 第一次遇到這種狀況 就寫一篇文章回覆啦 04/02 21:21
感謝您的文章、真的沒用過decompose...
※ 編輯: j884232001 (118.169.157.215), 04/02/2019 21:45:19
11F：推 art1: 最後一個元素的取法 soup.contents[len(soup.contents)-1] 04/03 06:15
原來contents可以這樣用...真的上了一課感謝!!
※ 編輯: j884232001 (118.169.157.215), 04/03/2019 12:41:52
12F：推 vi000246: 我會用regex去找出最後一個tag括號後面的字 04/04 01:02
13F：→ vi000246: 不過樓上a大的寫法比較穩 04/04 01:02
目前服用A大的方法中、請問您的做法可否分享呢? 單純只是想多學學
※ 編輯: j884232001 (118.169.148.216), 04/04/2019 04:02:49