作者kakar0to (Poker Face)
看板Python
标题[问题] 神秘金字塔爬虫问题
时间Sat Oct 26 13:54:24 2019
请问有人会爬神秘金字塔的网页吗?
例如下面这个页面
https://norway.twsthr.info/StockHolders.aspx?stock=0050
我想把这些资讯爬出来
20191025 703,000 89,452 7.86 450,780 64.12 75 20 5 5 45 61.57 88.80
20191018 753,500 90,255 8.35 498,135 66.11 72 16 5 5 46 64.01 87.95
...
我观察网页原始码, 这些资讯大概在这两种标签的<td>里面.
<tr class='lDS'> 与 <tr class='lLS'>
不过我用beautifulSoup 去捞<tr class='lDS'>这个tag,
似乎也会捞到<tr class='lLS'>这个tag里面的<td>的资讯
code如下,
soup = BeautifulSoup(respStr,'html.parser')
tr_list = soup.find_all('tr')
for idx,tr in enumerate(tr_list):
if tr.get('class') == ['lDS']:
td_list = tr.find_all('td')
for idx2,td in enumerate(td_list):
print(td.text)
想问是不是有可能beautifulSoup有机会parse错误?
如果是的话 有大大知道怎麽解决这个问题吗?
或者给我个建议 可以用什麽其他的方式把这些资讯爬出来?
感谢.
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 42.72.97.13 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1572069268.A.785.html
1F：推 ckc1ark: div.get => tr.get ?10/26 15:02
2F：→ kakar0to: div.get 是我打文章笔误 code是tr.get10/26 15:23
※ 编辑: kakar0to (42.72.97.13 台湾), 10/26/2019 15:23:50
3F：→ kakar0to: 已修正文章 10/26 15:24
4F：推 ppc0715: 使用pandas 处理应该会简单点吧 10/29 12:04