作者tacovirus (这个那个)
看板Python
标题Re: [问题] 神秘金字塔爬虫问题
时间Wed Oct 30 01:39:54 2019
※ 引述《kakar0to (Poker Face)》之铭言：
: 请问有人会爬神秘金字塔的网页吗?
: 例如下面这个页面
: https://norway.twsthr.info/StockHolders.aspx?stock=0050
: 我想把这些资讯爬出来
: 20191025 703,000 89,452 7.86 450,780 64.12 75 20 5 5 45 61.57 88.80
: 20191018 753,500 90,255 8.35 498,135 66.11 72 16 5 5 46 64.01 87.95
: ...
: 我观察网页原始码, 这些资讯大概在这两种标签的<td>里面.
: <tr class='lDS'> 与 <tr class='lLS'>
: 不过我用beautifulSoup 去捞<tr class='lDS'>这个tag,
: 似乎也会捞到<tr class='lLS'>这个tag里面的<td>的资讯
: code如下,
: soup = BeautifulSoup(respStr,'html.parser')
: tr_list = soup.find_all('tr')
: for idx,tr in enumerate(tr_list):
: if tr.get('class') == ['lDS']:
: td_list = tr.find_all('td')
: for idx2,td in enumerate(td_list):
: print(td.text)
: 想问是不是有可能beautifulSoup有机会parse错误?
: 如果是的话 有大大知道怎麽解决这个问题吗?
: 或者给我个建议 可以用什麽其他的方式把这些资讯爬出来?
: 感谢.
其实不用去金字塔爬，有现成的 SQLite 可以抓
或是自己养爬虫到集保抓也可以
到 GitHub 看 twnews 可以得到一些资讯
程式码
https://github.com/virus-warnning/twnews
资料载点
http://tacosync.com/archive/
-----
Sent from JPTT on my Motorola one.
--
世界越快 心则慢
网路越慢 心则快
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.163.160.168 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1572370799.A.B59.html
※ 编辑: tacovirus (61.222.33.34 台湾), 10/30/2019 08:40:36