作者rennmin84 (rennmin84)
看板Python
标题[问题] 想请问有关爬虫问题
时间Sun Dec 23 15:55:26 2018
大家好好好！
最近想要写爬虫程式来蒐集一些股票资讯（例如某个股的每季本益比或ROE），虽然
财报狗已经把数据整理的很漂亮，可是想说当作练习就来抓取上面的资料。不过现在
遇到的一个问题是找不到完整的tag资讯，我的程式码和网站原始码如下：
import requests
from bs4 import BeautifulSoup
URL = '
https://statementdog.com/analysis/tpe/2912/financial-structure-ratio'
resp = requests.get(URL).text
soup = BeautifulSoup(resp, 'html5lib')
data = soup.find('ul', {'id': 'datasheet'})
https://i.imgur.com/evMuXjH.jpg
在标签属性为{'id': 'datasheet'}的ul标签当中还有很多资料，可是用我上面的程式码
都找不到里面的资料，然後data这个变数值只有<ul id="datasheet"></ul>。
想请问大家我的程式码是哪边出问题了，感谢感谢～
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 115.43.135.35
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1545551729.A.103.html
※ 编辑: rennmin84 (115.43.135.35), 12/23/2018 16:01:13
※ 编辑: rennmin84 (115.43.135.35), 12/23/2018 16:01:52
※ 编辑: rennmin84 (115.43.135.35), 12/23/2018 16:10:23
※ 编辑: rennmin84 (115.43.135.35), 12/23/2018 16:15:37
※ 编辑: rennmin84 (115.43.135.35), 12/23/2018 16:15:53
※ 编辑: rennmin84 (115.43.135.35), 12/23/2018 16:19:11
※ 编辑: rennmin84 (115.43.135.35), 12/23/2018 16:19:31
※ 编辑: rennmin84 (115.43.135.35), 12/23/2018 16:23:21
※ 编辑: rennmin84 (115.43.135.35), 12/23/2018 16:23:51
※ 编辑: rennmin84 (115.43.135.35), 12/23/2018 16:26:51
※ 编辑: rennmin84 (115.43.135.35), 12/23/2018 16:28:13
※ 编辑: rennmin84 (115.43.135.35), 12/23/2018 16:28:30
※ 编辑: rennmin84 (115.43.135.35), 12/23/2018 16:29:02
1F：→ dododavid006: 我看到的也是空的 该不会是要登入吧 12/23 17:10
对耶没有考虑过登入的问题，感谢回覆！我来试试看！
2F：→ InfinityGate: 1. 登入 2. 这资料是动态载入的 12/23 18:26
不好意思我有点菜..请问动态的资料用BeautifulSoup就看不到吗？那不是要用Selenium?
3F：→ TakiDog: 找封包下手吧 12/24 13:07
请问封包是什麽意思哈哈？感谢您的回覆啦！
4F：→ toy9986619: 看看资料是不是透过JS加载进来的 12/24 14:30
请问要怎麽检查是不是JS加载进来的？谢谢～
※ 编辑: rennmin84 (115.43.135.35), 12/24/2018 20:14:14
※ 编辑: rennmin84 (115.43.135.35), 12/24/2018 20:16:46
5F：推 ms0202687: 建议原po去YT查一下 我记得有人谈到财报狗的爬虫问题 12/24 23:45
6F：→ ms0202687: 。另外你应该是纯商管类的吧，以上各楼回答的关键字建 12/24 23:45
7F：→ ms0202687: 议先自己做个功课 12/24 23:45
感谢大家的回覆！我刚刚用Selenium登入之後，就爬得到资料了。
※ 编辑: rennmin84 (115.43.135.35), 12/25/2018 08:58:50