作者hankerafter (憧憬)
看板Python
標題[問題] 新手請教有關股票爬蟲
時間Wed May 26 22:46:12 2021
大家好，小弟完全沒學過程式，目前有用google sheets 的一些指令(IMPORTXML)去抓
某些股票的股價，然後做一些運算。
目前遇到的問題是:
1.如果太多儲存格有importxml指令就會出現正在載入中(被網站限制爬蟲)。
2.因第一個問題，所以想用分流方式解決，但某些網站用chrome抓xpath，
會抓不到真實路徑。
3.如果想學python應該從哪裡著手，有無推薦的書。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.217.58.117 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1622040374.A.EEA.html
1F：→ hankerafter: 補充:希望可學到抓取網站任何一欄位數據05/26 23:06
2F：推 penut85420: google看看「鐵人賽 股票」，it邦上面蠻多教學的05/27 05:31
3F：→ penut85420: 一些串接券商行情之類的，我也是在那邊學的05/27 05:32
4F：→ penut85420: 如果是股票行情的話，基本爬蟲加證交所API應該就行05/27 05:33
6F：→ penut85420: 雖然這個專案很久沒更新了，但可以替你的研究起個頭05/27 05:35
7F：→ penut85420: 至於Python的語法學習則推薦這個網站05/27 05:36
9F：→ penut85420: 也有電子書版本可以購買05/27 05:36
謝謝85420提供好多資訊，可來好好研究了。
10F：→ Virness: 你沒說要即時還是歷史資料05/27 07:35
回virness大，是即時
※ 編輯: hankerafter (36.238.138.93 臺灣), 05/27/2021 08:53:45
※ 編輯: hankerafter (36.238.138.93 臺灣), 05/27/2021 08:57:44
11F：推 abr810416: FinMind GitHub 有提供資料可以使用 05/29 07:38
好喔，來試看看，感謝
12F：推 Virness: 直接串券商api05/29 11:18
哈，完全不懂怎麼串，謝謝大大給方向
13F：→ liton: 你是想用即時股價還想學爬蟲？一次抓全部的還是抓名單裡面05/29 14:07
14F：→ liton: 的？是抓當時的一個股價還是開盤到抓的當時的全部股價？05/29 14:07
我想要自選股的及時股價，加入基本面、籌碼面等，再加入自己的公式做運算，然後做到
價提醒
※ 編輯: hankerafter (116.89.141.236 臺灣), 05/29/2021 15:21:14
16F：→ liton: tml 參考一下你要學多少東西才行 05/30 01:16
17F：→ liton: 別耗在爬蟲了 網頁稍微調整一下就夠你忙不完了 05/30 01:18
18F：→ liton: 上面跟你說的券商api和FinMind，你得自己有能力去搜 05/30 01:28
19F：→ liton: 另外補充一下，FinMind要日中數據得是交錢會員了。目前Fin 05/30 01:33
20F：→ liton: Mind的日中交易數據是整天一次下，也就是你13:25查，會把 05/30 01:33
21F：→ liton: 這支股票9點的數據全傳給你 05/30 01:33
好的，我也知道要從頭學需花很多時間，如果能套用現成最好，
不過這些現成的就夠我忙了，還在學怎麼使用。
真的謝謝提供這些資訊，讓我好好思考方向。
22F：→ alvinlin: 先定義你的需求開始才得到比較明確的答案 05/30 16:55
需求就是抓大數據推測下支飆股，這樣會不會太奢侈，呵呵
*[1;37m推
mickyang: https://reurl.cc/eE8vGW 05/30 17:26
謝謝大大，讓我少一點時間去搜尋這些範例
24F：推 mickyang: 抱歉，補充一下，因上面的程式有用到 Line Notify. 05/30 23:05
25F：→ mickyang: 若您沒有用 Line Notify ，可以把檔案最下面的 05/30 23:05
26F：→ mickyang: Line Notify 的程式碼給他去掉。 05/30 23:06
恩恩，LINE連動有時還蠻好用的
28F：→ liton: 最大的問題是要將日中數據和跨日數據融合在一起。一般來說 05/31 01:08
29F：→ liton: 日中數據跟跨日數據是不同數據源，你盤中得要有整合在一起 05/31 01:08
30F：→ liton: 立刻重新算指標的能力 05/31 01:08
31F：→ liton: 很容易出現依據昨天之前的跨日數據進場，結果今天的數據一 05/31 01:11
32F：→ liton: 算結果方向錯了 05/31 01:11
※ 編輯: hankerafter (36.238.137.102 臺灣), 05/31/2021 12:43:58
※ 編輯: hankerafter (36.238.137.102 臺灣), 05/31/2021 14:37:09
34F：→ liton: 盤中即時抓數據 算指標 做圖標 05/31 18:32
35F：→ liton: 台股就不放了，功能跟陸股差不多 05/31 18:33
恩恩，感覺好多功能應該可以用
37F：推 qwer11324: 可參考 用Python 理財：打造小資族選股策略 06/01 08:32
※ 編輯: hankerafter (36.238.137.102 臺灣), 06/01/2021 10:57:11
對於新手的我，真是受益多多，感謝liton大大整理
※ 編輯: hankerafter (36.238.137.102 臺灣), 06/03/2021 18:43:44