作者rolems (rolems)
看板Trading
標題[問題] 使用迴圈抓取網頁data
時間Wed Jan 23 02:06:54 2013
各位好
小弟最近有在寫交易程式 我用的是VBA
不過需要 歷史 數據
我發現到網路上歷史數據常常是不正確的..而我又很龜毛..
所以我去台灣期貨交易所抓取
如果網頁是html 像是
http://www.twse.com.tw/ch/trading/indices/MFI94U/genpage
/Report201301/A941201301.php?STK_NO=&myear=2013&mmon=01
這類的php "問號" 後面有參數可以讓你導入..
你可以使用迴圈 再利用excel 讀取外部web資料來抓取
無奈 有一些網頁是沒有參數給你導入的
例如
http://www.taifex.com.tw/chinese/3/3_1_1.asp
這種是要你自己選擇 然後按確定來得到你要的
請問這種的要怎麼使用迴圈抓取呢?
我會vba 以及 一點點javascript...
敬請高手指教~
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 123.193.71.35
1F：推 ETHZ:你用VBA,就可以透過支援DDE的券商看盤軟體抓資料. 01/23 02:59
2F：→ ETHZ:這比Parse HTML要快多了 01/23 02:59
3F：→ rolems:目前還不會使用劵商VBA與API做連結..>< 01/23 03:08
4F：→ rolems:我也會html 以及 一滴滴 ASP and PHP .. 01/23 03:10
5F：→ rolems:GOOGLE之後還是沒有想到什麼idea..請高手給個提示.. 01/23 03:11
6F：推 ETHZ:我用永豐的eleader看盤軟體為例: 01/23 06:36
7F：→ ETHZ:1. 把你要抓的資料透過DDE導入到Excel中(看eleader說明就會) 01/23 06:37
8F：→ ETHZ:2.寫你的VBA程式去抓Excel儲存格中即時變動的資料 01/23 06:37
9F：→ ETHZ:3.永豐有提供一套API讓你呼叫下單,API的說使用說明裏面就有 01/23 06:38
10F：→ ETHZ:VBA的程式範例. 01/23 06:39
11F：→ ETHZ:永豐API網址: 01/23 06:40
13F：推 cobrasgo:程式交易還抓網頁啊… 01/23 09:01
14F：推 yuting0103:DDE^^ 01/23 09:03
15F：推 chiefchief:DDE比抓網頁簡單多了吧.....建議稍微了解一下摟 01/23 09:15
16F：推 yuting0103:我記得永豐的程式交易合作對象是奇狐,可以問有沒有便宜 01/23 09:17
17F：→ yuting0103:不過我們那個年代要這樣搞也就算了 01/23 09:18
18F：→ yuting0103:現在這麼方便的環境,幹嘛連一個月一千塊錢都捨不得花 01/23 09:19
19F：推 Uizmp:抓網頁啊..這個已經過時十年以上了耶.. @@" 01/23 10:08
20F：→ rolems:你們說的是即時資料嗎?? 我想要的是歷史資料 01/23 12:19
21F：→ rolems:我記得DDE 是抓即時資料 對吧? 01/23 12:19
※ 編輯: rolems 來自: 123.193.71.35 (01/23 12:28)
22F：推 yuting0103:要歷史資料很簡單 01/23 12:53
23F：→ yuting0103:kimo打 群益multicharts 或 元大multicharts 01/23 12:53
24F：→ yuting0103:灌好主程式跟十年資料之後, 從quotemanager導出即可 01/23 12:55
25F：→ yuting0103:國內跟國外期貨都有.... 01/23 12:55
26F：→ likesea:進階的都是花點小錢搞定資料問題，這問不到就到codejob去 01/23 13:18
27F：→ cybermohrg:用DDE資料品質容易有些參差不齊,還是推花錢買的 @@ 01/23 18:14
28F：→ cybermohrg:一定要抓網頁資料的話,請愛用AutoIt搭配excel呼叫外部 01/23 18:15
29F：推 psliurt:網頁的資料不外乎Request跟Response，研究一下吧 01/27 00:42
30F：→ psliurt:上面說的用DDE抓的大部分應該是K線的資料或是Tick資料 01/27 00:43