作者jack155861 (萧)
看板R_Language
标题Re: [问题] 相关爬虫问题
时间Sun Jun 4 21:56:59 2017
※ 引述《jack155861 (萧)》之铭言：
: [问题类型]:
:
: 程式谘询(我想用R 做某件事情，但是我不知道要怎麽用R 写出来)
:
: [软体熟悉度]:
:
: 使用者(已经有用R 做过不少作品)
:
: [问题叙述]:
:
: 之前爬虫都是用html网页型态，最近遇到一个是需要先点选选单才能查询资料的ASP网页，
: 如下
: http://fhy.wra.gov.tw/ReservoirPage_2011/StorageCapacity.aspx
: 假设我要载：水库>2017/6/4 像这样的资料时，他的网址并不会跟着变动
: 要使用怎样的语法会比较恰当
: 请各位指点一下~"~
:
各位好
谢谢C大的说明 然後我又在网路上看到一个教学 他这个教学跟我网站的形式有点类似
网址如下：
http://leoluyi.logdown.com/posts/406397-crawler-mops-2
我把我要爬虫的网站 看了他的程式码 他是属於form data 如下图
http://imgur.com/a/Vy7mw
依照上面教学网址是要把form data的资料都放到R的函数理头
res <- POST(
"
http://fhy.wra.gov.tw/ReservoirPage_2011/StorageCapacity.aspx",
body = "XXXXX",
encode = "form")
但是怎样跑都跑不出来 跑的都是最新(2017/6/4)的资料
若我body只放以下这些有影响的参数也是如此
ctl00$cphMain$cboSearch:防汛重点水库
ctl00$cphMain$ucDate$cboYear:2017
ctl00$cphMain$ucDate$cboMonth:6
ctl00$cphMain$ucDate$cboDay:2
请问各位大大 有哪里用错了吗?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.169.202.207
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1496584622.A.D2C.html
1F：推 seimwiwa: 注意VIEWSTATE 06/05 21:14
2F：→ jack155861: 请问s大 要如何处理VIEWSTATE那一长串的资料ㄚ 06/06 00:03
3F：推 bluecadence: 你要先 get 主页 http (你文章里面的http)，在主页的 06/06 00:24
4F：→ bluecadence: 内容中先捞出 __VIEWSTATE 和 __VIEWSTATEGENERATOR 06/06 00:24
5F：→ bluecadence: 的值，之後抓不同的日期需要 post 这些参数 06/06 00:25
6F：→ bluecadence: 另外搞不好需要保留cookies使用cookies (我不确定， 06/06 00:27
7F：→ bluecadence: 我没实际去抓你这网页) 06/06 00:27
8F：→ jack155861: B大 _viewstate那些我都有放了 还是无法 06/06 10:38
9F：→ jack155861: 保留cookies使用cookies 这个是啥意思 06/06 10:38
11F：→ jack155861: 有类似的东西 但她好复杂 我在瞧瞧 06/06 10:39
12F：→ bluecadence: 也是一样 造访主页後,把 cookies 存起来，之後爬资料 06/06 11:27
13F：→ bluecadence: 要用这些cookies 试试看吧 06/06 11:27
14F：推 seimwiwa: 这个只需要以正则表达式先取得viewstate即可 06/06 15:55
15F：→ jack155861: 谢谢各位 我爬爬爬爬爬 出来了 06/06 17:44
16F：→ bluecadence: 那个cookies是google analytics在用的 应该是用不上 06/06 17:52
17F：→ bluecadence: 刚看了一下除了日期，另外两个必要的参数是 06/06 18:05
18F：→ bluecadence: __VIEWSTATE 和 __EVENTTARGET 06/06 18:06
19F：推 seimwiwa: 恭喜你印象中2001年开始才有纪录，全部爬完应该要花点 06/06 19:16
20F：→ seimwiwa: 时间 06/06 19:16
21F：→ jack155861: 其实蛮快的 06/07 08:40