作者be00148 (有新信件还没看)
看板Python
标题[问题] 爬虫网页图表资料问题
时间Wed Jul 1 22:40:59 2020
各位高手大大晚安
我想抓取下图的资料档
https://i.imgur.com/tmpyyZy.jpg
已经知道图表的资料是从这个网址汇入
https://i.imgur.com/znv2SKe.jpg
但是我直接把这段网址贴到浏览器会说找不到网页
https://i.imgur.com/PRKcbtJ.jpg
不晓得是哪里有放过滤机制
因为如果後面参数不要放那麽多
是可以抓到股价资料
但是主力,券商买卖家数怎麽试就是没办法
不晓得有没有经验的大大指点一下
卡了2天了QQ
https://histock.tw/stock/main.aspx?no=2330
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 101.12.66.220 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1593614461.A.060.html
1F：推 cuteSquirrel: GET里面的header要设定user-agent和referer 07/01 23:04
2F：→ cuteSquirrel: 所要的资讯可以在原本截图Response Headers里面找到 07/01 23:07
4F：→ be00148: @cuteSquirrel 之前我只有加 user-agent 07/01 23:23
5F：→ be00148: 原来还要加referer 不过要如何判断header应该加哪些资料 07/01 23:23
6F：→ be00148: ? 07/01 23:23
7F：→ be00148: @cuteSquirrel 真的谢谢了 受小弟一拜<O> 07/01 23:24
9F：推 cuteSquirrel: 就从常见的几个开始试吧 爬虫满常遇到这些情况 07/01 23:29
10F：→ cuteSquirrel: 不客气~ 07/01 23:29
11F：→ alvinlin: 其实没有一定。通常都是用上述方法後一个个删减到最少。 07/01 23:31
12F：→ alvinlin: 这都是爬多了就会知道了。懒得删也ok。 07/01 23:33
13F：→ be00148: A大 谢谢 试到最後 只留referer就好XD 07/01 23:33
14F：→ alvinlin: ^^great！我的理解是这完全取决於伺服器端怎麽做的。 07/01 23:36
15F：→ be00148: 我可以再问一个问题吗 抓下来的资料看起来像json 读取後 07/01 23:39
16F：→ be00148: 资料的部分变成字串 有什麽方式可以快速转换为list吗 07/01 23:39
17F：推 cuteSquirrel: 可以用response.json()拿到python dict 07/01 23:47
18F：推 cuteSquirrel: 用dev tool看到的key去抓字串，再用re去撷取 07/01 23:51
19F：→ alvinlin: 嗯。再import json;json.loads() 07/01 23:52
21F：→ alvinlin: 如上图。K就变成list了 07/01 23:55
23F：→ be00148: 针对"[[a,1],[b,2]]"这种字串型态资料用json.loads() 就 07/02 00:03
24F：→ be00148: 可以转成list 谢谢了 07/02 00:03
25F：→ alvinlin: ^^。顺便也可以去参考skcom 0.9.4 07/02 00:23
26F：→ alvinlin: 嗯..最近好像到0.96了。 07/02 00:23