作者SmallBeeWayn (喵喵叫的蜜蜂猫)
看板Visual_Basic
标题[.NET] 写网页解析软体
时间Mon Nov 28 03:04:47 2011
请输入专案类型(网站专案或者应用程式专案)： Visual Basic 2010
目前我是用PHP(自建Server)，使用phpQuery套件，配合工作排程
来达到每日定时爬资料=>丢到MySQL的工作
但是这样麻烦的是不容易管理...
而且要爬的网页很多，(最终版本3000页/天,我不想给Server BAN掉所以有加延迟)
所以想写成系统服务
最复杂的方式需要
一套VB2010可用的爬网页套件(不想自己写)
以及VB2010连结MySQL的工具
MySQL这部分不难处理有现成的工具
但我一时之间找不到网页解析的工具? 请问有现成的吗?
次一点的方式就是写程式去呼叫写好的解析工具(by PHP)
这样的话就是用网页元件...请问有推荐的吗?
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 122.116.180.163
※ 编辑: SmallBeeWayn 来自: 122.116.180.163 (11/28 03:08)
3F：→ MOONRAKER:利用SGMLReader转换成XMLDocument，再用XMLReader读取 11/28 04:15
4F：→ MOONRAKER:不然也有人用.NET XMLReader直接用 11/28 04:15
5F：推 Marty:用第一个解析的时候 要多注意tbody跟ttable的问题 11/28 08:19
6F：→ MOONRAKER:哈，原来有这一层，其实我没真的用过 11/28 15:16
7F：推 Marty:或许应该算是FireBug & Chorme的问题..XPath会多一层出来 11/29 09:02
8F：→ Marty:我也是最近刚好用到才发现的..XD 11/29 09:03