※ 引述《k43582 (crab)》之铭言： : 您好 : 监测某一个网站 当网站更新时 : 我有办法获得更新处的web page所对应的URL吗? : 附上说明文件http://www.megaupload.com/?d=6AQCBESD : 有高手可以接下吗.. : 钱可以讨论 : 谢谢! : 推 bestwishes:不太懂 说明文件中URL没有变啊 用CURL重抓不就好了? 10/29 23:39 : → k43582:当只有子网页更新就给我对应的URL 不要给root那个URL 10/30 00:11 : 推 PsMonkey:你是要对付 internet 所有网站，还是特定网站？ 10/30 00:25 : → k43582:八成左右的网站 谢谢 10/30 10:35 对不起，我不是高手 只是看了一下原 po 的文章与推文 我想还是写点东西，帮案主省点时间，应该也可以帮接案方省点时间 现在网路上有多少「网站」（先跳过明确的网站定义） 用最保守的算法，就当 1 亿吧 八成也就是八千万个网站 好，其实考虑背後系统的话，也没有这麽多 各类 BPS、CMS 架出来的可能占了不少比率 另外加上如果有 RSS 之类的辅助，那应该会快乐不少 所以，就算 100 种好了（因为我很喜欢《100 种生活》，OH-YEAH!） 这 100 种「网站」，每一种出血大放送 平均台币 1K 就帮你 fetch/parse 好 你就要准备 100K 这还没有算为了後续 mining 所作的前期准备、塞资料库 能避开基本 ban ip 的排程系统.... 这类系统分析、系统架构之类的东西 （反正前面的 code 都这麽出血大放送了，这些就当撒必死？） 硬体 resource 的部份总不能要接案方负责吧？ 所以你还要有爆炸大的频宽跟爆炸大的硬碟 跟爆炸快的机器跑 Database 这样才有办法对付网路上八成左右的网站 （当然，也可以一句「套分散式系统」来打发掉，反正出血大放送 XD） 如果你 or 其他高手嫌弃上面的说法太专业 or 太不切实际 那改个简单、商业版的说法 假设 Google 现在只有 1/10 的 resource 在处理 search engine 你没有要作内容分析，所以就当成只有 search engine 的 1/100 功能 加上你又只打算对付八成的网站 我是不知道 Google 的资金是多少 不过上头的比率乘起来是 1/10 * 1/100 * 4/5 = 4/5000 再加上大家都在 CodeJob、都在台湾拼经济的交情，再给你乘着 1/10 五万分之四个 Google... ==== 虽然我只是无聊来练打字 但我真的没有要酸人的意思... Orz -- 钱锺书： 说出来的话 http://www.psmonkey.org 比不上不说出来的话 Java 版 cookcomic 版 只影射着说不出来的话 and more...... --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 114.25.9.199