作者alvinlin (艾尔文)
看板Python
标题Re: [问题] 新手学python想抓网页资料
时间Fri Jul 26 10:25:46 2019
帮你实做了一下顺便当练习。给你参考。
import sys
import bs4 as bs
from PyQt4.QtGui import QApplication
from PyQt4.QtCore import QUrl
from PyQt4.QtWebKit import QWebPage
import urllib.request
import pandas as pd
class Client(QWebPage):
def __init__(self, url):
self.app = QApplication(sys.argv)
QWebPage.__init__(self)
self.loadFinished.connect(self.on_page_load)
self.mainFrame().load(QUrl(url))
self.app.exec_()
def on_page_load(self):
self.app.quit()
url = '
http://ww2.money-link.com.tw/etf/Ranking2.html'
client_response = Client(url)
source = client_response.mainFrame().toHtml()
soup = bs.BeautifulSoup(source, 'lxml')
js_test = soup.find('table', class_='ETF_table_2 sticky-enabled')
print(js_test.text)
https://i.imgur.com/IlD0trt.jpg
要下载PyQt4
https://i.imgur.com/FcPpN6C.jpg
※ 引述《yeeche (yeech)》之铭言：
: 各位前辈好
: 小弟是python新手 程度应该很low
: 想请教一下用python抓网页的功能
: http://ww2.money-link.com.tw/etf/Ranking2.html
: 我想抓取这个网页的
-----
Sent from JPTT on my iPhone
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 123.192.186.172 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1564107948.A.683.html
1F：推 yeeche: 真是太感动了 大感谢 我先好好学习!! 07/26 12:34
2F：推 HenryLiKing: 原来还可以这样用 PyQT!!! 好厉害!! 07/26 13:39
3F：→ HenryLiKing: 请问PyQT会像selenium一样被侦测出是机器人吗QQ? 07/26 13:40
4F：→ alvinlin: ㄟ...我其实整个程式都是照原原po里有篇YouTube连结里的 07/26 15:02
5F：→ alvinlin: 原封不动照抄。只有HTML的Tag和Class换掉而已。在这之前 07/26 15:02
6F：→ alvinlin: 也没看过。 07/26 15:02
7F：推 brt: pyqt那个只是包装的浏览核心 07/26 15:39
8F：→ brt: 真正抓的还是BS 07/26 15:39
9F：推 vi000246: 怕被侦测机器人可能要学如何伪装表头了 07/26 22:21
10F：推 poem5566: 太感谢了 感恩分享 07/30 16:23