作者garlic774 (蒜头)
看板Python
标题[问题] Xpath抓不到内容
时间Sat Nov 20 20:14:52 2021
各位大大晚安，以Xpath抓，一直结果none，请问有可能是哪边出了问题呢?
[in]
!pip install selenium
from selenium import webdriver
import time
import pandas as pd
browser = webdriver.Chrome(executable_path='./chromedriver.exe')
browser.get("
https://tw.mall.yahoo.com/store/%E5%B1%88%E8%87%A3%E6%B0%8FWatson
s:
time.sleep(5)
# 商品连结
# 如何找到rel Xpath ?
linkpath = '//ul[@class = "sc-eWvPqa cePswM"]/li/a'
product_links = browser.find_elements_by_xpath(linkpath)
product_link = product_links[0].get_attribute('href')
print('商品连结:',product_link)
[out]
IndexError Traceback (most recent call last)
<ipython-input-22-cb447ba73a6b> in <module>
11 linkpath = '//ul[@class = "sc-eWvPqa cePswM"]/li/a'
12 product_links = browser.find_elements_by_xpath(linkpath)
---> 13 product_link = product_links[0].get_attribute('href')
14 print('商品连结:',product_link)
IndexError: list index out of range
请问有可能是防爬的原因吗? 还是哪边有错误吗?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.25.201.214 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1637410494.A.50D.html
※ 编辑: garlic774 (114.136.86.16 台湾), 11/21/2021 09:05:52
1F：→ sating00: 报错不是很清楚吗？out of range 就是你给的数超过list 11/21 14:41
2F：→ sating00: 上限 11/21 14:41
3F：→ sating00: 先检查 product_links 到底有没有东西吧 11/21 14:44
4F：→ garlic774: 谢谢S大 我再试试看 11/21 19:09
5F：→ TakiDog: 用chrome debugger 搜寻看看吧 11/21 19:29
6F：→ TakiDog: 尽可能不要用自动产生的xpath(判断太严格)手动写判断不 11/21 19:30
7F：→ TakiDog: 难 11/21 19:30
8F：→ garlic774: 後来改成 //a去搜寻，再用if in: 也筛选出来了 感谢大 11/21 22:13
9F：→ garlic774: 大们 11/21 22:13