作者kiwigo1000 (快变小黑人了.....)
看板Python
标题[问题] 抓取脸书贴文的所有留言与回覆
时间Wed Jul 28 16:44:40 2021
各位前辈好
目前在练习抓取这则脸书贴文的所有留言，以及所有留言内的回覆内容。
https://www.facebook.com/JIEJIE.UNCLECAT/posts/369845707834873
目前有办法点击抓出所有的留言，但是不太清楚该如何再点击抓出留言内的回覆内容。
如果想要再抓出回覆内容的话，是在要while回圈当中放入点击「n则回覆」的指令吗？
如果是的话，我该如何放进去呢？
有请各位前辈给个方向，谢谢。
-------
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
import time
import requests
from bs4 import BeautifulSoup
from selenium.common.exceptions import NoSuchElementException
chrome_options = webdriver.ChromeOptions()
prefs = {"profile.default_content_setting_values.notifications" : 2}
chrome_options.add_experimental_option("prefs",prefs)
driver = webdriver.Chrome(chrome_options=chrome_options)
driver.get("
https://www.facebook.com")
username = WebDriverWait(driver,
10).until(EC.element_to_be_clickable((By.CSS_SELECTOR,
"input[name='email']")))
password = WebDriverWait(driver,
10).until(EC.element_to_be_clickable((By.CSS_SELECTOR, "input[name='pass']")))
username.clear()
username.send_keys("my email")
password.clear()
password.send_keys("my password")
button = WebDriverWait(driver,
2).until(EC.element_to_be_clickable((By.CSS_SELECTOR,
"button[type='submit']"))).click()
time.sleep(3)
driver.get("
https://www.facebook.com/JIEJIE.UNCLECAT/posts/369845707834873")
time.sleep(5)
while(True):
try:
driver.find_element_by_xpath("//*[contains(text(), '查看更多留言
')]").click()
driver.execute_script("window.scrollTo(0,
document.body.scrollHeight);")
time.sleep(5)
except NoSuchElementException:
break
soup = BeautifulSoup(driver.page_source, 'html.parser')
comments = soup.find_all("div", class_="kvgmc6g5 cxmmr5t8 oygrvhab hcukyx3x
c1et5uql")
posts=[]
for comment in comments:
posts.append(comment.text)
posts
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 119.171.145.128 (日本)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1627461882.A.7A1.html
1F：推 TitanEric: 感觉可以接API?不过不晓得现在fb机制是如何 07/28 20:47
2F：推 goitaly: API好麻烦 尤其是group要先审查 07/29 16:57
3F：→ goitaly: 有个class是固定的用for loop去跑到底就好 07/29 16:58