作者jamesxxx1997 (黄~)
看板Python
标题[问题]
时间Fri Jan 19 20:35:58 2018
大家好，在scrapy中，我对於spider folder中的project(自订名字).py的运作不了解
以下是project.py中的代码
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = [
'
http://quotes.toscrape.com/page/1/',
]
def parse(self, response):
for quote in response.css('div.quote'):
yield {
'text': quote.css('span.text::text').extract_first(),
'author': quote.css('span small::text').extract_first(),
'tags': quote.css('div.tags a.tag::text').extract(),
}
next_page = response.css('li.next a::attr(href)').extract_first()
if next_page is not None:
yield response.follow(next_page, callback=self.parse)
想请问一下，当我执行此段代码时，程式码的执行流程是?
个人疑惑点 :
1. 官方网站上是说，scrapy 会把response物件丢回给parse，再执行parse
，但是parse是一个generator，scrapy是如何执行此generator呢?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 61.224.169.123
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1516365361.A.C17.html