作者allen511081 (蓝)
看板Python
标题[问题]scrapy pipelines 无法写入CSV档
时间Wed Jan 7 17:00:47 2015
继上次发问pipelines的问题後，已经自行解决keyerror的问题，
这次是无法写入CSV档，明明执行的时候都没出现错误讯息，但就是写不进去
CSV档，附上程式码
pipelines.py
import csv
from myproject.items import BirdTitle,BirdName,BirdCount
class myPipeline(object):
def __init__(self):
self.myCSV = csv.writer(open('birds.csv','wb'))
self.myCSV.writerow(['title','birdname','count'])
def process_item(self, item,spider):
titles=[]
names=[]
counts=[]
for title in item:
if isinstance(item, BirdTitle):
for title in item['title']:
titles.append(title)
return titles
for name in item:
if isinstance(item, BirdName):
for name in item['birdName']:
names.append(name)
return names
for count in item:
if isinstance(item,BirdCount):
for count in item['count']:
counts.append(count)
return counts
for a, b,c in zip(titles,names,counts):
self.myCSV.writerow([a, b,c])
return item
请问我该如何解决?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 210.70.151.159
※ 文章网址: http://webptt.com/cn.aspx?n=bbs/Python/M.1420621249.A.CE1.html
1F：→ alibuda174: process_item的作用是？ 为何那麽多个return 01/07 17:33
2F：→ alibuda174: item给个例子吧 01/07 17:33
3F：→ allen511081: process_item 是在处理蜘蛛爬来的资料 01/07 20:56
4F：→ allen511081: return是返回list，总共有三个list 01/07 20:57
5F：→ allen511081: item[titleA,titleB,nameA,nameB,countA,countB] 01/07 21:00
6F：→ allen511081: 把item处理成三个list後，就是titles,names,counts 01/07 21:03
7F：→ alibuda174: return titles 那process_item不就结束了... 01/07 23:30
8F：推 ug945: 只要 在最後return item就好了 其他的都不用 01/07 23:59
9F：→ allen511081: 已经处理掉3个return了，CMD画面有抓到东西，但是 01/08 09:57
10F：→ allen511081: 最後就是存不进去CSV档里面，档案里就只有headerline 01/08 09:59