Как заставить паук возвращать данные с помощью scrapy через внешний script?

Каков способ просмотра возвращаемых данных функции синтаксиса паука при выполнении script следующим образом?

from twisted.internet import reactor
from scrapy.crawler import Crawler
from scrapy.settings import Settings
from scrapy import log, signals
from ***********.*******.followall import ***************
****** = ***************(domain='scrapinghub.com')
crawler = Crawler(Settings())
crawler.signals.connect(reactor.stop, signal=signals.******_closed)
crawler.configure()
crawler.crawl(******)
crawler.start()
crawler.stats
#log.start()
reactor.run()

Я отключу журнал для просмотра сообщений печати в пауках, но с включенным журналом возвратные данные также не отображаются.

Код функции анализа паука возвращает простую строку.

Как я получу эти данные? Я пытаюсь напечатать результаты "reactor.run", но всегда "none"

2 ответа

Вот так я нашел, чтобы получить собранные предметы:

items = []
def add_item(item):
 items.append(item)
crawler.signals.connect(add_item, signals.item_passed)

Я дал свой первоначальный ответ в связанном вопросе и немного уточнил: тут


Если вы хотите, чтобы запись на экране изменила эту строку:

#log.start()

:

log.start(loglevel=log.DEBUG)

на ваш script.

Смотрите question

licensed under cc by-sa 3.0 with attribution.