原文：https://blog.csdn.net/Cristal_tina/article/details/53739378
一般採用該條命令啟動
scrapy crawl spider_name
但是，由這條命令啟動的爬蟲，會將所有爬蟲運行中的debug信息及抓取到的信息打印在運行窗口中。很亂，也不方便查詢。所以，可使用該命令代替：
scrpay crawl spider_name -s LOG_FILE=all.log
就會將原本打印在窗口的所有信息保存在all.log的文件裡了。可以在項目根目錄中找到該文件，查看所有爬取信息。
-------------------------------------------------- -------------------------
根據該條博文，類似的，比如我們用scrapy shell的時候，控制台經常輸出debug信息，非常煩人，採用這個方法可以很好的解決這個問題。
scrapy shell "http://blog.a0z.me/2014/05/21/GitBeginning/" -s LOG_FILE=all.log
這樣的話在進行交互式的時候就不會一直彈出debug信息，
文章標籤
全站熱搜
