module FreeSpider

require 'active_record' require 'mysql2' require 'logger'

打印爬取过程中出现的错误

调度程序从Scrapy引擎接受请求并排序列入队列，并在Scrapy引擎发出请求后返还给他们

蜘蛛是有Scrapy用户自己定义用来解析网页并抓取制定URL返回的内容的类，每个蜘蛛都能处理一个域名或一组域名。 用来定义特定网站的抓取和解析规则。

存储得到的数据