Scheduler Scheduler 组件会接收来自 Engine 的请求，它负责将请求存储到 持久化或非持久化的数据结构中。 它还可以获取这些请求，并在 Engine 要求下载下一个请求时，将其返回给 Engine。 默认 Schedulerfrom_crawler@classmethod def from_crawler(cls: Type[SchedulerTV], crawler) -

ExecutionEngine 这个 Engine 负责的是系统中所有组件之间的数据流转与交互。 ExecutionEngine是Engine的实例，它会初始化Schedule、Slot、Downloader（Downloader Middlewares）、Scraper(Spider Middlewares、itempipline)、Stats等，并对其进行管理、控制。 源码解析scrapy&

Spiders Spiders 是定义如何抓取某个网站（或一组网站）的类。 包括如何进行抓取（即跟随链接）以及如何从其页面中提取结构化数据（即抓取项目）。 换句话说，Spiders 是你定义业务逻辑的地方，用于抓取和解析特定网站（或在某些情况下，一组网站）的页面。 name 必要，自定义爬虫名称，爬虫的唯一标识 allowed_domains 可选，规定爬虫爬行范围。实现代码scrapy.sp

架构图 执行流程 ENGINE从SPIDERS中（start_urls或start_requests方法）获取种子链接 # scrapy/crawler.py#CrawlerRunner def crawl(self, crawler_or_spidercls, *args, **kwargs): if isinstance(crawler_or_spidercls, Spider):

启动命令启动# 运行爬虫程序，不需要项目 # scrapy runspider spider_demo.py scrapy runspider <spider_file.py> # 在项目中运行爬虫程序 # scrapy crawl spider_demo scrapy crawl <spider> 脚本启动CrawlerProcess 方式import scrapy from s

创建默认模板# Scrapy 版本 2.6.2 # 创建项目 # scrapy startproject [配置参数（可选）] <项目名称（字母开头，只运行数字字母下划线）> [项目输出路径（可选）] scrapy startproject scarpy_demo "d:\爬虫 - 项目" # 创建爬虫 cd d:\爬虫 - 项目 # scrapy genspider [配置参数（可选