Colly中Queue线程的问题及解决方案

Go爬虫Colly的请求队列与线程并发：深入探讨

使用Go语言的Colly爬虫库时，理解其请求队列和线程并发机制至关重要。本文分析Colly中队列线程数与请求延迟之间的交互，解答“Go爬虫Colly中Queue线程的问题？”。

我们通过一个例子来阐述：设定队列线程数为2，使用q, _ := queue.New(2, storage)创建队列，并加入三个请求。为观察效果，设置Collector的延迟为5秒。直觉上，两个请求应几乎同时发出，并在5秒后返回；第三个请求则在10秒后执行。

然而，实际结果却不同：

1. 两个请求被创建。
2. 5秒后，第一个请求返回。
3. 第三个请求被创建。
4. 另5秒后，第二个请求返回。
5. 再5秒后，第三个请求返回。

这说明Colly的Collector在处理请求时，会考虑队列的整体情况，但请求自身的延迟会影响实际执行时间。 队列线程数限制并发请求数量，但如果请求设置了延迟，则延迟会覆盖线程数的并发限制效果。每个请求会在前一个请求完成后，再延迟5秒执行，而不是真正并行处理。

Colly的OnRequest回调函数在请求创建时触发，而非请求发出时。它主要用于请求发出前的预处理，而非控制请求的发出时间。 实际请求发出时间由Collector的延迟设置决定。

因此，当请求设置了延迟时，Colly队列的线程数对并发影响较小，请求的执行顺序和时间主要由Collector的延迟设置控制。 这有助于更清晰地理解Colly的队列机制和并发控制。