常见的爬虫UserAgent

通过前面的文章我们知道，UserAgent（用户代理）是HTTP请求的一部分，用于告诉服务器发起请求的客户端类型和属性等信息。同时，也了解了常见的UserAgent。

今天，我们来看一下一些常见的爬虫UserAgent，包括百度、Google、必应等 UserAgent 信息。

搜索引擎：360搜索

360Spider

搜索引擎：DuckDuckGo

Mozilla/5.0 (compatible; DuckDuckBot/1.0; +http://duckduckgo.com)

搜索引擎：好搜

Soso spider/4.0(+http://help.soso.com/webspider.htm)

搜索引擎：必应

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

搜索引擎：必应国际

Mozilla/5.0 (iPhone; CPU iPhone OS 11_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/11.0 BingWeb/11.12.1.5 Mobile/15E148 Safari/604.1 BingPreview/1.0b

搜索引擎：搜狗

Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

搜索引擎：有道

Mozilla/5.0 (compatible; YoudaoBot/1.0; http://www.youdao.com/help/webmaster/spider/; )

搜索引擎：百度

Mozilla/5.0 Baiduspider-render/2.0 (+http://www.baidu.com/search/spider.html)

搜索引擎：神马

Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; SMX)

搜索引擎：谷歌

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

搜索引擎：雅虎

Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

爬虫框架：Apache HttpClient (Java)

Apache-HttpClient/4.5.13 (Java/11.0.10)

爬虫框架：Beautiful Soup

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36

爬虫框架：Colly (Go)

Mozilla/5.0 (compatible; colly; +https://github.com/gocolly/colly)

爬虫框架：Go HTTP Client

Go-http-client/2.0

爬虫框架：Jsoup (Java)

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36

爬虫框架：OkHttp (Java)

okhttp/4.9.1

爬虫框架：Python Requests

python-requests/2.26.0

爬虫框架：Scrapyests

Scrapy/2.6.0 (+https://scrapy.org)

在编写爬虫时，合理使用UserAgent可以帮助爬虫绕过一些简单的反爬虫机制。同理，在识别爬虫时，也不能完全依赖UserAgent，因为UserAgent可以被伪造。在实际应用中，可以结合其他方法如IP地址、请求频率等来识别和阻止爬虫。