爬虫被称为网络机器人。在 FOAF 社区，它更多的时候被称为网页追逐者。它是按照一定规则自动抓取万维网信息的程序或脚本。主要针对搜索引擎，它读取一个网站的所有内容和链接，建立相关的全文索引到数据库中，然后跳转到另一个网站。传统的爬虫从一个或多个初始网页的URL开始，获取初始网页上的URL，然后不断地从当前页面中提取新的URL放入队列中，直到满足系统的某些停止条件。
以上就是Python爬虫学习什么的详细内容。更多相关内容请关注其他相关文章！
