python爬虫是什么意思

python爬虫是什么意思

python爬虫是什么意思?让我们一起知道吧?!

Python用 爬虫Python 程序开发的网络爬虫(网络蜘蛛、网络机器人)是一个程序或脚本,按照一定的规则自动捕获万维网络信息。它主要用于搜索引擎,它阅读一个网站的所有内容和链接,并在数据库中建立相关的全文索引,然后跳到另一个网站。

拓展:爬虫分类

爬虫可分为通用爬虫和聚焦爬虫。

通用网络爬虫,又称全网爬虫,爬行对象来自一些种子 URL 扩展到整个 Web,主要是搜索引擎和大 Web 服务提供商收集数据。

聚焦网络爬虫(Focused Crawler),它是指与预定义的主题相关页面有选择地爬行的网络爬虫。

这就是今天的分享,希望对大家有所帮助。

- END -