在互联网上识别用户身份、获取用户信息是一种常见的行为，针对特定用户推送、定制不同的内容也比较常见。但事实上，互联网上存在大量的虚假流量。它们通常用于大量、分布式地收集网页信息，模拟登录，模仿用户行为，以避免被封禁的风险。虚假流量的主体是网络爬虫。网络爬虫是一种用于自动收集公共网络数据的机器人[1]。虽然一些爬虫在被爬行的网站同意的情况下收集信息，但大多数网络爬虫不遵守互联网条款。
目前使用最广泛的网络子句是robots.txt。其目的是告诉爬虫机器人网站的哪些页面可以爬行，哪些页面不允许爬行。该条款仅用于声明，不能强制网络爬虫。遵守其规定。下图是百度的robots.txt的一部分：
