爬虫技术,又被称为网页蜘蛛,网络机器,正常情况下,每个网站上线都被爬虫爬到。爬虫技术最常用的领域就是搜索引擎,只有有搜索引擎,我们的网站才能被更多人搜索发现,但是爬虫技术也可能是获取用户隐私信息的关键技术,我们何看待“爬虫”技术的发展?