2.1.1 世界上第1个爬虫

爬虫是一种自动抓取万维网网页信息的机器人。世界上第1个网络爬虫由麻省理工学院（MIT）的学生马休·格雷（Matthew Gray）在1993年写成，并命为“万维网漫游者”。尽管其编写目的不是为了做搜索引擎，但正是这革命性的创新，为搜索引擎的发展和今天的广泛应用奠定了坚实的基础。