借助google搜索爬取网站特定子页面

有时需要对某个网站子目录下的网页进行抓取页面,但事先并不知道要爬取哪些页面,可以借助google高级搜索功能和api来提取相应的页面网址,比如:搜索特定网站中的内容:输入 site:,后跟相应网站或域名。例如 [site:youtube.com 猫视频]

优化 Google 搜索范围

子域名搜集攻略来

最详细的GOOGLE搜索指令大全