借助google搜索爬取网站特定子页面

有时需要对某个网站子目录下的网页进行抓取页面,但事先并不知道要爬取哪些页面,可以借助google高级搜索功能和api来提取相应的页面网址,比如:搜索特定网站中的内容:输入 site:,后跟相应网站或域名。例如 [site:youtube.com 猫视频]

优化 Google 搜索范围

子域名搜集攻略来

最详细的GOOGLE搜索指令大全

作者: hqiang1984

量化自我,极简主义

《借助google搜索爬取网站特定子页面》有1个想法

  1. 黄先生您好,

    抱歉冒昧打扰。我是一名记者,正在做一个关于酒店偷拍的调查。联系您是因为我在网上搜索信息时看到了您在部落格分享的被勒索的经历。

    我们做这个调查已经将近一年了,也采访过一些其他被酒店摄像头偷拍的受害者。我们了解到受害者都深受其害,很多都再也不敢入住酒店,但您的情况似乎更为严重,不仅隐私受到了侵犯还因此被勒索。如果您愿意的话,我们非常希望向您了解具体的情况和线索。

    请放心,我们会保护好您的隐私。您也可以选择不向我们透露您的姓名和居住地等个人信息。

    如果您对我们的调查有问题也欢迎联系我。谢谢!

发表评论

电子邮件地址不会被公开。