wget工具的安装及使用

Mac下wget工具的安装

• 使用homebrew

  sudo brew install wget
  

• 使用mac ports

  sudo port install wget
  

  ​

使用wget爬取全站数据

• 确定需要爬取的网站URL$Route_{remote}$ ，需要放置的本地路径$Route_{local}$

• 输入命令

  wget -r -p -np -k -P ~/usr/web/ https://jiawei1996.github.io
  

• 其中

  • -P 表示下载到哪个目录
  • -r 表示递归下载
  • -np 表示不下载旁站连接.
  • -k 表示将下载的网页里的链接修改为本地链接.
  • -p 获得所有显示网页所需的元素