wget

下载工具

一般

wget url

下载url指定的资源，日志输出到stdout，文件名称和url中指定的资源名称一致

wget url -o log -O file

-o：指定日志输出到的文件

-O：指定下载后的文件名称

wget -t 5 url

-t：指定重试次数

限制下载速度

wget --limit-rate 20k url

--limit-rate: 限速，单位有k，m

--quota：或者-Q，限制占用的磁盘大小

断点续传

wget -c url

镜像整个网站

wget --mirror url

将整个网站下载下来

wget -r -N -l 5 url

-r：递归下载

-l：指定递归的深度

-N：允许对文件使用时间戳

ftp、http使用密码

wget --user username --password pass url

使用用户名密码登录并下载

使用post

wget url --post-data "name=value1&name2=value2" -o out.html

以POST的方式提交数据，"name=value1&name2=value2"

curl

curl url -O

下载url中的资源，文件名称从url中解析出

curl url -o filename

下载为filename文件

curl url

直接将url资源内容下载输出到stdout

断点续传

curl -C - url

从上次断点开始下载

-C - ，curl自动推断出需要从哪里开始下载

-C offset：指定偏移量

指定referer

curl --referer refer_url target_url

curl url --cookie "user=bob;pass=123"

curl url --cookie-jar file

--cookie指定cookie，多个cookie使用";"隔开

--cookie-jar，指定cookie文件

设置代理字符串

curl url --user-agent "Mozilla/5.0"

指定任意头部信息

curl -H "Host:www.test.com" -H "Accept-language: en" url

-H 指定任意header，可以指定多个

指定最大下载大小

curl url --max-filesize bytes

如果文件超出限制，返回一个非0码，如果正常返回0

使用用户名密码

curl -u username:passwd url

只打印头信息

curl -I http://test.com

curl -head http://test.com

只打印http头信息，不下载文件

post提交数据

curl -d "name=value1&name2=value2" url -o out.html

-d: 提交post数据，使用""包围，防止shell对"&"执行为命令

--data: 和-d一样