Articles of wget

无法让cron追加wget的输出

我有一个cronjob设置和运行,但日志文件不断覆盖每次运行。 我希望每次运行cron时都要附加wget输出。 为什么是这个,如何解决? 0 0 * * * wget url/script.php -O – >> /home/user/app/logs/logfile

在服务器上下载文件时,通过HTTP下载文件

我使用wget通过HTTP(仅适用协议)在内部networking上进行下载。 感兴趣的内容不能从WWW到达。 该文件正被下载到可从WWW访问的服务器上的公共http可访问目录中。 当它仍然在服务器上被下载时,是否有可能从外部开始下载这个文件? 这真的会加快分配过程。 Private Server -> Public Server – WWW -> Client Server

使用wget和相同的base-url的多个发布请求

wget有很好的select,可以让你从同一个位置下载多个文件 (我的意思是–base和–input-file组合) 这样做的好处是,如果可能的话wget尝试重用打开的套接字/连接。 我想知道是否有可能使用wget做多个POST请求。 (我可能最终写在python中,因为我不能在wget的文档中find这种用法) 即在input文件内我会有发布数据(json在我的情况): {"results":1} {"results":2} 并要求如下: wget –header "Content-Type: application/json" -i input.data http://example.com/api/data

在页面生效时,wget显示404未find

这看起来很简单,但我不知道如何解决。 在浏览器中打开以下url: https://ecomm.sella.it/gestpay/gestpayws/WSCryptDecrypt.asmx?WSDL 这似乎工作,这将在您的浏览器下载和XML WSDL。 但在我们的Linux服务器上,当我尝试wget相同的URL它返回404 – 未find错误: wget https://ecomm.sella.it/gestpay/gestpayws/WSCryptDecrypt.asmx?WSDL 同时,当我尝试谷歌或Hotmail的,它只是正常工作。 但是这个WSDL URL返回404错误代码。 看起来这是某种caching问题。 我怎样才能解决这个问题?

服务器到服务器通过wget进行文件传输

我有一个120GB的数据在德国的专用服务器,因为我已经在美国购买了一个新的专用服务器,我想通过FTP连接将所有的文件传输到新的服务器,实现这一点,我可以使用下面的wget命令我的新服务器: nohup wget -m –user=myusername –password=mypassowrd ftp://ftp.mysite.xyz > wget_backup_transfer_log.log 2>&1 & 我想知道有没有更好的办法来做到这一点,是上述命令稳定的这些庞大的文件数据? 提前致谢… PS两台运行CentOS 6.5的服务器

运行wget作为cron作业

我想从一台服务器下载备份档案到另一台。 服务器有一个提供最新备份存档的脚本,该文件具有每个date的特定名称。 我想要wget保存这个名字。 当我运行: wget -q –content-disposition 'http://server.example.com/get/latest' 它只是我想要的。 我也可以用浏览器下载文件。 但是,当我把它放在一个shell脚本中,并尝试运行它作为cron工作没有任何反应。 我在/var/log/syslog中看不到任何错误。 这是整个shell脚本: #!/bin/sh wget -q –content-disposition 'http://bkp.www1.linux.local/get/latest' 我也试过#!/bin/bash ,结果相同。 我究竟做错了什么?

EC2中的FTP访问错误

我有2个服务器,在亚马逊EC2中运行的Windows和Ubuntu。 我使用windows中的plesk创build了FTP服务器,并在ubuntu中使用了vsftpd。 我已经启用了两个服务器中的所有TCP端口。 vsftpd在ubuntu中以被动模式运行。 从远程访问ftp在服务器上工作正常,但是我的备份程序(Backup Maker)似乎对EC2中的FTP服务器(备份程序在亚马逊以外的服务器上运行)有问题。 在备份结束时,它说大小不匹配,它会中止备份。 但是当我比较之后备份和备份之前的文件没有区别。 对于我通过更改目标FTP服务器在备份软件从亚马逊到其他FTP服务器和备份检查错误的编译工作正常。 我只在Amazon EC2服务器上收到这个问题,而不pipe运行的操作系统是什么。 而且我还有另外一个问题,就是运行在windows2操作系统下的FTP服务器 – 我不能使用wget工具来下载FTP服务器上的文件。 我也有在这个服务器启用匿名FTP。 请帮我解决这些错误。

无法从给定服务器下载某些文件

我正在开发一个Fedora Core版本6,每当我想从FTP站点下载给定的文件,连接都会被拒绝: $ curl –ftp-pasv "ftp://ftp.ensembl.org/pub/current_mysql/vega_mart_56/CHECKSUMS.gz" curl: (7) couldn't connect to host $ wget "ftp://ftp.ensembl.org/pub/current_mysql/vega_mart_56/CHECKSUMS.gz" –14:25:46– ftp://ftp.ensembl.org/pub/current_mysql/vega_mart_56/CHECKSUMS.gz => `CHECKSUMS.gz' Resolving ftp.ensembl.org… 193.62.203.113 Connecting to ftp.ensembl.org|193.62.203.113|:21… failed: Connection refused. 从HTTP服务器下载是好的。 这是一个防火墙问题? 我怎样才能解决这个问题 ? (系统pipe理员在假期… :-)) 谢谢

使用wget镜像网站并下载静态媒体

我想用wget镜像一个网站,并将所有链接转换为我下载的本地副本。 到目前为止,这很容易,我所要做的就是wget -mk http://site.com 但是,所有的静态媒体位于不同的域,如果我使用-H选项跟随所有的外部主机,它将下载该静态媒体文件,但它也将下载任何其他外部链接。 有没有办法指定'只下载列表X中指定的外国主机'?

使用不同的唯一名称下载文件

如何每次下载不同的唯一名称的文件 wget -O image.jpg "http://localhost/cgi-bin/nph-zms?mode=single&monitor=1" 每次使用wget的-O选项都会覆盖文件。 我想要的是:image-1.jpg,image-2.jpg,image-3.jpg等,每次wget都从cron运行。