Articles of wget

当文件位置未知时,在Linux下载文件

对不起,如果这不清楚,但我想build立一个脚本,下载一个文件。 目前,我下载文件的方法是通过点击一个链接,如下所示: https://www.URL.com/view?downloadFile=AcctItemFiles\1234567890.txt 我尝试使用wget命令,但显然不工作,因为该链接不是一个实际的文件位置。 任何想法如何找出实际的文件位置或如何下载与该链接的文件将是有益的。

如何使用随机生成的目录名称从归档中解压单个文件?

我正在尝试编写一个脚本,它将从github下载一个tarball ,并从中提取一个文件。 然而,tarball里面的顶级目录里面有一些随机的字符,我认为当repo / tarball被更新时,它会发生变化,使得难以可靠地指定我想要提取的文件的path。 这工作: wget https://github.com/paulp/sbt-extras/tarball/master tar –strip-components=1 -xf 'paulp-sbt-extras-d6c7222.tar.gz' 'paulp-sbt-extras-d6c7222/sbt' 但是我想要这样的东西: wget https://github.com/paulp/sbt-extras/tarball/master -O sbt-extras.tar.gz tar –strip-components=1 -xf 'sbt-extras.tar.gz' '[generic tld placeholder]/sbt' 基本上我想用一般的东西replace所有随机生成的字符,所以我不必随意改变字符就编辑脚本。 我想把tar输出写成标准输出,然后用pipe道input一些可以抓取sbt文件并丢弃其余部分的东西,但不知道使用什么工具: wget https://github.com/paulp/sbt-extras/tarball/master -O sbt-extras.tar.gz tar –strip-components=1 -xf 'sbt-extras.tar.gz' -O – | [grab the sbt file, write it, and discard everything else] 有任何想法吗?

wget在busybox v1.9.1上

我有busybox 1.9.1在华为路由器上运行。 有几个命令,其中一个wget,我想用它,但有一些奇怪的语法。 当我inputwget www.google.com就像我正常地在我的debian / mint等,我得到这种forms的帮助信息: Usage: wget [OPTION]… HOST wget download and upload a file via HTTP Options: -g Download -s Upload -v Verbose -u Username to be used -p Password to be used -l Local file path -r Remote file path -P Port to be used, optional -B Bind local ip, optional […]

为什么用wget下载一个大文件似乎占用了几乎所有可用的内存?

我正在尝试使用以下简单的wget命令来下载580MB的文件: wget http://example.com/file.ext 服务器安装了16 GB的RAM,在整个下载过程中,内存使用率从10%增加到99%。 如何下载一个580MB的文件需要超过14GB的内存?

使用curl与cookies

我希望有人能帮我解决这个问题。 我一直在尝试这一段时间,有各种各样的变化,似乎无法得到这个工作。 我想脚本的方式login到https://login.three.ie/检查帐户余额从* / My_account_balance 我已经尝试了各种wget命令,但从我读的内容来看,curl更有可能完成这个任务。 我一直在尝试我在网上遇到的变化,包括从这里在stackoverflow,但似乎没有工作。 这是我尝试的最后一个: curl -X POST -c cookies.txt -u "Uern@me:P@ssw0rd" https://login.three.ie/ 这确实保存在这里的Cookie文件: $ cat cookies.txt Netscape HTTP Cookie File #http://curl.haxx.se/docs/http-cookies.html This file was generated by libcurl! Edit at your own risk. HttpOnly_login.three.ie FALSE / FALSE 1433988274 laravel_session eyJpdiI6IkFZWmxvZ2oyXC9NNGVIbHVpejZwRWp3PT0iLCJ2YWx1ZSI6Imxkd25UKzBoMldiQlhYZVJnVUpuNUVsblZ1cGJYZWcwM2E1bTtIWHRiQ2pwV0VwemJ4NFlYcDlzTndSeFRNanpwdDhMMTIrS2RGZGdGd0RNZU1yREJ3PT0iLCJtYWMiOiI0NWUwYzc1TY4ODI3ZmY3ODY5NjliODkxODMyODIzMjQwNmNkNjljNTE2NzQxNmQ4MzhhNDljNTdjM2QwZGY1In0%3D 但是,当我尝试重新使用cookie时,它看起来像有一个redirect或什么,因为这是我得到: $ curl -b cookies.txt https://my3account.three.ie/My_account_balance <html><head><title>302 Moved Temporarily</title></head> <body bgcolor="#FFFFFF"> <p>This […]

我怎样才能从Windows的命令行下载网页

那么,我正在尝试使用batch file来加速我的日常工作,我需要解决这些小问题: 我想安装wget命令,但只使用纯粹的Windows命令提示符 我想下载一些存储在http服务器上的东西 这些“东西”需要下载并放置在我的batch file所在的文件夹中 我想要这些东西被执行和我的batch file被删除 需要执行所有的操作,没有pipe理员的“请求许可” 拜托,你们能帮我吗? 或者,也许给一些帮助的第一步?

如何确保CoreOS云configuration服务能够下载文件?

我在CoreOS云configuration中定义了一次性服务,但由于无法从Google云端存储(通过wget)下载文件,因此无法正常运行: 4月13日11:09:56 staging-node-ys9y.c.experimentalberlin.internal sh [1132]:正在连接到storage.googleapis.com | 74.125.133.128 |:443 …失败:连接超时。 我应该如何确保服务能够从互联网上下载文件? 我的云configuration #cloud-config coreos: units: – name: bootstrap.service command: start content: | [Unit] Description=Bootstrap instance After=network-online.target Requires=network-online.target [Service] Type=oneshot RemainAfterExit=true ExecStart=/usr/bin/mkdir -p /tmp/kubernetes-staging ExecStart=cd /tmp/kubernetes-staging ExecStart=/bin/sh -c "cd /tmp/kubernetes-staging && wget https://storage.googleapis.com/experimentalberlin/staging.tar.gz && tar xf staging.tar.gz" ExecStart=/tmp/kubernetes-staging/worker/bootstrap.sh [Install] WantedBy=local.target

将所有的HTML绝对链接改为相对的

我有一个网站,有一堆的绝对地址,我需要把它(该网站的整个内容)上一级,所以所有的绝对链接需要转换为相对。 我知道关于wget的–convert-links ,但在我的情况下不起作用。 我的网站实际上是用wget镜像的,但是当我用时间戳选项重新获取更新时–convert-links无法正常工作。 还有另外一种方法可以解决吗? 此外,网站是巨大的,所以用另一个镜像工具重新下载是非常不可取的。 该网站由Apache 2.0托pipe,但我无法访问服务器configuration。

wget只在与sudo一起使用时才能工作

自从昨天以来,我和wget有一个很奇怪的行为。 我可以通过使用sudo wget下载文件,但是当我只用wget尝试同一个文件时,我可以得到这个错误: yusufh@ubuntu-yuh:~$ wget http://www.kegel.com/wine/winetricks –2010-12-17 09:34:11– http://www.kegel.com/wine/winetricks Resolving www.kegel.com… failed: Name or service not known. wget: unable to resolve host address `www.kegel.com' 和sudo wget : yusufh@ubuntu-yuh:~$ sudo wget http://www.kegel.com/wine/winetricks –2010-12-17 09:35:37– http://www.kegel.com/wine/winetricks Connecting to 127.0.0.1:5865… connected. Proxy request sent, awaiting response… 200 OK Length: 190672 (186K) [text/plain] Saving to: `winetricks' 100%[==================================================================================================>] 190,672 –.-K/s […]

wget:下载一个使用表单进行密码保护的网站

我有一个使用wget下载网站的问题。 首先,我需要使用用户名和密码login网站: wget –save-cookies cookies.txt –post-data –cookies =在–keep-session-cookies –post数据= “strUser的=用户名和strPW =密码” HTTP://hostname/wwwawelle/member/nixlog.asp 然后我尝试下载完整的网站http:// hostname / wwwawelle / member / : wget -k -r -m -np -load-cookies cookies.txt HTTP://hostname/wwwawelle/member/80_01_member.asp 我收到一个回应,说我没有login,然后redirect到: HTTP://hostname/wwwawelle/member/nixlog.asp Grund的= notloggedin 有任何想法吗? 是HttpFox 00:00:07.712 0.193 597 301 POST 302 Redirect to: 80_01_member.asp http://hostname/wwwawelle/member/login.asp 00:00:07.943 0.255 481 11957 GET 200 text/html http://hostname/wwwawelle/member/80_01_member.asp 00:00:08.232 0.060 428 […]