Articles of curl

如何以不同方式pipe理curl答案和打印输出的内容?

我想在命令行中输出curl的一些输出,比如http头,接下来是由stdin / stdout程序处理的答案的正文。 例如: 打印状态码: curl -s -w "%{http_code} \\n" -o "/dev/null" http://myURL.com 然后使用jsonparsing工具处理输出: curl -s http://myURL.com | python -mjson.tool curl -s http://myURL.com | python -mjson.tool 我想用一个命令做这两个,我感觉有可能感谢-o选项,使curl的输出和查询的实际答案之间的区别。 问题是,直接写入文件。 有人有黑客?

PHP的 – curl运行asynchronous在我的系统上?

我正在构build一个Web应用程序。 我有一个用PHP编写的ElasticSearch和REST API索引的书籍数据库。 在应用程序中,有一个search框,在那里input书名,JS脚本调用search请求,而search请求使用ElasticSearch的search查询运行curl请求。 问题是,当用户键入的速度太快,请求太多。 它开始减速,即使正常的单个请求持续大约200毫秒,也会延长到5-10秒,这个时间太长了。 我可以运行更less的请求,但我希望即时反馈。 所以我问 – 在我的服务器上,curl的核心是否一次只运行一个请求,即使它们是在不同的PHP请求中调用的,还是其他的东西?

不能curl。 curl:(7)无法连接…拒绝连接

我不能curl使用外部EC2 IP地址我安装的软件之一,但如果我curl使用localhost:5000(或127.0.0.1:5000),它工作正常。 任何见解将不胜感激。 我已经安装了这3个项目: Elasticsearch,端口9200 =>我可以使用内部和外部IPcurl jenkins,端口8080 =>我可以使用内部和外部IPcurl Python Flask应用程序,端口5000 =>我不能使用外部IPcurl。 内部IP工作正常 使用外部IP地址,我可以curl前两个项目,但不是python烧瓶应用程序。 这是下面的错误。 我用“external_ip”replace了真实的IP地址: $ curl -v external_ip:5000 * Rebuilt URL to: external_ip:5000/ * Hostname was NOT found in DNS cache * Trying external_ip… * connect to external_ip port 5000 failed: Connection refused * Failed to connect to external_ip port 5000: Connection refused * […]

如何将curl的结果分配给systemdvariables?

我正在使用amazon web services服务器,并试图设置一个系统作业,将curl检索的AWS外部IP作为input。 [Unit] Description=My example with AWS external IP Wants=network-online.target After=network-online.target [Service] Type=forking Environment=EXTERNAL_IP=$(/usr/bin/curl http://169.254.169.254/latest/meta-data/public-ipv4) ExecStart=/path/to/myexample $EXTERNAL_IP [Install] WantedBy=multi-user.target validation工具systemd-analyze verify myexample.service指示curl和环境分配有问题。 Invalid environment assignment, ignoring: EXTERNAL_IP=$(/usr/bin/curl http://169.254.169.254/latest/meta-data/public-ipv4) 如果我用硬编码的IPstringreplacecurl结果,我的守护进程将启动。 我怎样才能在我的系统作业中使用curl结果?

可通过networking映像硬盘的可启动工具

我正在寻找一个工具,最好是一个最小的Linux版本,它可以或相当简单地修改为启动ISO映像,并自动通过networking下载磁盘映像并将其应用到空白磁盘。 事实上,我很好地处理了实际的脚本来实现这个目标,但是我至less需要一个基本的映像,这个基础映像可以让networking访问,curl,dd等等对我有用。 我在这里没有select任何灵活的select,我需要它是完全免提和愚蠢的,但是需要用尽可能less的开发工作来实现这个任务。 我想我可能只是做自己的initrd或这样的,但我不知道如何与networking访问等工作。 这实际上是用于KVM虚拟机,它最终将运行W2K3,但是使用更广泛的cobbler和koan构build框架来交付磁盘镜像,我宁愿启动一些安装媒体,它们将自动安装一个系统并重启当完成后,允许一个类似的更高级别的stream程与安装Redhat的kickstart脚本(但没有外部资源等),所以我不希望提供一个图像的主机等,因为这是一个kickstart [/背景] 谢谢 克里斯 编辑:所以虽然solutiosn给自己的权利是有效的,我真的需要没有自包含的解决scheme,只需要几件融入到鞋匠/公安等… 我目前所做的是使用修改后的kickstart脚本来初始启动,就像安装CentOS一样,但是在%pre部分中,只需要做一个wget来下载磁盘映像并在虚拟磁盘上涂抹它。 在重新启动时,一个窗口框! 比我想象的更好,同时也使部署stream程和包装脚本完全标准化。

curl接受302什么的,很奇怪

我有以下curl命令 curl -X POST -w "\nRESULT CODE:%{http_code}\n" –insecure –header "Content-Type:application/json" –user robot-midc:1ZSXM7 -d @table.json http://databus.nrel.gov/api/registerV1 我收到以下回复 <html> <head><title>302 Found</title></head> <body bgcolor="white"> <center><h1>302 Found</h1></center> <hr><center>nginx/1.2.4</center> </body> </html> 嗯,我怎么检查实际的http代码,它是一个302 curl文档声称他们遵循redirect,所以我不知道是怎么回事? 谢谢,Dean 嗯,也许这是一个错误,在curl不跟随HTTPredirect浏览器如https? 我的问题是简单地说,负载平衡器总是redirect到https,我在那里有http …这么奇怪,这将是一个更好的错误,因为它不会redirect到https(即。不像文档状态那样遵循所有redirect)。

php5.6-fpm curl停止工作(无法parsing主机)

突然之间,我们的Ubuntu的php5.6-fpm服务器已经停止使用curl请求。 这是我发现的: 从控制台php test.php运行时工作。 从console wget -qO- https://maps.google.com/maps/api/geocode/json?address=Brooklyn+NY+USA&key=AIzaSyBGgTVnShML1_WHJL0rOTEnt2XOrgVgnu4 | cat通过湿式工作console wget -qO- https://maps.google.com/maps/api/geocode/json?address=Brooklyn+NY+USA&key=AIzaSyBGgTVnShML1_WHJL0rOTEnt2XOrgVgnu4 | cat console wget -qO- https://maps.google.com/maps/api/geocode/json?address=Brooklyn+NY+USA&key=AIzaSyBGgTVnShML1_WHJL0rOTEnt2XOrgVgnu4 | cat 从console ums-admin@svr1:/var/www/propertymonitor.ae/htdocs/v2$ curl https://maps.google.com/maps/api/geocode/json?address=Brooklyn+NY+USA&key=AIzaSyBGgTVnShML1_WHJL0rOTEnt2XOrgVgnu4使用curl工作console ums-admin@svr1:/var/www/propertymonitor.ae/htdocs/v2$ curl https://maps.google.com/maps/api/geocode/json?address=Brooklyn+NY+USA&key=AIzaSyBGgTVnShML1_WHJL0rOTEnt2XOrgVgnu4 但是通过https://example.com/test.php上的php-fpm调用脚本,它不起作用,并抱怨DNS查找失败? 重新启动php5.6-fpm,它又开始工作了? 代码如下: <?php // create curl resource $ch = curl_init(); // set url curl_setopt($ch, CURLOPT_URL, "https://maps.google.com/maps/api/geocode/json?address=Brooklyn+NY+USA&key=AIzaSyBGgTVnShML1_WHJL0rOTEnt2XOrgVgnu4"); //return the transfer as a string curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // […]

如何使用sitemap.xml创buildCMS的静态镜像

是否有一个工具来创build提供sitemap.xml文件的内容pipe理系统(CMS)的静态镜像? 理想情况下,我会将一个像wget或curl这样的工具指向sitemap.xml文件,并使用提供的URL和时间戳自动同步静态目录。 新的内容将被下拉,删除的内容将被删除。

如何解决Apache与SSL请求上的PHP +curl崩溃?

每当我使用“https://”URL从PHP调用curl_exec()时,我的Apache进程就会发生段curl_exec() 。 如果我使用http而不是https作为URL传输,它可以很好地工作,所以我知道curl和其他curl选项是正确的。 我可以使用URL的https版本从该服务器上的命令行使用curl ,并且完美地工作,所以我知道远程服务器正确响应,证书没有过期等。 我的服务器是: Linux 2.6.32-21-server #32-Ubuntu SMP Fri Apr 16 09:17:34 UTC 2010 x86_64 GNU/Linux 我的Apache版本是: Server version: Apache/2.2.14 (Ubuntu) Server built: Apr 13 2010 20:21:26 我的PHP版本是: PHP 5.3.2-1ubuntu4.2 with Suhosin-Patch (cli) (built: May 13 2010 20:03:45) Zend Engine v2.3.0, Copyright (c) 1998-2010 Zend Technologies 我的PHPcurl模块信息是: cURL support => enabled cURL Information […]

curl请求会导致服务器负载过重

我们通过向提供者的服务器发送cURL请求来使用XML Datafeed。 他们不允许我们caching,所以每个网页浏览是一个新的cURL请求。 今年两次,我们的服务器崩溃了,从我们的服务器公司的解释是,属于提供商的域名的IP正在给我们发送大量的stream量。 现在,在我看来,通过“发送大量的stream量”,这可能意味着他们对我们的请求的答案,但是,如果它实际上是他们向我们发送请求,我需要确定,在我开始讨论他们之前技术人员来解决一个可能在我们这边的问题。 如果问题在我们这边,我可以限制请求吗? (这是用PHP定制的,如果这个问题太多了,请告诉我,我将把它分成更小的块。) 编辑:这是我的托pipe服务提供商说:(他们以前认为/ dev / sda驱动器失败。) 将服务器重新启动到单用户模式后,驱动器不报告任何错误。 另外,所有的文件系统都是完整的。 我们重新启动服务器,一切恢复正常。 我发现在服务器停止响应的时候,服务器上出现了大量的负载峰值,在那段时间,IP 208.215.218.15有很多连接。 现在还有很多来自这个知识产权的联系。 这是关于该IP的信息: Quick Technologies Inc. UU-208-215-218(NET-208-215-218-0-1)208.215.218.0 – 208.215.218.255 MCI Communications Services,Inc. d / b / a Verizon Business UUNET1996B(NET-208- 208-092-1)208.192.0.0-208.255.255.255 来自这个IP的连接迅速填满了你的networking,并且我被迫从这个IP空路由连接为了保持networking。 如果这是合法的,让我知道,我可以取消阻止这个IP。 目前,您的网站已经启动 如果您有任何问题,或者我还能为您做点什么,请告诉我。 然后他们给了我一个这样的日志:(本地IP更改为隐私) root @ fbs [〜/ system-snapshot / system-snapshot-HG-backup-20120604-144747]#grep 208.215.218.15 112.log tcp 0 0 123.123.123.198:45948 208.215.218.15:443 […]