我正在使用curl将大文件（从5到20Gb）上传到基于HDFS（Hadoop集群）的HOOP ，如下所示：
curl -f --data-binary "@$file" "$HOOP_HOST$UPLOAD_PATH?user.name=$HOOP_USER&op=create"
但是，当curl上传大文件时，它试图将其完全caching在RAM中，这会产生高内存负载。 我试过从man curl使用-N标志，应该禁用缓冲。 但没有发生。 所以我的问题是，有没有办法强制curl直接写入套接字，或者你可以build议我另一个util将覆盖我的简单HTTP POST / PUT请求的需求。
我不会自己写，因为它看起来像是一直在发明自行车。 谢谢。
可惜的是，丹尼尔·斯腾伯格认为目前还不可能。