Articles of 文件传输

移动了很多小文件

我必须从一个服务器传输一个包含大量小文件(250k,平均大小5mb)的目录到另一个服务器。 两者都在Debian Linux上运行。 是否有关于大量文件传输的推荐协议?

可能有效地将文件从一台服务器传输到另一台服务器

将文件从一台服务器转移到另一台服务器的可能的好方法是什么? 在这种情况下,它将从Windows Server 2003到Windows Server 2008 R2。 我认为Powershell cmdlet或batch file可能是一个帮助,但不能确定。

计划的服务器之间的文件传输

我有兴趣通过互联网从一台服务器到另一台计划复制和发送大文件。 这些服务器不在同一个networking上。 我不知道解决这个问题的所有可用选项,但是我熟悉的几个协议/规范对于这个任务可能是有用的,(1)FTP和(2)bittorrent。 我以前使用过Filezilla来手动发送服务器组之间的大文件。 没有该特定FTP应用程序的调度function,所以它不足以满足我的调度要求。 理想情况下,我想使用更多的程序化(非基于GUI)来完成这项任务,而不是专有的(如付费应用程序)。 我已经在使用在一组服务器上执行其他操作的定时运行的Python脚本。 服务器正在运行Windows ,脚本通过Windows任务计划程序自动执行。 如果我可以通过FTP使用Python发送文件,这对我来说是非常理想的,因为我可以把FTP代码放到我已经工作和预定的地方。 但是,我简单地尝试了Python的“ftplib”,并且无法做到正面或反面。 所以,在我尝试走下这条路之前,我想先在这里发帖。 我不确定是否应该采用基于FTP的方法,所以我想就此提出一些build议。 另外,我并不在意使用什么编程语言来完成这个任务,尽pipe我会略微偏好Python,因为这似乎是一个自然的select,因为我正在处理服务器端脚本。 我也想就此提出build议。 因为这是我的第一个serverfaultpost,你可能会想象我对上面提到的很多主题都毫无头绪。 提前致谢。

如何使一个静态的URL指向不同的服务器?

即时通讯build立一个file upload网站运行多服务器支持。 当图像被上传时,它们被缩略图并存储在主要的前端服务器上,直到cron执行(每10分钟一次)并将它们移动到存储服务器上,因此在前10分钟,它们将驻留并被服务closures主要的前端服务器。 当一个file upload,用户被赋予了embedded代码…这是一个缩略图链接到完整的大小,这是一个HTML页面。 所以它可能是像http://www.domain.com/temp_content/filename.jpg链接到http://www.domain.com/file-ID 除了10分钟, http://www.domain.com/temp_content/filename.jpg不存在,它将是http://server1.domain.com/thumbs/filename.jpg 如果用户抓住原来的代码…拇指文件将被打破。 我可以移动文件到目的地,没有cron,但是这将需要时间,并将滞后的脚本,直到移动完成。 我也不想让用户运行这样的命令,我宁愿让服务器定期执行它们。 还有什么我可以做的?

在高延迟VPN之间传输小文件的最快协议是什么?

我的VPN连接延迟了70毫秒,需要build立备份/复制系统。 SMB是最差的,吞吐量〜200KB / s。 SCP给我〜400KB / s。 HTTP〜700KB / s。 链接是对称的50mbit连接。 是否有任何types的文件传输协议devise用于这种高延迟连接? 谢谢。

使用telnet进行文件传输

Somesimes我必须与远程主机有远程login连接,但没有任何ftp或ssh (使用scp)也没有netcat 。 也没有gcc(例如编译netcat)。 有谁知道如何使用telnet连接(使用某种黑客)传输文件? (我知道这不是一个适合 souch的东西。

最快的方式通过慢速的互联网复制大文件目录

我需要从几百英里外的一台服务器上复制一个目录。 我和我的两个网站都有商业电报。 电缆为5 Mbps(Down)/ 768 Kbps(Up)。 这提出了一个小问题,考虑到我需要复制大约85GB的数据。 我使用了一个文件传输计算器,它表示将需要11天的时间和一些变化。 我想知道是否有任何方法来利用像DeDup这样的加速转移。 我将从Windows 2003 R2复制的服务器,我的盒子是Windows 7 Pro x64。 我打算将数据传输到运行Ubuntu Linux的iSCSI目标,ZFS和SCST。 ZFS是否会在传输过程中执行重复数据删除操作,因此数据是否需要在发送端进行解除处理?

你如何从一个UNIX服务器复制文件到另一个?

我能想到 FTP NFS SSH RCP 任何其他方式? 注释? 注意:这两台服务器在局域网内,复制不在互联网上

debugging慢lan(ssh,nfs)文件传输

我有两个linux机箱连接到一个千兆交换机。 他们都有千兆网卡,电缆是猫7。 使用iperftestingnetworking显示快速连接,但使用rsync,scp或nfs共享传输文件的速度很慢。 我正在testing一个1GB的文件。 iperf结果: Client connecting to odroid, TCP port 5001 TCP window size: 85.0 KByte (default) ———————————————————— [ 3] local 192.168.1.26 port 58788 connected with 192.168.1.32 port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0-10.0 sec 979 MBytes 821 Mbits/sec rsync,scp或nfs的传输速度都是大约13Mb / s SCP: scp bigfile odroid:/mnt/usb1/ [10:19:12] bigfile 57% 590MB 12.2MB/s […]

(2)4 SSD Raid 0arrays之间的英特尔RAID卡上传输速度突然下降

前言; 我已经在这个问题上花费了几个小时的时间,根本找不到突然出现的“瓶颈”。 我有(2)4个SSD磁盘RAID 0arrays(每个3.8TB)。 他们运行在英特尔RES2SV240 Raid Expander上的16x PCI插槽上的单个英特尔RS2BL040。 从Raid Expander; 每个RAID都使用4 SATA分线电缆安装在自己的端口上。 其他系统信息 Windows 7旗舰版64位 双E5-2697 v2 Xeon CPU 128 GB的PC3-12800服务器内存 GPU Geforce Titan 操作系统驱动器:1TB Crucial SSD 问题 从RAID A向RAID B传输2TB数据(大量文件/文件夹)时; 复制(我也尝试使用/ j unbuffered命令XCOPY和ROBOCOPY); – 传输如期开始:约800MB /秒 – 1000MB /秒。 它保持这个速度,直到大约32 GB已经转移。 在此刻; 传输速度(使用资源监视器监视)下降到非常非常静态的60 MB / s。 它正在复制的文件似乎也有很高的延迟。 我用ATTO对磁盘进行了基准testing; 磁盘性能良好,128kb以上的testing标记高达3GB / s。 虽然我知道预计1 GB / […]