我有一台运行MS SQL Server的Window Server 2000计算机,存储超过20GB的数据。 数据库每天备份到第二个硬盘。 我想将这些备份文件传输到另一台计算机上,以构build另一台testing服务器并进行恢复练习。 (备份从未实际恢复了近5年,不要告诉我的老板!)
我无法通过networking传输这个庞大的文件。 我试过简单的networking拷贝,apache下载和ftp。 当传输的数据量达到2GB时,我试过的任何方法最终都会失败。 上次我成功传输文件,它是通过一个USB连接的外部硬盘驱动器。 但是我想要常规地执行这个任务,最好是自动完成。
不知道这种情况下最实用的方法是什么?
在2Gb的预测失败听起来像目标文件系统是怪…都在NTFS? 你是否通过任何压缩(压缩用于在2GB的边界失败)((是Apache做压缩))
我已经使用robocopy复制了许多超过20GB的文件(正如其他人所说的那样),但是如果你确定你已经得到了你想要的拷贝,那么我会避免使用/ MIR开关,因为它会删除和复制文件。
中小企业在一个时间限制一个数据包,所以往往是复制文件的速度较慢 – 你可以select使用推或拉复制。 就个人而言,我更喜欢推送方法(复制是由源发起的)。
MS Exchange工具eseutil是通过networking快速复制大文件的绝佳工具:
eseutil / y source_file / d dest_file。
我强烈build议使用免费的实用程序RichCopy 。 它是multithreading的,可以暂停和恢复文件复制操作。 我有很好运气使用它来在服务器之间传输文件。
我使用RichCopy的三个重要提示
如果您要复制一个或几个大文件,请将“文件复制”属性设置为大于“1”。 它耗尽资源,但更快地复制大文件
如果您要复制大量文件,请将“线程号”属性设置为10-10-1。 这将更快地复制多个文件
如果您正在复制一个不友好的连接。 你可以重新运行下载,它会去find它第一次没有pipe理的文件。
http://blogs.technet.com/markdea/archive/2009/03/24/richcopy-is-it-the-new-sliced-bread.aspx
至于文件复制实用程序, TeraCopy是一个很好的基于GUI的(非命令行),可以排队大量文件,支持暂停和恢复,可以dynamic更改缓冲区大小以优化速度,并可以select性地replaceWindows资源pipe理器的默认值复制/移动自己的。
使用/ MIR选项的Robocopy对于机器之间的快速和脏的备份非常有用。 您可以在Windows Server 200X Resouce Kit中findrobocopy
MIR将MIRror一个目录的内容到另一个服务器。 它只会复制已更改的文件。
大型SQL Server备份文件反复洗牌的最实用的解决scheme是使用第三方备份压缩产品或SQL Server 2008 Enterprise Edition的内置备份压缩。
有几个不同的供应商。 我为LiteSpeed的制造商Quest Software工作,但我不在这里出售任何东西。 你想检查出所有的产品,并决定什么是最适合你的需求。 以下是最近一篇关于LiteSpeed的博客文章,但同样的概念也适用于其他产品:
http://blogs.lessthandot.com/index.php/DataMgmt/DBAdmin/title-8
您是通过局域网还是通过某些WAN连接(如ADSL)复制文件? 我认为这是一个广域网,因为20GB不是通过局域网复制的大文件。 我每天复制很多这样的文件。
如果这是一个广域网连接,那么我这样做的方式是使用Cygwin版本的rsync。
JR
我的networking传输在2GB左右的时候失败了 – 原来是一个错误的网卡。
我每天使用syncback( http://www.2brightsparks.com/syncback/sbse.html )传输比您的文件大几倍的文件。 从来没有一个问题。
它有点晚,但我会build议第三方备份和恢复应用程序选项。 我们使用Red Gate SQL Backup( http://www.red-gate.com ),它在GUI中具有压缩和备用位置选项。 我得到的平均压缩节省80% – 所以你只能传输20%的实际分贝大小。 它也支持encryption,因此可以在广域网上使用而不会受到拦截的困扰。
它的完全可调度,所以可以自动运行在你select的一个循环。
GUI还允许您configuration和pipe理日志传送。
以上免费试用版。
试试Binfer。 我曾经轻松地发送了44 GB的数据。 只要确保接收计算机有磁盘空间。 他们的网站是http://www.binfer.com
我没有如此大的文件的经验,但你可以使用robocopy甚至xcopy与/ Z选项声称是可重新启动。 看起来这是针对networking不可靠的大文件副本。
我已经使用robocopy超过1GB,并没有任何问题。 ss64.com对交换机有很好的解释。 我不能发布链接,但:-(
邪恶的答案..
使用Netcat 。 可以在这里find一个用于传输文件的面向unix的教程。 你可以进一步加快速度:
一边开玩笑,netcat可能是在局域网上传输大文件的最快方法。 由于没有进行校验和,您可能希望在发送文件之前先对文件进行MD5求和,并将其与接收文件的MD5和进行比较。
我已经用了很多netcat,从来没有见过它失败,从来没有见过它不能最大限度地出networking。
作为一个短期的解决scheme,可能有必要将文件分成更小的块,直到找出问题为止。 过去我们遇到类似的问题,而ftp一直为我们工作
大多数情况下,我复制了我正在迁移用户所连接的服务器共享的大量数据,所以我经常使用Replistor,www.emc.com/products/detail/software/replistor.htm。 它会保持复制期间和之后的源和目录同步。
如果这些是您正在复制的SQL .bak文件,我强烈build议您在复制之前先执行以下操作之一来缩小文件的大小:
可能无需另外的方法来复制大文件。
我不认为find更快的传输是你的问题,仔细检查,以确保你的目标文件系统不是像其他人所说的那样。 另外,确保双方的网卡都更新了驱动程序,而不是其他方式。
就这样说,你移动了很多很多的小文件还是只有几个大文件? 试图移动数百万个小文件时,我看到了RAID控制器的问题。
一旦你找出导致失败的原因,我不认为你会有自动化的问题。 这可能有助于列出有关硬件的更多详细信息以及您在事件查看器中可能看到的任何相关错误。
您是否尝试使用eSATA连接到外部硬盘? 连接速度很快(3吉比特!),应该能够立即传输该文件!
你的网卡在服务器上的速度是10/100还是10/100/1000? 在处理文件时,服务器networking带宽和交换机的外观如何? 目标位置(服务器的)networking带宽在复制时的样子是什么? 你有没有试图把2个网卡连在一起? 网卡驱动程序是最新的吗? BIOS是最新的吗?
有很多事情可能是文件传输的问题。 确保硬件驱动程序和BIOS是最新的可以真正有所作为。
-JFV
最简单和最快的方式:外部USB磁盘和步行。
我的方式:使用rsync。 如果复制失败,只需重新启动它,它会在离开的地方拾取。
我高度推荐ExtremeCopy为您的复制任务,它复制文件非常快,在我的经验,去它的网站了解更多www.easersoft.com
另一件要检查的是在目标服务器上是否设置配额服务; 我认为它使用2 GB作为每个用户的默认配额。
您可以使用Binfer进行计算机复制。 它独立于操作系统,速度非常快。 它也没有2 GB的限制。 http://www.binfer.com