Articles of 备份

监视位级存储的变化

在特定的日子里,我遇到了备份大小差别巨大的问题,这也妨碍了我们通过互联网build立可靠的异地备份系统。 通常每天进行一次+ 10GB的备份,在一周的两个特定日子里增加到100GB +。 罪魁祸首的虚拟机有几个驱动器,8GB的RAM。 我已经使用SysTracer监视文件和应用程序的变化,以确定文件级别的重大变化,但这没有帮助,因为它没有显示任何原因(变化不应该高于15GB)。 由于我们的备份解决scheme(Altaro)在比特级备份,我甚至听说甚至在进行碎片整理之后还能检测到很多修改(结果又重新整理了一遍)这些巨大的备份创build之前的几天。 但是,它确实令我感到惊讶,因为计划的碎片整理作业最多只能运行大约30秒,所以我不会认为很多文件已经被重新定位在驱动器上。 我想知道的是一种监视存储位/块级别真正变化的方法,以便我可以确定这些大量备份的原因,并希望find解决scheme。 例如,查看已修改数据总量概览的工具将非常有助于识别数据。 其他提示或说明也是有帮助的。 谢谢

find/更新与档案支持? (tar.gz等)

我的nas和我的专用服务器上有很多备份。 有些作为文件系统内的拷贝,有些被归档为.zip或.tar。{bz2 | gz}。 有没有办法在更新的数据库中的这些档案中包含文件名? 或者还有其他工具吗? 我认为,一个完整的桌面search引擎将会太笨拙。

Azure:Linux VM还原不起作用

我有一个Azure上的Ubuntu虚拟机。 此机器只有一个连接的磁盘,即操作系统磁盘。 我为这台服务器创build了一个备份保险库,备份每天凌晨2点运行。 这个服务器很快就会生产,所以我开始testing备份系统。 备份看起来是成功的:我有30个还原点在上个月,每个标记为“ 文件系统一致 ”)。 我今天尝试了恢复。 所以我从数据库中删除了一些东西(没关系,没有问题),并尝试使用“ 恢复磁盘 ”从昨天恢复备份。 Azure告诉我恢复成功,但是我删除的数据没有回来 。 我什至重新启动虚拟机,没有任何效果。 我错过了什么?

Robocopy错误5

当使用robocopy将目录树中的数据备份到NAS时,我总是收到错误5 – 将NTFS安全性复制到目标目录。 拒绝访问。 对于不应该返回这样的错误的文件夹。 robocopy脚本由一个名为“备份”的非pipe理员用户执行,该用户专门用于具有对所有文件和文件夹的完全访问权限的备份。 执行脚本时,大多数文件夹会返回错误5,而其他错误会返回错误5。 日志如下: ——————————————————————————- ROBOCOPY :: Robust File Copy for Windows ——————————————————————————- Started : 19 February 2017 17:01:15 Source : F:\files\Archive\Dir1\Dir2\ Dest : \\nas\fooBack\fooDrive\Auto2\Archive\Dir1\Dir2\ Files : *.* Options : *.* /S /E /DCOPY:DA /COPY:DATS /PURGE /MIR /R:10 /W:5 —————————————————————————— 1 F:\files\Archive\Dir1\Dir2\ 2 F:\files\Archive\Dir1\Dir2\01-11-2010\ 2017/02/19 17:01:16 ERROR 5 (0x00000005) Copying NTFS […]

备份ClickHouse数据的最佳方法

我们最近开始使用Yandex ClickHouse作为我们的数据后端,我正在研究如何最好地备份我们的数据。 似乎有两种方法来做到这一点。 改变表…冻结分区 ALTER TABLE … FREEZE PARTITION命令似乎只是创build一个分区的本地快照。 我不得不写一个脚本来发现每个表中的所有分区,然后发出相应的命令。 为了从系统中获得备份,我认为我必须在每个服务器上创build一个shadow目录的备份,并将该备份存储在另一个位置(如S3或其他位置)。 我将如何保持shadow目录清洁? 冻结可以被删除吗? 数据转储 我见过的备份数据的另一种方式是简单地将其转储到文件中,如本页所示。 https://github.com/resure/scpnet/wiki/ClickHouse-backup 我必须编写一个脚本来发现每个数据库中的所有表,然后将所有数据转储到一个文件中。 这让我想起了很多使用mysqldump来备份MySQL中的数据库,但是没有能力把所有东西都转储到一个命令中。 就我个人而言,我倾向于这个解决scheme,因为我似乎更容易编写脚本和维护,但我真的很好奇知道别人在做什么。

对Storage命令的响应不好 – 想要2000得到了2800 – Job TermCode = 69

我将尝试解释我面临的问题: 当我还原使用两个“卷”的客户端备份时,出现此错误: bacula-dir JobId 48945: Fatal error: Bad response to Storage command: wanted 2000 OK storage, got 2800 End Job TermCode=69 JobFiles=32293 ReadBytes=8946396913 JobBytes=10298059235 Errors=1 VSS=0 Encrypt=0 CommBytes=232 CompressCommBytes=232 我试图find这个问题的解决scheme。 有些人说这是一个NFS错误,但只有在恢复涉及多个卷时才会发生。 如果我从单个卷运行还原作业,还原工作正常。 当我在debugging模式下运行bacula-fd ( bacula-fd -v -c /etc/bacula/bacula-fd.conf -f -d 100 )时,输出是: bacula: restore.c:540-49097 === msglen=155 attrExlen=0 msg=287476 3 /var/www/midomain.com/shared/src/uploads/downloads/eusk706.mp3 bacula: create_file.c:208-49097 Create=/tmp/bacula-restores/var/www/midomain.com/shared/src/uploads/downloads/eusk706.mp3 bacula: attribs.c:558-49097 […]

将Linux服务器备份到Windows服务器或DPM服务器/所有者和权利在NTFS?

我们正在为我们的Lonux服务器使用基于rsync的备份,这太棒了。 我们将我们的所有Linux服务器rsync同步到我们的大型Linux基础samba文件服务器上。 不幸的是,服务器完全过时并迁移到Active Directory。 现在我遇到了问题,从Linux服务器进行增量备份。 我特别喜欢rsync可以拷贝修改或删除的文件。 现在我想在Windows服务器上进行Linux备份。 我看了一下备份解决scheme,但几乎都是基于rsync的。 我寻找Windows的rsync(Cygwin或Microsofts SFU(服务于Unix))。 但似乎它不会做的伎俩。 为了正确地rsync所有者和权限,真正需要文件系统中的两个整数和一些标志。 虽然NTFS理论上规定,SFU和Cygwin确实试图将其映射到existng用户。 SFU的rsync似乎也是不可靠的 在我们当前的服务器上,我们不关心任何映射:如你所知,Linux服务器只是在文件系统中存储两个整数(在简单的情况下),没有像Windows这样的机器特定的长SID。 他们的意思是由/ etc / passwd定义的。 如果缺less,那只是整数。 但是,如果它回到服务器上,它再次工作。 有没有人find一个很好的解决scheme? 我甚至看了UMSDOS,Linux曾经可以存储在FAT16上! 它使用具有长文件名映射和unix权限和属性的文本文件。 不幸的是,它已经从内核中删除。 否则,我可以使用CIFS挂载和层上的umsdos在新的Windows文件服务器上挂载一个共享。 不幸的是,这样的东西不存在。 为什么我不想使用焦油? 因为我真的很喜欢我们的DPM服务器如何备份我们的Windows文件服务器,我不想完全备份一个完整的tar文件!

使用TSM备份SQL NetApp快照

在我们的环境中,我们有一个位于NetApp存储上的3节点SQL 2005集群。 我们正在使用SMSQL(NetApp SnapManager for SQL)对数据进行快照备份。 这很好,但由于审计的一些要求,我们也被迫在磁带上保留一些副本。 我们在整个企业的其他地方使用了NDMP,但是我们不希望在这个特定的情况下使用NDMP。 基本上我需要做的是,通过Tivoli Storage Manager(TSM)获取磁带上数据库的最新快照副本。 我所做的是,获得了安装了SnapDrive的基本Windows Server 2003虚拟机,这是连接到SAN并分区到NetApp的,并且我已经写了一个batch file来执行以下操作: 使用特定的驱动器号将最新的__RECENT快照lun挂载到主机 执行基于TSM的增量备份 卸载LUN 这似乎工作正常,但有时LUN不会由于某种超时挂载。 另外,由于我对windows批处理脚本的知识有限,我无法监视这些备份的成功或失败,因为我不知道如何将有效的返回码发送回TSM调度服务。 有没有一个更有效率/优雅的方式来完成这个没有NDMP?

Zmanda替代MySQL备份?

我没有Zmanda的问题,但我想知道是否有更好的或stream行的解决scheme,除了手工做。 我的要求是: 在线备份 该工具应根据数据库决定使用mysqldump或mysqlhotcopy validation备份的完整性 发送状态电子邮件 清理旧备份(可选) 能够在增量备份或完整备份之间进行select(可选) 复制似乎是“备份的最佳方式”,但我不会在这个项目上做到这一点。

大的Microsoft备份

我们最近为我们的系统添加了一个新的服务器,使用一个6TB的RAIDarrays来完成audio和video项目的文件存储。 我们传统上是一个微软公司,所以我使用Windows Server 2008作为新机器。 当我去做第一次备份时,我附加了一个4TB GTech盒子用于备份,因为我们现在在服务器arrays上只使用了大约2.5TB。 那么当备份完成时,我将要离开现场。 此时,我发现Microsoft Server备份在Server 2008中发生了巨大变化。您不再需要select要备份的文件,而是需要备份完整卷。 当我读了它,我认为这是好的,因为它应该是更快,并作出一个可挂载的虚拟驱动器文件的结果。 但后来我发现,由于Shadow Copy的局限性,新的Microsoft软件只能备份less于2 TB的容量! 我甚至用MSDN事件来证实这一点。 我一直试图回避第三方备份应用程序,因为我一直认为基本的备份function应该内置在操作系统中,而且微软一直以来都非常擅长提供向后兼容性,以便在较新的系统上恢复多年前的备份。 使用第三方工具,您总是需要处理续订费用和版本更改,然后如果您决定切换公司或公司折叠,则必须担心转换旧备份等。而RSync等工具可能需要数天当你正在谈论terrabytes的文件时,完成一个完整的备份或恢复。 所以我想知道在我正在考虑的几个选项commutinty的想法理解,预算肯定是一个关注: A)尝试将数据从系统移出并重新分区。 这对于我们的数据所需的结构来说并不理想。 在audio和video领域,2TB是一个起点。 但它可能是可能的。 B)将服务器切换到Debian服务器框,但是我不确定在那个环境下应该使用哪些工具进行备份,以及我是否会遇到类似的问题。 C)使用第三方工具。 D)其他想法?