我正在制作一个非常大的数据库(超过250个演出),超过2.25亿条logging。 这个数据库很难从其庞大的规模工作。 这个数据库只能作为只读使用。 我们正在寻找更快的硬件,但是我试图find最有效的方式来处理数据库。 该数据库必须每晚从主数据库更新,停机时间必须保持最短。 主数据库由第三方维护。 我试图find最好的方法来有效地更新数据库每晚,但我没有很多运气。 我研究了差异备份和事务日志备份,但为了应用其中的任何一个,必须首先恢复完整的数据库备份。 在我的情况下,这完全违背差异备份的目的,因为它不会节省我的任何时间。 我不妨每晚在master数据库上完成一次完整的备份,然后简单地恢复完整的备份,这样做会更快。 我希望find一个可以完成一次完整备份(或者一个月一次)的解决scheme,然后从那时开始,只需应用一些基于相互构build的增量式备份(基于原始完整备份) 。 这将使宕机时间降到最低,因为一旦完成第一次完整备份,我只能每晚应用增量备份。 我会简单地重build每个“增量”备份后的索引速度。 我还没有find像这样真正可行的解决scheme。 我已经尝试在testing数据库上做一个完全还原WITH STANDBY,这样我就可以查询数据,然后再应用事务日志和事务日志。 这是一个有限的成功,因为我不能做像添加索引,因为这是技术上写入数据库。 但是,这与我所寻找的非常接近,因为数据本身将是只读的。 有没有解决scheme是这样工作的? 我宁愿避免使用STANDBY选项,因为它并不意味着以这种方式使用。 我现在正在深入研究数据库备份和性能,并不断阅读MSDN,但似乎这个解决scheme不是一个选项。 我以为我会问最后的手段 – 当然这里有一些pipe理大型数据库的地方,夜间恢复是不切实际的。 有什么build议么? 我也开放给build议/链接到性能的页面,因为我从来没有一个数据库这么大的工作。 恐怕复制可能是唯一的答案。
我有一个大的.sql文件,我用phpmyadmin创build备份我的开发数据库。 有什么办法将这个大的备份分成几个文件,每个文件分开的数据库? 该文件太大,无法手动处理
我正在尝试为运行Ubuntu的服务器设置自动备份。 这个服务器是用来托pipe一些应用程序,而这些应用程序相当繁重,并且stream量很大。 具体来说,一个Solr和一个MySQL数据库正在维护,并不断更新/写入。 服务器上的数据量目前在20GB的范围内,但在一年之内,它应该增长到至less5TB。 所以现在服务器上的数据不是很多,但是我提出的解决scheme在未来应该是可扩展的。 我想build立包括Solr和MySQL索引在内的整个服务器的备份,但是我不确定如何去做。 到目前为止,我已经build立了Tartarus来进行增量备份,但是我意识到只用这个工具来执行它是有问题的,因为服务器没有启用LVM。 由于没有启用LVM,因为正在写入文件的同时备份损坏/不一致的备份。 这是否是一个正确的假设,我希望能够制作系统的LVM快照,然后执行备份? 我也喜欢这个备份应该分成几个部分的想法。 一个负责处理Solr的部分,一个负责处理MySQL,另一个负责处理系统的其他部分。 这是一个可行的select? – 更新 – 我最终select了拆分备份的方法。 我使用复制执行Solr备份,然后使用ftp到备份服务器。 对于MySQL我现在使用一个mysqldump和ftp。 对于其余的数据,我使用Tartarus进行增量备份。
我需要一个合适的备份自动化脚本,在我的apache服务器上运行PHP。 我的一些网站运行Drupal。 哪个是自动备份代码和数据库的最合适的方法?
我们的MDBDATA日志文件夹已满,导致用户的Outlook失去连接。 为了解决这个问题,我的同事build议我们将旧的日志移到我们的D:驱动器上,因为它没有被使用。 现在D盘已经开始满了。 我试图运行MDBDATA备份,但一段时间后失败。 对于Exchange服务器,我不是最好的,但是可能是我们的旧日志被移到另一个硬盘上了吗? 有什么build议我可以做什么?
我使用debian-sys-maint作为实际的方式在我们的debian系统中执行数据库转储,如下所示: mysqldump -u debian-sys-maint -p`cat /etc/mysql/debian.cnf | grep password | tail -n 1 | cut -d' ' -f3` 我想知道在CentOS中是否有类似的用户,我只需要用户能够进行备份。 这样我就不必在每个系统上创build一个新用户。 这个有趣的部分是/etc/mysql/debian.cnf包含了debian-sys-maint的清除密码。
基本上我正在寻找一种方法来告诉MySQL(percona-flavored)采取以下步骤: 将所有已提交的事务刷新到文件系统 开始缓冲所有事务(保持文件系统处于一致状态) 等待我做一些事情(拍摄zfs快照) Unbuffer写入并恢复正常的操作 允许DDL语句破坏备份的解决scheme是可以接受的(因为这个备份解决scheme将被频繁地应用,并且DDL语句将是非常罕见的 – 最坏的情况是将不得不比预期多一个小时地回滚db)。 备份操作应该对性能造成最小的破坏性,但这不是一个负载较重的系统。 按照数据库或系统范围执行这个程序的解决scheme都很好,尽pipe后者在某种程度上是优选的。
在过去的几年中,我在几台SQL Express服务器(2008到2012 R2)上build立了Ola Hallengren的SQL Server维护解决scheme 。 我最近已经开始有一个新的networking备份组件的问题。 过去我曾经在几台服务器上工作过,所以我知道它可以工作,但我无法弄清楚是什么阻止了它现在的工作。 作为一个兴趣点,我不是一个DBA,并且几乎不知道SQL,这就是为什么我在这里。 问题 特别是在一台服务器上,我在大约一年半前build立了一个维护计划。 它正在使用UNCpath(和其他几个命令)每晚进行备份到另一个本地服务器。 该脚本的代码如下所示: sqlcmd -E -S SERVER\INSTANCE -d master -Q "EXECUTE dbo.DatabaseBackup @Databases = 'USER_DATABASES', @Directory = '\\techstore1.domain.local\Backups', @BackupType = 'FULL', @Verify = 'Y', @CheckSum = 'Y', @CleanupTime = 14" -b 这工作很好,但一个月前停止工作。 我将其设置为在本地备份,然后添加一个string将其复制到远程位置,并在远程服务器上使用脚本清理旧备份。 不理想。 我曾尝试在命令行中运行它作为我自己和一个超级权限帐户。 这是我在任何情况下收到的错误: Msg 50000, Level 16, State 1, Server SERVER\INSTANCE, Procedure […]
我有一个主/从复制设置,我在超过7000个数据库中使用InnoDB和MyISAM表,我想从主复制到从复制复制。 两台服务器都运行Ubuntu 10.04.2 LTS(使用mysql-server 5.1.41-3ubuntu12软件包)。 最近我试图升级MySQL,希望能够解决一些新版本已经解决的bug – 所以我的奴隶现在是Ubuntu 10.10。 但是,问题似乎是一样的。 我不想打扰我的主人,所以我已经尝试了我的整个光盘的LVM快照,以便我可以通过rsync将我的数据和日志目录复制到我的奴隶: / var / lib / mysql:其中我的ibdata1和ib_logfile0,以及所有.ibd和.frm文件都存储在其中。 我用innodb_file_per_table,所以有很多的.idb文件。 / var / log / mysql:我在哪里保留所有的二进制日志 一旦复制,我重置权限: chown mysql.mysql /var/lib/mysql -R chown mysql.mysql /var/log/mysql -R 我从/ var / lib / mysql目录中删除master.info和relay-log.info文件。 (因为我的主人实际上是奴隶到另一个主人,某些表)。 然后我尝试在从机上启动mysql。 不久,我开始在/var/log/mysql.err中看到如下所示的许多错误: InnoDB:错误:数据字典中的表空间标识为150238 InnoDB:但是在文件./1_107789/email.ibd中是150747! 要么: InnoDB:错误:试图添加名为“./23_4377/link.ibd”的表空间148302 InnoDB:表空间的内存caching,但表空间 名称为“./1_68522/open.ibd”的InnoDB:148302已经存在于表空间中 InnoDB:内存caching! 然后每隔一段时间: 110207 13:55:45 InnoDB:线程2979265392中的断言失败../../../storage/innobase/fil/fil0fil.c line 603 […]
我使用rsync备份我的本地设备上的远程服务器,但是当我将它与cron作业结合时,我的ssh超时。 只是要清楚,数据存储在远程服务器上,我希望它存储在我的本地服务器上。 备份请求必须从本地服务器发送到远程服务器。 当我在terminal中input数据时,备份数据的命令正在工作: rsync -chavzP –stats USERNAME@IPADDRES: PATH_TO_BACKUP LOCAL_PATH_TO_BACKUP 但是当我把它和一个像这样的cron工作结合起来的时候: 10 11 * * * rsync -chavzP –stats USERNAME@IP_ADDRESS: PATH_TO_BACKUP LOCAL_PATH_TO_BACKUP ssh连接超时。 当cronjob执行时,它发送一个邮件给root用户,输出如下: From local.xx.xx.xx Tue Jul 2 11:20:17 2013 X-Original-To: username Delivered-To: [email protected] From: [email protected] (Cron Daemon) To: [email protected] Subject: Cron <username@server> rsync -chavzP –stats USERNAME@IPADDRES: PATH_TO_BACKUP LOCAL_PATH_TO_BACKUP X-Cron-Env: <SHELL=/bin/sh> X-Cron-Env: <PATH=/usr/bin:/bin> X-Cron-Env: […]