我正在为我正在进行的项目devise一个基础设施。 这将是一个文件共享/下载项目（像rapidshare），我需要高的存储容量和良好的可调性，我会增加新的存储节点后，我的项目成长。 我为我的项目使用了Lustre，GlusterFS，HDFS，RDBD三个解决scheme。 首先，我会有2台服务器，一台服务器是glusterfs客户端+ Web服务器+数据库服务器+stream媒体服务器，另一台服务器是gluster存储节点。 （有时候，我会添加更多的节点服务器和客户端服务器（不知道要添加多less新的客户端新服务器，稍后会看到） 所以，我正在考虑与glusterfs合作。 但我真的不知道，如果我不得不使用具有高存储容量的高性能服务器或具有高存储容量的avarage / slow服务器？ 或者nas / das / san解决scheme对于glusterfs存储节点更好？ 我可能会购买一个nas，并在其上安装glusterfs。 我很乐意听取您对服务器属性的build议（针对每个客户端和节点）。 我真的不知道我是否真的需要大量的内存和良好的节点。 我相信我需要它的客户端服务器。 这些文件也将被stream式传输，所以自动文件复制是非常重要的，因此，我的系统应该像云一样工作，在需要时，根据高stream量，存储节点应该复制最需要的stream文件，并帮助我摆脱scable问题，我的访问者将能够stream/下载这些文件。 此外，我很乐意听取您有关任何良好解决scheme的经验/想法。 Lustre，hdfs，rbdb是其他的select，我会很高兴听到你的想法在这里。 如果有人评论我在这里使用的任何词语，我会非常高兴听到任何人的评论。 谢谢 编辑： 我知道如果我的networkingdevise，IOPS是每个计算中必须考虑的关键variables，那就是为什么我说随机请求。 但不幸的是，我没有任何统计数据。 这就是为什么我在这里:) 我的项目是这样的，你input一个下载url到我的网站，我的url下载它，然后开始从我自己的服务器下载它，就像代理下载。 所以我现在有一个服务器100mbit连接和2TB硬盘。 我想添加NAS服务器。 真的不知道我是否必须在nas中添加重复的存储节点。 有没有限制，我可以连接NAS设备？ 我的意思是我可以连接最多2台服务器到我的主服务器？
我读过几篇文章，桉树不支持可引导的EBS呢。 这是一个问题，因为您无法像在Amazon云或机架空间云上一样进行备份。 如果您重新启动运行节点控制器的物理Ecalyptus服务器，则该实例将与您的所有设置一起消失。 除了桉树之外，还有什么其他select吗？或者只是开源云计算中唯一的游戏呢？
我的Azure CDN似乎没有正确映射到我的Storage Container Blob数据。 存储 我已经创build了一个在线存储： 里面是一个存储容器： http://jasonsturges.blob.core.windows.net/cdn 我的存储容器定义了一些blob，它们是可用的： http://jasonsturges.blob.core.windows.net/cdn/audio/2-3rds-hertz/bills.mp3 http://jasonsturges.blob.core.windows.net/cdn/audio/2-3rds-hertz/cams.mp3 从Visual Studio中，我已通过服务器资源pipe理器连接到Azure，并将公共读取访问权限设置为容器： 所以，从存储的angular度来看，一切似乎都没有问题。 CDN 创build一个新的CDN，它从我的存储原始域映射： 起源域名： http ： //jasonsturges.blob.core.windows.net/ CDNurl： http ： //az712698.vo.msecnd.net/ 但是，当我尝试通过我创build的CDN名称或DNSlogging访问blob时，我只是收到一个404。 CDN： http ： //az712698.vo.msecnd.net/cdn/audio/2-3rds-hertz/bills.mp3 DNS： http : //cdn.jasonsturges.com/cdn/audio/2-3rds-hertz/bills.mp3 我觉得奇怪的一件事是CDN端点只给出了404; 而存储将返回json错误。 例如，找不到资源错误： 存储端点资源未find： http://jasonsturges.blob.core.windows.net/cdn/ 从CDN，这将只显示404 http://az712698.vo.msecnd.net/cdn/ 已经过去了几个小时，本应该允许CDN传播。 为什么我的CDNterminal无法加载存储？
我有一些数据是通过bacula备份到磁带上的，在某些时候，我将需要迁移到非磁带存储。 Bacula支持磁盘存档，但是我发现如果只有一些虚拟磁带库接口到S3或者OpenStack Swift或者其他一些对象存储服务，我可以换掉configuration并保持原有的存档，老化和调度configuration无缝。 我有一个谷歌，我可以看到，阿曼达（使用设备API）和一堆备份产品有S3对象存储的后端，但我没有看到任何项目，将放入replace使用* nix / dev / st0设备接口语义。 这可能是因为我不知道，这个想法是荒谬的，不可能的，等等，但是我有兴趣知道在深入研究一些被黑客入侵之前，我是否已经错过了任何明显的事情。 因此，澄清平台选项 – 它没有托pipe在AWS上，目前没有EBS可用，目标是内部S3兼容的openStack Swift对象存储，因此带宽和存储成本是内部的。
Iam运行我的网站build立在开发模式在轨道上的ruby在EC2实例，当我SSH的那个实例，它说.. Welcome to Ubuntu 12.10 (GNU/Linux 3.5.0-17-generic x86_64) * Documentation: https://help.ubuntu.com/ System information as of Thu Mar 28 05:10:40 UTC 2013 System load: 0.48 Processes: 84 Usage of /: 94.9% of 7.87GB Users logged in: 0 Memory usage: 49% IP address for eth0: 10.130.18.205 Swap usage: 0% => / is using 94.9% of 7.87GB Graph […]
我认为这样做是非常简单的，但是我不能得到它的工作： 我试图将文件从服务器（GCE）推到谷歌云存储桶。 为了避免在服务器上授予gsutil命令太多的权限，我在我的google项目的credentials部分创build了一个“Service Account”。 到斗gs://mybucket我已经添加了具有OWNER权限的该服务帐户的电子邮件地址作为用户的存储桶。 在服务器上，我激活了这样的服务帐户： $gcloud auth activate-service-account –key-file <path-to-keyfile> myservice $gcloud auth list Credentialed accounts: – [email protected] – myservice (active) To set the active account, run: $ gcloud config set account <account> 所以一切似乎都很好。 但是，访问存储桶失败： $gsutil cp tempfile gs://mybucket CommandException: Error retrieving destination bucket gs://gitolite-backups.rueffer.info/: [('PEM routines', 'PEM_read_bio', 'no start line')] $gsutil cp tempfile […]
我一直在撞墙，试图find一个支持以下所有企业特性的在线备份服务： 适用于Linux和Windows 2003/2008服务器的全系统备份，包括Windowsregistry，系统状态，Active Driectory等。这个要求淘汰了大多数着名的在线玩家。 使用本地控制的密钥进行encryption 重复数据删除，有一个理智的和有希望的可调保留策略。 两个星期是不够的。 总部有一个45 Mbps的连接，在10M文件中有大约5TB的无压缩备份。 有些单个文件大小高达150 GB（MSSQL和Exchange数据库）。 这意味着带宽效率。 通过Windows Volume ShadowCopy服务支持SQL Server 2005/2008和Exchange 2007/2010备份。 （再一次，几乎没有任何在线服务能够做到这一点，而“转储到本地文件，然后返回”scheme对于150 GB数据库不起作用。） 合理的文件系统元数据支持，包括恢复，Windows和Linux权限是必须的。 （许多在线提供商令人震惊地失踪）。 Gruanular Sharepoint项目恢复是一个非常理想的function，但我们可以没有它的生活。 提供即付即用，全额运营的定价，而不需要像Mozy那样预留空间。 不是BackupExec，我们只是不能再信任做一个实际的恢复。 下载多GB的服务版本，每隔几周进行一次质量检查和安装，已经变得站不住脚。 另一个曾经伟大的产品赛门铁克已经销毁。 合理的成功/失败报告提供足够的信息来追踪丢失或跳过的数据（再次，大多数在线玩家在这个领域大量失败）。 能够在灾难恢复情况下将数据恢复到公有云（有希望成为系统状态）（淘汰VMware看起来很有前途的解决scheme）。 我已经尝试过或深入阅读了CrashPlan，Mozy，JungleDisk，Carbonite，i365等等。 但即使是这些服务的“服务器”或“专业”版本，也缺乏一个或多个“桌面桌面”function，这是所有面向业务的，基于场景的备份软件都有的。 请注意，我们并不是在这里寻找免费的，甚至是廉价的，只是一些运作良好，没有多less照顾和喂养的情况下是可靠的。
我可以使用什么工具将本地目录的内容与Rackspace Cloud Files存储桶的内容同步？ 我需要一个类似rsync的应用程序来执行镜像，而不是备份应用程序。 我想要的是有能力去做 rsync –update –delete /local/dir/ cloudfiles://bucket 以便远程存储区包含位于/local/dir/中的文件的精确镜像。 文件的元数据（所有者，权限）并不重要，主目录内没有目录。
有些困惑，因为我的问题，使简单： “大型云提供商使用什么types的存储，为什么？ 据我所知，无论在典型的数据中心还是云端，我都找不到任何官方的存储networking差异，所有的云提供商都使用与典型的数据中心不同的DAS。 即使DAS比SAN或NAS还有许多缺点，我想了解为什么使用DAS的云存储或应用的细节。 任何资源或描述将不胜感激，让我清楚。 编辑：当阅读“大规模云build设的networking挑战和合作方法”一文时，David Bernstein和Erik Ludvigson（思科）提到， 奇怪的是，我们没有看到使用NAS或SAN的主要提供商的云。 典型的云架构使用DAS，这不是典型的数据中心存储方法。 但是在这里有一个冲突：在我看来，也在本文稍后部分，云应该使用SAN或NAS，因为当虚拟机移动到另一台服务器但是仍然需要从原始服务器访问存储时，DAS是不合适的。 影响云selectDAS，NAS或SAN的其他原因是什么？ 大型云提供商使用什么样的存储，为什么？
所以我只是要跳进math 我的networking主机提供了一个带有5x2TB硬盘的服务器，不受限制的1GB / s连接，可以在5个不同的数据中心configuration服务器，价格为200美元/月。 如果我有3台这样的服务器并安装了OpenStack Swift，那么我有10TB（我知道它会less于这个数字，但保留简单的数据，我只是说10TB）与Rackspace Cloud但是为0.058美元/ GB（与Rackspace的0.15美元/ GB相比）。 加上免费的无限带宽。 这些服务器可以在3个不同的数据中心中进行configuration，以便在一个小时内激活新服务器，因此，如果需要，我们可以合理快速地扩展存储。 我们也会使用CDN来提供内容，所以会有带宽费用，但是它们在外部与这个问题无关。 显然，如果使用大量的存储空间（比如说2GB的效率低得多），但是我们在RSC文件帐户上有7.5TB的备份，所以我们每GB的有效价格将是0.078美元（但是会减less）而我们目前的Rackspace系统则超过1000美元/月。 所以我的问题是，除了pipe理我们自己的服务器和增加扩展function外，自我pipe理的存储系统和Rackspace云之类的区别是什么，它是值得的$ / GB差异+带宽费用吗？