我有20 machines的networking,运行Ubuntu 10.04。
每台机器都有大约200 [GB]的数据,我想与其他19 machines共享,以便读取目的 。 阅读应尽可能以最快的方式完成。
一位朋友告诉我看看build立HTTP / FTP。 它确实是在机器之间共享数据的最佳方法(比NFS更好)? 如果是的话,我该怎么办呢?
有一个python模块,可以帮助访问/读取数据?
更新 :只是为了澄清,我想要的是能够(从机器X )访问机器的文件之一,并将其载入内存。 所有的文件大小一致(500 [KB])。 哪种方法最快(SAMBA / NFS / HTTP / FTP)?
有数百种方法可以解决这个问题。 您可以挂载一个FTP或HTTP文件系统在保险丝,甚至使用NFS(为什么不?)。 searchhttpfs2或curlftpfs(甚至是sshfs,如果您正在寻找性能,则不应使用它)
但是我看到的问题是,您唯一的主控机器出现故障。 为什么不分发存储?
我通常使用glusterfs [1],这是快速的,可以在不同的模式下使用。
使用python你可以通过数据存储目录中简单的一行来启动一个web服务器。
python -m SimpleHTTPServer
编辑:
它在端口8000上创build一个简单的web服务器,性能方面我不能告诉你很多,对于这种types的问题,最好在超级用户请求而不是这样。
它不会自动启动,但要做到这一点并不难。