我们目前的照片存储在这样的结构中:
文件夹\ 1 \ 10000 – 19999.JPG | ORF | TIF(10 000个文件)
文件夹\ 2 \ 20000 – 29999.JPG | ORF | TIF(10 000个文件)等…
它们存储在4个不同的2TB D-link NAS上,并在我们的办公networking上共享(\\ nas1,\\ nas2,等等)
问题:
1)当客户端(仅Windows,Vista和7)希望浏览\\ nas1 \ folder \ 1 \文件夹时,性能相当差。 一个问题。 列表需要很长时间才能在资源pipe理器窗口中生成。 即使closures了图标。
2)初始访问NAS本身有时是缓慢的。 问题。
SAN磁盘对我们来说太贵了。 即使使用iSCSI接口/交换机技术。
我已经阅读了大量的技术页面,说在一个文件夹中存储100 000以上的文件应该不成问题。 但是我们现在不敢去那里,我们在10K级遇到问题。
所有的input非常赞赏,
/ T
1:是的,资源pipe理器不喜欢目录中的10.000项。 1000以上。 这不是一个文件系统问题 – 您可以将100.000个文件存储在一个文件夹中,并从命令行高效地使用它们。 这是资源pipe理器缓慢。
2:Velociraptor 600GB光盘。 10.000 RPM。 快速。 SAS需要更多的钱。 或等到事情变得更便宜。 如果我需要卡车,我需要付钱。
您需要查看数字资产pipe理软件。 DAM软件用于pipe理大量照片/video/audio。 他们通常用数据库来pipe理媒体目录。 一个例子是MS iView
我敢打赌,dlink盒用完CPU或RAM。
我们每天存储数百万个新图像文件。
Windows不喜欢文件夹中的大量文件。 我们保持在每个文件夹在我们的Windows机器10K以下。
使用SAMBA的Linux比Windows上的CIFS更适合pipe理表示层。 我们将apache放置在它的顶部,供用户浏览原始文件,还有一个数据库,通过简单的Web向下钻取应用程序帮助他们获得所需的数据。 我们写了自己的解决scheme来pipe理图像,因为所有版本都有问题。
LUN上的文件总数约为8000万或2TB。
我们使用rsynch备份到另一个磁盘系统,然后在卷变为非活动状态时将其发送到磁带。
您需要真正小心每个RAID组的磁盘,并通过技术堆栈小心pipe理您的IO。 很容易耗尽天然气,并有大量的数据传递给你,一旦你落后,你将会很痛苦。
CPU,内存,Raid卡,主轴,主板,networking – 都需要以最快的速度获得。
在LGA1366 Mobo上至less有一个x5550的许多主轴和PCICI LSI卡是要走的路。
我们真的很喜欢希捷桌面鱼子酱系列,因为它速度快,价格便宜。
我会build立一个有很多主轴的自定义盒子。
您应该使用DAM系统来跟踪这些图像。 我喜欢把它们放在NAS上的想法,前提是你可以将它们备份起来,但是你需要一个数据库驱动的应用程序来监视那里的文件,如果可能的话,提供一个缩略图可search的数据库。 Extensis产品组合在低端市场上运气不错。
退房: http : //www.razuna.com/