Articles of 文件系统

文件系统在RHEL 5.1中变为只读

我正在使用RHEL 5.1,问题是某些分区只能读取,重新启动后,它会在该分区上手动更正或运行fsck。 请告诉我为什么只读和任何有关的日志,我可以得到帮助?

科学数据存储:许多小文件,一个卷或几个?

我有大约8TB的“样本”数据,具有以下特征: 每个样本:一个文件夹中包含5-15GB,包含〜20k个文件和〜10k个子文件夹(2000个顶级,5个包含〜5-2MB数据文件和小设置文件的子级)。 我正在设置运行带有19 TB有效空间(RAID5)的Windows Server 2008 R2的Dell T710服务器,以整合数据。 我以前曾经看到,在专用内部驱动器(NTFS)上打开/浏览/复制具有大约1.5TB这种types的数据的计算机时,显着的减速。 每个样本将被复制到此服务器进行存储,但分析将在别处发生(从服务器复制数据)。 所以现在的数据没有每天变化,只是新的数据。 什么是最好的驱动器configuration来处理这种types的数据? 驱动器是GPT,目前有EFI,MSR,70 GB系统分区和空的19 TB数据分区。 一个大的19 TB容量 几个较小的卷(less碎片?) build议创build一个每个样本的zip压缩包并将其存储起来? 我会对此犹豫不决,因为用户直观地理解文件夹,腐败对档案有更糟的影响 – 在极端情况下,我们可以承受一些损坏的子文件夹(或多或less的样本像素),但会损坏整个样本档案会不好。

备份工具应该使用多less资源? (问题与clBackup)

我的托pipe服务提供商使用名为clBackup的工具来备份我们的服务器,通过networking推送文件。 以下是我们提供给我们的一个ps输出: top – 10:06:24 up 25 days, 3:47, 5 users, load average: 6.63, 4.79, 4.23 Tasks: 357 total, 1 running, 355 sleeping, 0 stopped, 1 zombie Cpu(s): 25.0%us, 0.6%sy, 0.0%ni, 72.5%id, 1.2%wa, 0.5%hi, 0.1%si, 0.0%st Mem: 49447692k total, 49314632k used, 133060k free, 79628k buffers Swap: 2097144k total, 288k used, 2096856k free, 40614172k cached PID […]

“未能打开stream:打开的文件过多”和垃圾收集

虽然编写一些unit testing,我打了太多打开的文件(Debian VM)的上限 – “无法打开stream:打开的文件太多” 除了重启之外,有没有办法清除这个块? (即,这些打开但未被访问的文件是否会随着时间的推移被清理?) Fyi – 我想知道,因为我想要为unit testing设置一个持续集成服务器,如果重启是解决此问题的唯一方法,那么我需要find一种不同的方法来处理某些unit testing。

目录中有太多条目是否存在问题?

我们有一个使用Jira的系统,Jira在/opt/jira/jiraattachments存储附件。 在该目录下是项目名称RRT ,在该目录下是票据目录。 因此,票RRT1234有其附件: /opt/jira/jiraattachments/RRT/RRT1234 我们有一个监控系统,当/opt/jira/jiraattachments/RRT目录中有超过30,000个项目时,会触发警报。 考虑到我们有90万吉拉门票,这不是一个真正的惊喜。 在编程层面上,我真的没有看到一个问题。 Jira不打开整个目录并保持所有这些目录的打开。 实际上,这个结构是安排好的,这样Jira可以立即find包含附件的目录。 但是,在操作系统级别,包含超过32K文件的单个目录是否存在问题? 我可以看到编写shell脚本的问题,并尝试parsing这些文件。 我可以看到ls试图读取和sorting所有这些文件的问题。 我知道回到MS-DOS 2.x天,一个目录不能超过512个条目。 但是我们已经不在迪斯科时代了。 我不能看到一个操作系统绊倒这样的事情。 $ uname -r 2.6.18-238.el5 $ df -kT . Filesystem Type 1K-blocks Used Available Use% Mounted on 10.10.136.125:/vol/jira_prod nfs 83886080 58621352 25264728 70% /jira_prod

Hyper-V如何连接压缩的NTFS存储或将其转换

我在Windows Server 2012 R2上尝试连接到一个Hyper-V虚拟机。 由于虚拟磁盘系统的限制,请求的操作无法完成。 在NTFS上,虚拟硬盘文件必须是未压缩和未encryption的。 在ReFS上,虚拟硬盘文件不能设置完整性位。 好吧,我承认我压缩了这个虚拟机的NTFS文件系统。 它包含了旧的Windows XP,因为我们的一些软件与新版本不兼容。 我们将它用于旧软件,我们需要它。 它一直工作到现在。 我们有什么,可能有用: 具有讽刺意味的是,有足够的磁盘空间容纳两次从VHDX未压缩的所有内容 有限的RAM:每台服务器16GB Linux Debian 8.5服务器(无头,但我可以启用肉桂GUI和通过TeamViewer连接) 千兆networking 题: 我如何连接到压缩的NTFS存储解压缩,让我们再次工作? EDIT1: 在Windows 8.1上,如果我尝试通过计算机 – >pipe理 – >存储 – >磁盘pipe理 – >菜单操作 – >挂载VHD: 由于虚拟磁盘系统的限制,请求的操作无法完成。 在NTFS上,虚拟硬盘文件必须是未压缩和未encryption的。 在ReFS上,虚拟硬盘文件不能设置完整性位。 在Windows 8.1上,如果我尝试用StarWind V2V Converter打开VHDX文件: 打开文件时出错(2)[0] 在Windows 7上,如果我尝试按照8.1中的方法安装: 该文件或目录已损坏,无法读取 在Windows 7上,如果我尝试使用StarWind V2V Converter打开VHDX文件: 打开VHDX磁盘映像文件时出错。 VHDX格式支持Windows 8和更高版本 EDIT2: 通过在Linux Mint […]

获得ZFS文件系统大小的更精确的方法?

由于备份设备的空间不足,我一直无法备份ZFS文件系统。 我第一次忘记压缩已启用。 但是,第二次尝试,我得到了文件系统的压缩率,并得到了du返回的表观大小。 这些在尺寸上一致: louis@watson:~$ sudo zpool list NAME SIZE ALLOC FREE CAP DEDUP HEALTH ALTROOT watson 3.62T 2.74T 904G 75% 1.00x ONLINE – louis@watson:~$ sudo zfs list NAME USED AVAIL REFER MOUNTPOINT watson 2.74T 846G 30K none watson/gelato 2.73T 846G 2.67T /data/gelato louis@watson:~$ sudo zfs get compressratio watson/gelato NAME PROPERTY VALUE SOURCE watson/gelato compressratio […]

并行文件系统

我正在寻找一个易于安装,维护和扩展的“并行文件系统”。 我的目标是在Linux机器上有一个挂载点,应用程序可以使用基本上是几个挂载点的标准编码实践(如C ++)来读/写。 我不是在寻找速度,我在寻找存储和可靠性; 虽然速度显然是一个加号。 所以比如说: / mnt1 – > smb:// srvr1 / share / mnt2 – > smb:// srvr2 / share / vfs – > mnt1 + mnt2 我看了ZFS,虽然他们支持实际的文件作为磁盘,他们不推荐它。 任何人有任何build议呢?

在Linux上有效地join文件

有没有更好的方法来join已经被分割的文件,而不仅仅是做一个“猫”或“join”? 这些命令只是将文件stream复制到磁盘上的新文件。 一个更好的方法是操纵文件系统指针将文件join一个大的连续文件。 当然这将是文件系统特定的。 有什么可用的ext2或ext3?

哪些文件系统支持文件locking

我想使用PPSS 链接文本 根据手册,应该在支持文件locking的文件系统上使用PPSS。 我假设EXT3,EXT4,JFS,XFS,NTFS支持文件locking,但我不确定。 FAT16,FAT32,EXT2可能不支持文件locking,但我也确定这一点。