我有一个ETL进程打开NFS挂载文件来处理它们。 要同时打开的文件数量是可configuration的。
我没有shell访问NFS服务器。
我可以在客户端上使用哪些好的shell实用程序来确定我使用NFS共享的效率? 我想最大限度地提高吞吐量(平衡我的ETL和太多的数据),显然,我不想把太多的压力放在NFS服务器上。
我可以从客户端做多less事,而不必login到NFS服务器并在那里运行IO监视实用程序?
我会从nfsstat和iostat开始。
例如,你可能想看:
watch -n1 'nfsstat -c' iostat -n 1 1
您可能还会发现pipe道查看器很有用,这取决于您的ETL过程对您的数据所做的工作。
根据以下教程 ,它的基本用法是:
pv access.log | gzip > access.log.gz
在哪里可以让你知道有多less数据完成,剩下多less。
你也可以像这样链接命令:
pv -cN source access.log | gzip | pv -cN gzip > access.log.gz