caching大量的数据

我们需要从我们的amazone S3存储caching所有psd / zip文件。 150-200Gb之间的caching量(我们需要存储文件至less2个月)。 现在我们使用透明代理鱿鱼没有任何caching。

所以我的问题:是否有可能configuration“主”鱿鱼这样的方式,所有查询s3.amazonaws.com他将代理的父鱿鱼。 在父鱿鱼,我们只需要从s3.amazonaws.comcaching所有zip和psd文件。 如果caching中没有这样的文件,那么父鱿鱼将被下载并将“新”文件放入caching中。

鱿鱼将如何处理文件1-2 GB? 有什么限制吗?

这个设置的主要证据是amazone存储中的所有psd / zip文件以本地caching的最大速度传送到本地客户端。 由于同一个文件同时被不同的员工使用,我们花费了大量的时间从每个员工那里下载这些文件

这个问题能以不同的方式解决吗?

我们已经testing了我们的系统大约一个月,它的工作正常。 如果有人感兴趣,下面我添加了configuration文件(主/父鱿鱼)

主要的鱿鱼(192.168.100.1)configuration文件

acl local_net src 192.168.0.0/16 acl parent_peer peername PARENT_PEER acl parent_squid dst 192.168.100.50 acl FILE_TO_CACHE urlpath_regex \.(zip|iso|rar)$ acl STORAGE dstdomain storage.example.net http_port 192.168.100.1:3128 intercept icp_port 3130 cache_peer 192.168.100.50 parent 3128 3130 name=PARENT_PEER connect-timeout=7 proxy-only cache_peer_access PARENT_PEER allow STORAGE FILE_TO_CACHE # to connect to parent via internal interface tcp_outgoing_address 192.168.100.1 parent_peer # to properly get cache digest from parent tcp_outgoing_address 192.168.100.1 parent_squid # sent all other packets via ISP2 tcp_outgoing_address xxx.xxx.xxx.xxx local_net 

父鱿鱼(192.168.100.50)configuration文件

 acl main_squid src 192.168.100.1 acl FILE_TO_CACHE urlpath_regex -i \.(zip|iso|rar)$ cache allow FILE_TO_CACHE cache deny all http_access allow main_squid http_access allow localhost http_access deny all icp_port 3130 icp_access allow main_squid icp_access deny all http_port 192.168.100.50:3128 cache_mem 12 GB maximum_object_size_in_memory 64 MB minimum_object_size 16384 KB maximum_object_size 1024 MB cache_swap_low 93 cache_swap_high 98 refresh_pattern \.iso$ 129600 100 129600 override-lastmod override-expire ignore-reload refresh_pattern \.zip$ 129600 100 129600 override-lastmod override-expire ignore-reload refresh_pattern \.rar$ 129600 100 129600 override-lastmod override-expire ignore-reload cache_effective_user squid cache_effective_group squid