ManifoldCF保持内存不足

我正在使用ManifoldCF来帮助将文档索引到Solr。 Solrconfiguration为Cloud-Mode,具有一个节点/内核和一个外部ZooKeeper(与运行Solr的机器相同)。 ManifoldCF从本地硬盘读取文件(大约2300,总大小为2,4GB)。 两个系统都使用SUSE Enterprise和HotSpot JVM在VM中运行。 运行Solr的机器已被设置为2.5 GB,其中Solr允许使用最多2个。其他机器运行歧pipe当前设置为8 GB。 我使用以下命令(以root身份)调用Manifold:

java -Xmx7168m -jar manifoldcf/example/start.jar 

索引过程完美无缺地工作,除了Manifold耗尽内存并开始抛出OutOfMemoryExceptionexception并崩溃时,它会突然停止。

除了设置Solr中使用的Tika-Parser来忽略exception外,我还没有改变Manifoldconfiguration中的任何内容,因为当扫描具有未知/不同格式的文档时,这些会中断索引处理。

我已经尝试使用OpenJDK以及更改为Ubuntu,这并没有真正改变任何东西。 使用更多或更less的内存(以及更改Java内存参数)也导致了同样的问题。 我也看了一下垃圾收集(使用-XX:+ PrintGCDetails -XX:+ PrintGCTimeStamps -XX:+ HeapDumpOnOutOfMemoryError -Xloggc:/root/Documents/gc.log),结果可以在这里find 。 使用(less)文件,索引处理完成,但是内存使用率保持高水平,并且在索引第二批文档时进一步上升,导致内存相关崩溃(控制台输出在应用程序之前显示该错误消息稍后退出)。

虚拟机运行在16 GB内存的计算机上,带有HyperThreading(i7-4790)的3,6GHz-Quadcore,都可以使用全部4核,CPU负载范围从低到中。

现在我的问题:这是一个ManifoldCF或Solr中的错误,还是它与设置或configuration的某个方面? 如果是我的错,那么用什么方法来解决呢? (如果这实际上是一个错误或者是我无法修复的问题,那么也可以selectManifoldCF的替代品(除了Simple Post Tool之外)