替代SWARM FTP批处理?

在一个被提议的项目中,计划是将大数据集分成块,通过SFTP将它们公开为群集CPUtypes的LAN群集体系结构,用于处理模拟的历史数字和财务数据。 耗时的。

那么使用Influxdb之类的东西呢? 我知道分享和缩放一点点。 我们可以利用它来分配数据到节点并对它们进行处理吗?

你有其他的要求吗? 多个工具可以实现,下面是一些可以分配工作量的作业调度程序的列表(有些是开源的)

例如:

  • 你的基础架构大小是多less?
  • 你有什么安全要求?
  • 您是否需要与其他解决scheme紧密集成?
  • 等等