我工作的公司生产的软件每天需要千兆字节的数据，并且每天输出（较less数量）的Gig。 我们有一个重要的pipe理数据stream的基础设施，重要的是我的意思是非常糟糕。 当我们在软件中需要一种新的数据types时，我们开发了一个脚本，用于从HTTP或FTP源中提取数据，并将其放在服务器上，然后继续。 在我们大多数服务器上经常会有使用率过高/不足的抱怨，但是我们没有好的办法来pipe理检索/写出数据所花费的资源平衡。
是否有一个软件包用于pipe理外部数据传输（检索），并将其从networking中的服务器传送到服务器？
我在找东西，
OASIS小组发布了一个标准的语言来定义称为BPEL（业务stream程执行语言）的“业务stream程”。 几年来，我们已经使用了昂贵的商业版本，其原因是可维护性，可扩展性，可扩展性，可validation性。 幸运的是，许多项目已经完成了这些任务。 一些开源版本在freshmeat.net 。 我们这些凡人称之为“工作stream软件”。 一个引起我注意的包是乐团 ，因为它既LGPL和商业支持选项。 鉴于这是一个关键的业务stream程，您可能需要一定程度的支持，或者至less回馈社区的任何改变。
幸运的是，许多其他人已经开始了这条路。 这只是一个在你的组织中在政治上是正确的方式。 我build议一个私人原型和示范，让高层pipe理人员购买一个更大的，与商业相关的testing。 让老板很早就买入，你也许可以改变这个核心业务惯例。