Nefele介绍：云计算的流程监控协调系统

在图1c中描绘了SSI模型。在SSI模型中，流程调度器执行与容器编排引擎相似的角色，但是，它直接部署和管理流程，而不是执行环境。这些进程彼此直接通信，而不需要任何底层主机的概念。SSI操作系统本质上提供了开发分布式软件系统所需的功能，例如进程间通信（IPC）系统或一致的分布式文件系统。通常情况下，用户不能对这些功能做出任何选择，而且她必须遵守系统提供的功能。反过来，系统必须实现这些功能中最严格的形式，以支持最严格的应用程序要求，例如，通过使用强一致性的分布式文件系统，而不是最终一致的系统。

Nefele的目标是一个混合模型，从每个模型中继承有用的方面。图1b显示了Nefele的设计，阴影背景突出了与其他模型的重叠。Nefele采用了SSI关于共享进程空间、IPC、进程放置和受限操作系统服务集的思想，并通过查看和与底层单节点操作系统交互以及利用虚拟化基础设施中当前可用工具的能力来增强它。因此，由Nefele管理的进程可以从节点的本地功能和分布式SSI服务中获益。

本文以SSI和Erlang/OTP为基础，提出了一种分散式流程编排系统Nefele。Nefele的目标是通过提供底层分布式资源的聚合视图以及动态运行时信息（例如，运行进程的聚合列表），简化构建云本地应用程序。使用Nefele，开发人员可以在集群上以编程方式部署和管理应用程序，部分抽象为单个节点。这是通过一个分布式控制平面实现的，该控制平面跨多个节点协调应用程序的进程并与之通信。Nefele执行分布式进程管理，允许开发人员在分布式环境中生成、列出、监视故障、发送信号和控制进程。

在Nefele中，不同过程之间的关系是用所选的编程语言定义的，而不是通过外部，例如YAML模板。程序化的关系定义方式使得定制它们背后的逻辑成为可能，例如，开发人员可以实现自定义逻辑来确定何时以及如何扩展。

我们的评估表明，Nefele可以有效地部署、扩展和管理分布式进程，根据任务大小和到达率，平均进程调度时间在10到20 ms之间。在一个由15个节点组成的集群中，Nefele每分钟能够处理30000个请求，平均调度时间低于50ms。

由于Nefele的控制平面是分散的，因此不存在单点故障，系统可以通过网络分区等故障保持运行。采用监督树的过程容错模型，故障检测和处理时间低至20ms。

目前，Nefele的alpha版本正在我们的数据中心作为服务运行，面向内部用户开放。我们的用户正在部署多层分布式应用程序，测试Nefele的开发和部署优势，并特别利用内置IPC和故障转移机制。我们正在扩展Nefele的更多功能，增加更多的内部和外部服务，进一步简化分布式应用程序的构建。我们也在更大、更具异质性的集群中测试该系统，以发现和解决瓶颈问题。基于用户反馈，我们计划进一步重新定义API并改进现有功能的性能，例如，在Placement agent中应用机器智能，并通过RDMA减少IPC延迟。

详细请阅读pdf版论文。本文来自：https://arxiv.org/abs/2006.07163

（编辑：源码网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!