2022 Python 计算生态十月推荐榜 第56期

看见更大的世界，遇见更好的自己
See a better world to meet better for ourselves.

模型部署工具是将机器学习模型投入生产的过程，使得模型的预测可供用户使用。模型部署被认为是一个具有挑战性的阶段，由于模型开发和训练与组织技术堆栈之间的技术和思维方式差异，例如版本控制、测试和扩展，这使得部署变得困难，这些组织和技术孤岛可以通过正确的模型部署框架、工具和流程来克服。在生产环境中创建和部署经过训练的模型 API 取决于机器学习生命周期的许多方面，MLOps的概念对于处理复杂的 ML 部署环境非常有益，下面列出了一些用于模型部署的最佳 MLOps 工具，帮助您扩展和管理机器学习生命周期的所有要素，包括服务、监控和管理 API 端点。

2022年10月，随着我们训练的模型越来越多，在不断尝试不同方式部署的过程中，好事者特别推荐10款优秀的Python计算生态，帮助您了解Python的模型部署工具。

onnx

Open Neural Network Exchange（ONNX，开放神经网络交换）格式，是一个用于表示深度学习模型的标准，可使模型在不同框架之间进行转移。

https://onnx.ai/

TensorFlow Serving

TensorFlow Serving专为生产环境而设计，是一个适用于机器学习模型的灵活、高性能应用系统。TensorFlow Serving提供与 TensorFlow模型的开箱即用型集成，但也可以轻松扩展以应用其他类型的模型和数据，同时保留相同的服务器架构和API。

https://pypi.org/project/tensorflow-serving-api/

MLflow

MLflow 是由 Apache Spark 技术团队开源的一个机器学习平台，主打开放性： 开放接口：可与任意 ML 库、算法、部署工具或编程语言一起使用。

https://mlflow.org/docs/latest/python_api/mlflow.html

Kubeflow

Kubeflow 项目致力于使在 Kubernetes 上部署机器学习 (ML) 工作流变得简单、可移植和可扩展。我们的目标不是重新创建其他服务，而是提供一种直接的方式来将用于 ML 的同类最佳开源系统部署到不同的基础设施。在任何运行 Kubernetes 的地方，都应该能够运行 Kubeflow。

https://www.kubeflow.org/

Cortex

Cortex 是一个开源的多框架工具，它足够灵活，可以用作模型服务工具，也可以用于模型监控等目的。

https://www.cortex.dev/

Seldon.io

Seldon.io 提供 Seldon 核心，这是一个开源框架。该框架简化并加速了 ML 模型和实验部署。

https://www.seldon.io/ 

BentoML

BentoML 简化了构建机器学习服务的过程。它提供了一个基于 Python 的标准架构，用于部署和维护生产级 API。这种架构允许用户使用任何 ML 框架轻松打包经过训练的模型，以进行在线和离线模型服务。

https://www.bentoml.com/

AWS Sagemaker

AWS Sagemaker 是 Amazon 提供的一项功能强大的服务。它使 ML 开发人员能够快速构建、训练和部署机器学习模型。

https://aws.amazon.com/cn/sagemaker/

Torchserve

Torchserve 是一个 Pytorch 模型服务框架。它简化了大规模部署经过训练的 PyTorch 模型。它消除了为模型部署编写自定义代码的需要。

https://github.com/lutzroeder/netron

TensorRT

NVIDIA TensorRT是一种高性能神经网络推理引擎,用于在生产环境中部署深度学习应用程序,应用有图像分类、分割和目标检测等,可提供最大的推理吞吐量和效率。

https://github.com/NVIDIA/TensorRT/