MLOps-预测糖尿病示例

发布时间 2023-08-30 18:33:20作者: 白夜wn

MLOps定义

  MLOps是一门工程学科,旨在统一 ML 系统开发(dev)和 ML 系统部署(ops),以标准化过程生产高性能模型的持续交付。实现 MLOps 有助于使机器学习工作负载可靠且可重现。 例如,你将能够在始终将模型保留在生产环境中时根据需要监视、重新训练和重新部署模型。

MLOps 体系结构包括以下部分:

  1. 设置:为解决方案创建所有必需的 Azure 资源。
  2. 模型开发(内部循环):浏览并处理数据来训练和评估模型。
  3. 持续集成:打包并注册模型。
  4. 模型部署(外部循环):部署模型。
  5. 持续部署:测试模型并提升到生产环境。
  6. 监视:监视模型和终结点性能

MLOps-预测糖尿病示例

    接下来将以机器学习中常用的糖尿病数据集(糖尿病数据集 - Azure Open Datasets | Microsoft Learn)使用Azure机器学习工作室对该数据集训练模型并部署。

  创建工作区

     Azure 机器学习工作区来使用设计器。 工作区是 Azure 机器学习的顶级资源,提供一个中心位置用于处理 Azure 机器学习中创建的所有项目。

  导入数据

    在新建立的工作区中创建数据资产,并标记好名称和数据类型

    选择数据源并导入数据

    预览数据并设置数据格式后创建数据资产

  创建计算资源

    选择合适的计算群集创建

  创建管道

    Azure 机器学习管道可将多个机器学习和数据处理步骤组织成单个资源。

    通过拉取左侧组件到右侧的画布上即可进行组件的放置,并可在对应的输入/输出间建立管道

    最终创建的管道如下:其中“Prediction-diabetes”为准备好的数据,“Select Columns in Dataset”组件选择有效的数据列,“Normalize Data”组件将数据正则化,“Split Data”组件将数据按照7:3的比例分为训练集和测试集,利用“Two-Class Logistic Regression”和“Train Model”组件对训练集数据进行二元回归建立模型,“Score Model”和“Evaluate Model”组件对模型进行评分和评估。

  查看结果

    配置前面创建的计算集群并提交后等待一段时间便可查看模型评估结果

  创建实时推理管道并部署

    若要部署管道,必须先将训练管道转换为实时推理管道。 此过程会删除训练组件,并添加 Web 服务输入和输出来处理请求。如图所示配置好后便可以创建实时推理管道并部署。

  通过终端测试数据

    终端部署成功后,在左侧“服务终端”中便可找到已部署的服务终端。输入数据即可使用训练好的模型进行分析。