随着国家新型基础设施建设发展战略（2020）、国家“十四五规划和2035年远景目标纲要”等系列政策的出台，人工智能（AI）发展迎来新一轮红利，科技革命和产业升级处于进行时。近年来，AI工程化的研究热度持续提升，其目的是帮助组织在数智化转型过程中，更高效、大规模地利用AI创造业务价值。人工智能研发运营体系（MLOps）作为AI工程化重要组成部分，其核心思想是解决AI生产过程中团队协作难、管理乱、交付周期长等问题，最终实现高质量、高效率、可持续的AI生产过程。
　　MLOps的发展呈现出逐渐成熟的态势，近几年国内外MLOps落地应用正持续快速推进，特别是在IT、银行、电信等行业取得明显效果。与此同时，MLOps行业应用成熟度不足，使得组织在制度规范的建立、流程的打通、工具链的建设等诸多环节面临困难。因此本指南旨在成为组织落地MLOps并赋能业务的“口袋书”，围绕机器学习全生命周期，为模型的持续构建、持续交付、持续运营等过程提供参考，推进组织的MLOps落地进程，提高组织AI生产质效。
　　本指南由中国信通院云计算与大数据研究所、人工智能关键技术和应用评测工业和信息化部重点实验室联合发布。本指南站在组织如何布局和落地MLOps的视角，以模型的高质量、可持续交付作为核心逻辑，系统性梳理MLOps概念内涵、发展过程、落地挑战等现状，并基于MLOps的理论研究和实践案例分析组织如何构建MLOps框架体系和关键能力，最后总结和展望其发展趋势。
　　由于AI产业的快速变革，MLOps落地应用持续深入，工具市场不断迭代，我们对MLOps的认识还有待继续深化，本指南可能仍存在不足之处，欢迎大家批评指正
　　

研究报告全文：人工智能研发运营体系MLOps实践指南2023年中国信息通信研究院云计算与大数据研究所人工智能关键技术和应用评测工业和信息化部重点实验室2023年3月I版权声明本指南版权属于中国信息通信研究院人工智能关键技术和应用评测工业和信息化部重点实验室并受法律保护转载摘编或利用其它方式使用本指南文字或者观点的应注明来源中国信息通信研究院人工智能关键技术和应用评测工业和信息化部重点实验室违反上述声明者本院将追究其相关法律责任前言随着国家新型基础设施建设发展战略2020国家十四五规划和2035年远景目标纲要等系列政策的出台人工智能AI发展迎来新一轮红利科技革命和产业升级处于进行时近年来AI工程化的研究热度持续提升其目的是帮助组织在数智化转型过程中更高效大规模地利用AI创造业务价值人工智能研发运营体系MLOps作为AI工程化重要组成部分其核心思想是解决AI生产过程中团队协作难管理乱交付周期长等问题最终实现高质量高效率可持续的AI生产过程MLOps的发展呈现出逐渐成熟的态势近几年国内外MLOps落地应用正持续快速推进特别是在IT银行电信等行业取得明显效果与此同时MLOps行业应用成熟度不足使得组织在制度规范的建立流程的打通工具链的建设等诸多环节面临困难因此本指南旨在成为组织落地MLOps并赋能业务的口袋书围绕机器学习全生命周期为模型的持续构建持续交付持续运营等过程提供参考推进组织的MLOps落地进程提高组织AI生产质效本指南由中国信通院云计算与大数据研究所人工智能关键技术和应用评测工业和信息化部重点实验室联合发布本指南站在组织如何布局和落地MLOps的视角以模型的高质量可持续交付作为核心逻辑系统性梳理MLOps概念内涵发展过程落地挑战等现状并基于MLOps的理论研究和实践案例分析组织如何构建MLOps框架体系和关键能力最后总结和展望其发展趋势由于AI产业的快速变革MLOps落地应用持续深入工具市场不断迭代我们对MLOps的认识还有待继续深化本指南可能仍存在不足之处欢迎大家批评指正目录一MLOps概述1一AI生产过程管理问题凸显1二MLOps概念与意义2三MLOps实施原则3二MLOps发展现状与挑战6一MLOps发展过程6二MLOps落地挑战11三MLOps框架体系13一机器学习项目生命周期13二MLOps流程架构14三MLOps相关角色19四MLOps关键能力与技术实践22一数据处理22二模型训练25三构建集成27四模型服务30五运营监控35六模型重训38七实验管理40八流水线管理43九特征管理45十模型管理47十一仓库管理50十二模型安全53五MLOps总结与展望57一总结57二展望58图目录图1MLOps示意图2图2MLOps实施原则4图3机器学习技术债示意图6图4Gartner数据科学和机器学习技术成熟曲线8图5MLOps工具分类一览9图6机器学习项目生命周期示意图13图7基于MLOps框架的机器学习项目生命周期示意图14图8MLOps流程架构示意图14图9MLOps相关角色分工示意图19图10MLOps关键能力示意图22图11广东移动的数据处理能力示意图23图12格物钛的数据处理能力示意图24图13云测数据的数据处理能力架构图25图14百度的模型训练架构图27图15马上消费的构建集成流程图29图16腾讯的MLOps平台示意图30图17浦发银行模型服务示意图32图18建行模型服务架构图33图19中移在线中心PolarisMLOps平台模型部署流程34图20星环科技MLOps流程图35图21联通软件研究院模型成效闭环运营分析示意图37图22蚂蚁的持续训练能力示意图39图23蚂蚁的持续训练流程图40图24百度的实验管理流程图41图25华为终端云的实验管理界面42图26农行的流水线管理示意图44图27华为终端云的流水线编排可视化能力示意图44图28华为终端云的特征实验流程图46图29浦发银行的特征工程流程图47图30河南移动的模型管理示意图48图31百度的模型管理流程图49图32九章云极DataCanvas模型管理功能示意图50图33中信证券的机器学习生命周期示意图52图34绿盟的模型安全防御策略示意图54图35蚂蚁的AntSecMLOps架构图55图36蚂蚁的蚁鉴-AI安全检测平台56表目录表1MLOps相关角色职责要求20附表1MLOps工具链清单63人工智能研发运营体系MLOps实践指南2023年一MLOps概述MLOps是通过构建和运行机器学习流水线Pipeline统一机器学习ML项目研发Dev和运营Ops过程的一种方法目的是为了提高AI模型生产质效推动AI从满足基本需求的能用变为满足高效率高性能的好用本章首先阐述组织在AI大规模生产过程中凸显的管理问题然后梳理MLOps概念和意义并分析落地MLOps所遵循的原则一AI生产过程管理问题凸显Gartner调查发现只有53的项目能够从AI原型转化为生产1AI生产转化率低的主要原因在于模型全链路生命周期管理存在问题包括跨团队协作难度大过程和资产管理欠缺生产和交付周期长等第一跨团队协作难度大机器学习项目生命周期中涉及业务数据算法研发运维等多团队团队间缺乏相同的技术和业务背景知识作为协作基础从而带来沟通屏障同时每个团队的协作工具不尽相同从数据和算法转化为推理服务的整个过程漫长而复杂从而增大协作难度第二过程和资产管理欠缺模型生产过程无标准化管理导致AI资产的价值无法有效发挥原因在于以下几方面一是生产过程冗长难管理AI模型生产过程涉及的环境流程复杂各部门习惯于小作坊的生产模式重复造轮子现象普遍二是AI资产无集中共享机制组织内数据特征模型等碎片化AI资产无法共享使用优秀实践经验难以沉淀1GartnerTopStrategicTechnologyTrendsfor20211人工智能研发运营体系MLOps实践指南2023年第三生产和交付周期长机器学习模型生产和交付是一个漫长复杂又易出错的过程且耗费的时间成本较高据Algorithmia报告显示38的企业花费超过50的时间在模型部署上2这一现象的主要原因有三一是模型文件的生产需要经过不断重复的实验和评估二是模型服务需要通过编写服务代码和配置参数并达到业务需求后方可部署上线三是业务效果的保证需通过在线模型开展服务验证和结果对比二MLOps概念与意义MLOps通过连接模型构建团队业务团队及运维团队为机器学习模型全生命周期建设标准化自动化可持续改进的过程管理体系使组织规模化高质量高效率可持续地生产机器学习模型MLOps能有效缓解AI生产过程的各种管理问题提升AI生产的转化效率来源中国信息通信研究院图1MLOps示意图MLOps理念源于面向软件工程的管理方法论DevOps起初希望可以参考传统软件生产过程的管理方法以应对提质增效的挑战然而DevOps并不完全适用因为机器学习项目是以数据算法代码2GartnerGartnerTop10DataandAnalyticsTrendsfor20212人工智能研发运营体系MLOps实践指南2023年模型为核心的动态模式整个过程充满探索性实验性和不确定性若要迎合动态模式的需求需要一种融合了机器学习特性的DevOps方法或体系MLOps应运而生MLOps意义和价值主要体现在以下几方面第一建立团队协作机制通过在组织级明确各流程中各角色例如业务人员数据工程师数据科学家运维工程师等和职责并以流水线的方式连接各团队成员的工作使团队协作机制得以建立打破沟通屏障让不同角色各司其职例如使数据科学家不用再沦陷于处理繁琐的模型更新和维护等工作降低团队间整体合作成本第二实现敏捷交付过程通过自动化流水线等方式实现敏捷交付从而提高模型交付效率加快模型迭代速度提高模型效果提供更丰富更优质的产品体验第三构建全链路反馈闭环通过贯通需求开发交付部署运营多环节的全链路嵌入合规监管道德安全等要求形成完整的全链路流水线同时持续改进和简化原有运营和治理流程高效率低风险地实现持续集成部署训练和监控形成有效的反馈闭环第四统一管理AI资产机器学习项目中数据算法特征和模型等资产是一个有机整体通过对AI资产的高效统一管理并加以风险防控和安全管理等手段实现有效治理三MLOps实施原则作为AI基础设施之一MLOps促进各团队高效协作提升业务价值产出一般来说实施MLOps需要遵循的原则包括自动化持续性版本化可监控可测试可追溯可复现可协作等3人工智能研发运营体系MLOps实践指南2023年来源中国信息通信研究院图2MLOps实施原则自动化包括模型自动化构建自动化集成自动化测试自动化部署等减少人工操作提高操作准确性是MLOps的核心持续性包括持续集成CI持续部署CD持续训练CT持续监控CM是MLOps实现全流程闭环的基础版本化包括数据模型和代码等AI资产的版本控制能力是达到可复现可追溯的基础是保证资产可在组织各层面共享使用的基本能力之一可监控包括模型模型服务及模型生产过程等维度的健康状态监控能力以发现数据漂移和概念漂移识别问题和改进方向是维护高质量模型服务的基础可测试从模型评估集成测试系统测试业务测试生产验证等过程维度保障模型的功能性能和可信能力安全性保密性可解释性公平性等满足需求是保证模型交付质量的重要手段可追溯通过效果模型实验数据全流程追溯过程的实现提供模型实验及数据的血缘回溯能力是根因分析的基础是事后审计的手段也是过程可信的体现4人工智能研发运营体系MLOps实践指南2023年可复现通过端到端记录模型构建过程相关数据算法参数等元数据信息支持重现实验过程并获得高度相似的结果是数据科学家开展模型工程的重要支撑可协作确保不同团队角色在数据代码和模型上进行协作是全流程可持续闭环实施的协作基础是提高团队整体效率的保障5人工智能研发运营体系MLOps实践指南2023年二MLOps发展现状与挑战MLOps在国内外得到了广泛应用并在多个行业取得了实质性效果本章首先阶段性梳理MLOps发展历程然后从落地应用和工具市场等角度分析当前发展现状最后总结了MLOps落地面临的挑战一MLOps发展过程1发展历程2015年至今从业界意识到机器学习项目技术债给AI生产上线带来的潜在巨大影响伊始MLOps前后经历了斟酌发酵概念明确落地应用三大阶段斟酌发酵阶段2015年至2017年前后2015年Google在ConferenceandWorkshoponNeuralInformationProcessingSystemsNIPS上发布的论文HiddenTechnicalDebtinMachineLearningSystems首次提出机器学习项目技术债问题一方面机器学习项目具有传统软件工程的代码运维问题这部分问题占比较小另一方面机器学习项目本身存在数据依赖关系不稳定配置易出错实验不可重现等问题为模型的持续运维和迭代带来大量隐患这篇论文标志着机器学习高效落地问题被明确提出和正视也催生了产业界形成系统化的方法论和规范化的管理流程解决技术债问题的强烈需求来源HiddenTechnicalDebtinMachineLearningSystems图3机器学习技术债示意图6人工智能研发运营体系MLOps实践指南2023年概念明确阶段2018年至2019年前后2018年业内人士逐渐开始密集讨论大规模生产中机器学习生命周期集成化管理的重要性MLOps这一概念被提出并逐步接受2019年ContinuousDeliveryforMachineLearning3提出的CD4ML理念阐述了机器学习项目如何开展持续交付CD并提出端到端的交付流程CD4ML将传统软件工程中的持续交付方法论扩展到机器学习中使跨团队成员可基于数据代码和模型实现机器学习项目小步快跑安全持续的增量式迭代落地应用阶段2020年至今2020年以来产业焦点集中于AI大规模快速落地布局MLOps平台或工具的需求日益迫切推动组织数智化转型成为产业界追逐的目标2021年Gartner将包括MLOps在内的XOps列为2021年十大数据和分析技术趋势之一4此外从2019年到2022年Gartner连续4年将MLOps纳入数据科学与机器学习技术成熟度曲线52021年中国信息通信研究院牵头开展MLOps系列标准编制以引导产业有序发展形成行业自律规范来源Gartner3ContinuousDeliveryforMachineLearninghttpsmartinfowlercomarticlescd4mlhtml4GartnerGartnerTop10DataandAnalyticsTrends20215GartnerHypeCycleforDataScienceandMachineLearning20192020202120227人工智能研发运营体系MLOps实践指南2023年图4Gartner数据科学和机器学习技术成熟曲线2发展现状MLOps产品提供方和应用方不同程度地受益于MLOps体系的蓬勃发展随着工具市场和行业应用的发展不断推进新工具不断涌现在IT金融电信等行业得到了广泛应用和落地根据情报和市场研究平台MarketsandMarkets2022年研究报告显示MLOps市场规模将从2022年的11亿美元增长到2027年的59亿美元61资本市场持续火爆MLOps工具不断创新近年来MLOps相关工具链已成为AI投融资领域的明星赛道涌现了诸多以MLOps工具为主打产品的初创公司例如聚焦于深度学习可视化工具的WeightsBiases获得2亿美元融资且平台估值达10亿美元聚焦于提供机器学习平台的Tecton获得16亿美元融资聚焦于机器学习模型多硬件适配部署的OctoML获得133亿美元融资且平台估值达85亿美元在资本市场的驱动下MLOps工具持续创新据不完全统计目前全球约有300多款工具大致可分为两类一类是MLOps端到端工具平台为机器学习项目全生命周期提供支持端到端工具平台包括国外的AmazonSageMakerMicrosoftAzureGoogleCloudPlatformDataRobotAlgorithmiaKubeflowMLflow等国内的百度智能云企业AI开发平台阿里云机器学习平台PAI华为终端云MLOps平台腾讯太极机器学习平台九章云极DataCanvasAPS机器学习平台等另一类是MLOps专项工具对特定步骤提供更为集中的支持主要包括数据处理模型构建运营监控三大类专项工具包括国外6httpswwwmarketsandmarketscomMarket-Reportsmlops-market-248805643htmlgclidEAIaIQobChMItqHNwYawAIVBilMCh1sqwwbEAAYASAAEgKnBPDBwE8人工智能研发运营体系MLOps实践指南2023年Cloudera提供的数据共享工具DVC和DAGsHub提供的数据和模型版本管理工具Neptuneai提供的元数据管理工具等国内的星环科技提供的运营监控工具第四范式提供的特征实时处理工具云测数据提供的标注工具等来源中国信息通信研究院图5MLOps工具分类一览2MLOps行业应用稳步推进落地实践成果颇丰第一国外MLOps落地广泛效果显著其主要应用于组织内部的服务运营产品或服务开发营销风险预测及供应链管理等场景应用行业涉及IT金融电子商务制造化工和医疗行业等IT行业应用MLOps后美国某IT公司将开发和部署新AI服务的时间缩短到原来的112到16运营成本降低50德国某IT公司通过自动化编排和实验跟踪以相同的工作量运行10倍的实验数量以色列某IT公司实验复现时间减少50某美国出行科技公司三年内机器学习产品数量从零扩展到数百个金融行业应用MLOps后新加坡某保险公司推理结果的生成时间从几天缩短至不到1小时欧洲某大型保险公司节省了大量维护9人工智能研发运营体系MLOps实践指南2023年和调查时间可实时跟踪和比较模型性能并自动检测以前需要数月才能检测到的漂移美国某支付公司可实时部署和运行其反欺诈预测模型并实时分析新数据以适应新威胁电子商务应用MLOps后荷兰某酒店预定网站通过打通机器学习模型生产流程提高了生产规模具备应用150个面向用户的机器学习模型的能力逐步推进AI规模化落地制造业应用MLOps后土耳其某水泥制造公司通过提升模型生产效率和质量大大提升了AI赋能业务的能力使得替代燃料的使用量增加7倍减少2的二氧化碳排放总量成本降低3900万美元化工行业应用MLOps后美国某化工企业将模型部署周期从原来的12个月缩减至30到90天医疗行业应用MLOps后美国某医疗企业通过快速构建和测试模型为业务提供精准决策使得每年从患者日支付的护士工时中节省200万美元通过减少患者住院时间每年可节省1000万美元7第二国内MLOps处于规划和建设前期落地探索成效初显IDC2022年预测到2024年60的中国企业将通过MLOps来运作其机器学习工作流8近3年来国内各行业开始探索契合自身特点的MLOps落地解决方案在数智化转型热潮中IT金融和电信等数字化程度较高的行业处于相对领先地位其他行业进展稍缓IT行业凭借在数据方面拥有的先天优势IT行业最早开始构建MLOps并驱动其业务智能化水平的提升如百度华为阿里京东等关注机器学习项目全生命周期的优化和改进并在原有AI7httpsresearchaimultiplecommlops-case-studyintroducing-mlops-to-your-business8IDCIDCFutureScape全球人工智能AI及自动化市场2022预测中国启示10人工智能研发运营体系MLOps实践指南2023年中台或云服务平台上逐步扩展MLOps过程管理功能实践效果明显百度通过应用MLOps使得开发周期缩短54测试周期缩短67所投入的人天数缩减579金融行业鉴于对风险的敏锐嗅觉金融行业在使用MLOps驱动业务增长的同时对模型风险的关注与日俱增如工行农行浦发银行中原银行中信证券等细分上千个应用场景重点聚焦于模型生产模型管理模型安全模型风险等方面借助MLOps实现模型全流程管控中原银行通过应用MLOps将模型上线周期从周缩短至天将模型部署时间从小时级缩短至秒级9电信行业由于用户数量巨大模型上线后的运营监控成为电信行业关注的重点之一如联通移动等对模型运营监控的关注度较高以保证模型的稳定性某电信运营商应用MLOps建立模型运营监控体系实现模型持续训练节省人力300人天年成本降低809二MLOps落地挑战近年来我国MLOps逐步在多行业中得到布局应用将MLOps引入模型开发阶段的实践较为成熟而MLOps引入到模型交付和模型运营阶段的落地处于逐步规划建设中在这个渐进式过程中MLOps落地面临着诸多挑战一是组织落地驱动力不足对于大多数组织而言MLOps落地驱动力不足首先体现在MLOps建设成本较高但短期内价值无法立即显现导致必要性分析难度增大其次是MLOps技术栈不清晰且部分组织对已有AI能力和规模不确定无法明确MLOps建设的目标成熟度导致制定技术方案的难度加大最后是业内缺乏成熟的9数据来源中国信息通信研究院行业调研访谈11人工智能研发运营体系MLOps实践指南2023年MLOps实践指南作为指导缺乏标杆组织和案例作为参考导致诸多组织落地MLOps时摸着石头过河进程缓慢二是支撑工具选型难集成难虽然MLOps工具市场目前处于蓬勃发展阶段为应用方提供了许多选择但随之带来的问题也比较明显一方面由于工具种类繁多功能复杂解决某一环节问题的工具往往有许多个缺乏统一的能力标准另一方面尽管MLOps开源工具占多数但如何将多个工具有效集成和打通整合全生命周期各项关键能力很大程度依赖于组织和人员的技术能力这两个原因导致组织落地MLOps时面临解决方案难决策平台难选取工具链难集成等难题导致难以实现MLOps的快速落地三是模型治理和可信道阻且长机器学习模型的治理错综复杂体现在两个方面一方面同一模型在不同业务场景面临的风险程度和所需更新频次不同不同类别模型所需的生产过程和风险等级亦不同另一方面模型面临的事前事中和事后风险包括生产过程不可追溯线上模型效果下降模型存在偏见推理结果不可解释无法审计等导致AI可信落地难四是环境间的交互难以平衡企业内部的MLOps实践过程需要有效管理开发环境测试环境准生产环境生产环境等之间的关系外部需要有效打通与DevOpsDataOpsFeatureOps的连接同时又要保证流程的简洁和安全环境间的交互障碍导致MLOps的自动化进程受限12人工智能研发运营体系MLOps实践指南2023年三MLOps框架体系机器学习项目生命周期伴随着AI的发展早已形成而MLOps的出现驱动产业界对机器学习项目生命周期进行了完整梳理本章由信通院和行业专家结合机器学习和MLOps相关理论研究和产业实践围绕机器学习项目的全生命周期对业界现有的MLOps框架体系做出总结归纳一机器学习项目生命周期机器学习项目以需求数据代码算法为输入以模型模型服务为输出其生命周期主要包括定义问题数据收集数据处理模型训练模型评估模型部署等过程来源中国信息通信研究院图6机器学习项目生命周期示意图MLOps围绕持续集成持续部署持续监控和持续训练构建和维护机器学习流水线并通过流水线的衔接形成全生命周期闭环体系基于MLOps框架的机器学习项目生命周期通常包括需求设计开发交付和运营四个阶段细分为需求管理数据工程模型开发模型交付模型运营等过程需求管理根据商业目标与业务需求开展可行性分析编制技术需求和技术方案数据工程将源数据处理成可用数据并存储至合适位置便于流转模型开发在实验环境中对模型进行训练参数调优评估与选择等过程得到最优模型13人工智能研发运营体系MLOps实践指南2023年模型交付将模型与配置代码和脚本等进行封装生成可交付物并部署至目标环境模型运营在生产环境中为上线的模型服务提供监控和运营维护能力来源中国信息通信研究院图7基于MLOps框架的机器学习项目生命周期示意图二MLOps流程架构典型的MLOps流程架构包含需求分析与开发数据工程流水线模型实验工程流水线持续集成流水线模型训练流水线模型服务流水线持续监控流水线七个部分来源中国信息通信研究院图8MLOps流程架构示意图14