人工智能正在引领新一轮变革。近年来，人工智能从科技行业起步，迅速渗透到各行各业。我们的生活已经充满了人工智能的气息。目前全行业采用人工智能技术普遍使用云，人工智能云服务AIaaS(AI as a Service)成为云服务商新的增长点。人工深度学习算法已经成熟，如何提高效率成为关键。作为业内知名的云服务商，CDS首创的AI云服务的云技术探索，软硬件结合，给出了一个方向。

首先，AI云化是明确的趋势，

软硬结合是关键

人工智能正在从技术探索向大规模应用转变，人工智能已经成为基础设施，这决定了AI云化是一个明确的趋势。

首先是用户的需求。对于企业来说，需要不断提升竞争力，深化数字化转型。人工智能成为必然选择，从而带来大量需求。随着云的深入使用，企业希望人工智能也能像云一样好用、好用，而且可以按量收费。

二是云厂商的增长点。对于云厂商来说，增强人工智能能力，为企业赋能，是一个新的增长点，这也是为什么很多云厂商在名字中加上“智能”的原因。

第三，人工智能涉及硬件和软件，技术复杂，需要不断优化。只有云厂商才有这方面的资源和技术实力。

就像IaaS的底层是虚拟化技术一样，AI云服务依靠的是深度神经网络的算法和软硬件结合的计算能力。算法的实现靠软件，人工智能开源软件是趋势，计算能力靠软硬件结合的能力。

二、开源和软硬件结合是AI技术趋势，

OpenVino两者兼而有之

人工技术方面，一方面开源是主流，比如TensorFlow、Caffe、MXNet、Kaldi等知名深度学习框架。另一方面，计算能力很重要，决定了人工智能的应用速度。所以人工智能的效果取决于软硬结合。然而，有许多开源框架。对于用户来说，如果使用不同的深度学习框架，不同的硬件，需要逐一优化，工作量较大。

OpenVino工具套件的出现解决了这个问题。OpenVino工具套件是开源的，支持主流的深度学习框架，支持Intel架构的不同硬件，提供统一的接口，结合了开源和软硬件的趋势。

OpenVino工具套件介绍

OpenVINO工具套件是英特尔基于其现有硬件平台开发的工具套件，可以加速高性能计算和深度学习应用的开发。它是一个全面的工具套件，用于快速开发应用程序和解决方案，以解决各种任务(包括人类视觉模拟、自动语音识别、自然语言处理和推荐系统等。).

该工具套件基于最新一代的人工神经网络，包括卷积神经网络(CNN)、递归网络和基于注意力的网络，可以跨英特尔硬件扩展计算机视觉和非视觉工作负载，以最大限度地提高性能。它通过从边缘部署到云的高性能、人工智能和深度学习推理来加速应用。

OpenVino Toolkit的优势

OpenVINO工具套件有四大优势:支持基于卷积神经网络的深度学习推理；支持在英特尔CPU、英特尔显卡、英特尔神经电脑棒和英特尔Movidius视觉处理器上运行；通过易于使用的计算机视觉函数库和预优化的内核库加快上市时间；针对计算机视觉标准优化的调用，包括OpenCV*和OpenCL。

下图显示了典型的OpenVINO工作流程(点击放大)

图OpenVINO工作流程

英特尔open vino Toolkit的发布包含以下主要组件:深度学习模型优化器:一种跨平台命令行工具，用于导入模型并为推理引擎的优化做准备。模型优化器会导入、转换、优化模型，这些模型是在流行的框架中训练出来的，比如Caffe、TensorFlow、MXNet、Kaldi、ONNX；深度学习推理引擎:统一的API，可以在各种硬件类型上进行高性能推理；推理引擎示例:一组简单的控制台应用程序，展示了如何在应用程序中使用推理引擎；附加工具:一套用于模型协作的工具，包括准确性检查工具、培训后优化工具指南、模型下载器等。

OpenVINO工具套件是开源的，在人工智能开发者中非常受欢迎。目前已经在Github上获得了1.9k星和787叉。

图open vino Github接口

我们来看看知名云服务提供商CDS First Cloud的案例，如何利用OpenVINO提升AI云服务能力。

三。CDS第一云案例

技术分析

作为AI能力输出的关键环节，AI模型的部署和推理效率将直接影响整体性能。CDS First Cloud联合Intel在其高性能K8S容器平台上引入了OpenVINO模型服务器，帮助AI模型的快速部署和推理效率的提升。

目前，这一新方案已经在CDS第一朵云内部的AI应用场景中得到初步部署和验证。实践结果表明，基于OpenVINO模型服务器的新方案在用户并发访问能力方面远优于传统的AI模型部署工具，在检测延迟等关键性能指标上也有更好的表现。

云AI云服务方案架构第一云

AI云服务不能局限于为AI应用加速提供硬件基础设施。需要部署能够高效分配和调度底层基础设施资源的云平台，以及能够在这个云平台上为AI应用和模型提供完整运行环境的中间件或框架。云平台与AI运行环境的匹配越合理，协作越高效，AI云服务的整体性能就越好。CDS在构建AI云服务解决方案的过程中秉承了这一原则，其架构如图所示:

图CDS cloud AI云服务方案架构在基础设施架构层面，英特尔提供的一系列先进计算、存储和网络产品输出了强大的数据处理、存储和传输能力；K8S虚拟化层，负责为底层架构提供节点管理和扩展服务，充分利用基础设施层的能力，同时使方案具有良好的可扩展性；该方案提供的AI服务将通过容器为上层多样化的应用场景输出AI能力。

基于此架构，CDS First Cloud的AI云服务能力不仅可以以解决方案的形式为选择云平台或裸机平台的用户提供额外的本地服务能力，还可以以服务API的形式为用户提供远程AI能力输出。

开放Vino模型服务器是该方案的核心

Openvino模型服务器是openvino工具套件的重要组成部分，帮助用户优化和加速自己的模型，从而降低成本，提高效率。Openvino model server基于并利用英特尔架构基础设施提供的计算能力，帮助CDS首个云新方案大幅简化模型部署流程，从而更高效便捷地将AI模型部署到生产环境，有效提升推理性能。

图OpenVINO模型服务器架构

如图，OpenVino Model Server提供了gRPC和REST两个标准网络API接口，供用户在不同场景下调用。无论用户是在本地还是远程启动AI工作任务，这些任务都会连接到部署在容器中的OpenVino Model Server服务。

上述架构设计和工作流程使OpenVINO模型服务器具备AI云服务部署和应用的以下四大优势:针对英特尔架构中不同类型硬件基础设施的性能优化，允许用户在完成模型训练后，在不同场景部署模型实现快速推理，有效降低部署和运维成本；open vino Model Server与K8S的良好集成，可以通过镜像快速部署、维护和扩展模型，具有更好的横向可扩展性，便于为用户提供密集型计算托管服务。对常见主流深度学习框架的良好支持，可以帮助用户在设计和部署AI方案时摆脱框架的束缚，根据需求引入最优框架，增强AI服务能力；统一网络API接入能力，允许终端用户基于CDS第一云的云平台或裸机平台部署本地化AI能力，或者通过远程网络调用该能力。对gRPC、REST等不同API接口模式的支持也大大增强了方案的可用性。

实战:高性能低成本帮助检测不良内容

新的AI云服务方案形成后，CDS第一云启动了针对性的实践验证工作，优先选择内部应用需求迫切的不良内容检测场景作为“试验田”。

图CDS首款云AI不良内容检测流程

此前，CDS First Cloud主要使用TensorFlow服务框架等开源工具，将深度学习模型部署到生产环境中进行推理。但在这个过程中，用户往往面临以下挑战:第一，在训练和推理的不同过程中，无论使用什么工具，性能和准确率都可能不同，没有适当的调优，工作效率无法充分发挥；其次，对于应用场景的变化，用户可能需要选择不同的深度学习框架；更重要的是，在不同硬件基础设施上构建的生产环境中，AI模型的推理性能会有明显差异，而如果解决方案的用户不得不重复配置和调试每个硬件环境，势必会消耗大量时间，并对工作效率产生负面影响。

这些问题在CDS First Cloud打造的全新AI云服务解决方案中都得到了妥善解决。得益于open vino Model Server的部署和应用优势，新方案不仅让用户获得了AI应用的高可用、易维护、一键部署的能力，而且显著提升了推理性能，也帮助用户降低了TCO。

图CDS首次针对不良视频内容检测场景的云验证测试结果

如图所示，测试结果显示，使用OpenVINO模型服务器的方案支持的用户并发数远超对比组，比使用TensorFlow服务的方案高2.4倍。同时，每个并发客户端的延迟也控制在30ms以内，这意味着整个检测过程能够跟上视频播放速度，达到实时检测的效果。

未来，当CDS首款云全面走向公有云市场时，OpenVINO模型服务器解决方案带来的应用优势也将转化为竞争优势。接下来，除了进一步优化新解决方案在更多应用场景中的性能，CDS First Cloud还计划与英特尔合作，探索基于OpenVINO模型服务器的AI云服务与边缘计算相结合的解决方案。这种方案可以将AI云服务的应用范围进一步扩展到安防、自动检测、门禁系统等应用场景，为用户提供更加多样化、差异化的云服务能力。

四。总之，OpenVINO是人工智能云服务的未来

进化方向

作为业内知名的云服务商，CDS守云及时捕捉到用户对AI云服务的迫切需求，携手英特尔为用户打造更加高效、便捷、完善的AI云服务能力，从而提升企业竞争力。

AI能力是云服务的新领域，OpenVINO套件是构建AI云服务的利器。基于OpenVINO的云服务可以支持英特尔架构、K8S、主流开源深度学习框架中的不同硬件，并提供统一的API。相信基于OpenVINO的AI云服务将是未来的演进方向，用户选择这样的AI云服务是对投资的良好保障。