网站开发的成品,长春火车站建在哪里,社保局网站建设意义,dw网页设计步骤政安晨的个人主页#xff1a;政安晨 欢迎 #x1f44d;点赞✍评论⭐收藏 收录专栏: TensorFlow与Keras实战演绎机器学习 希望政安晨的博客能够对您有所裨益#xff0c;如有不足之处#xff0c;欢迎在评论区提出指正#xff01; 前言 TensorFlow Extended#xff08;TFX政安晨 欢迎 点赞✍评论⭐收藏 收录专栏: TensorFlow与Keras实战演绎机器学习 希望政安晨的博客能够对您有所裨益如有不足之处欢迎在评论区提出指正 前言 TensorFlow ExtendedTFX是基于 TensorFlow 的谷歌生产规模机器学习平台。它提供了一个配置框架用于表达由 TFX 组件组成的 ML 管道。TFX 管道可使用 Apache Airflow 和 Kubeflow 管道进行协调。组件本身以及与协调系统的集成都可以扩展。 TFX包括许多生产软件部署和最佳实践的需求可伸缩性、一致性、可测试性、安全性等等。
它从收集数据开始然后是数据验证、特征工程、训练和服务。
谷歌已为管道的每个主要阶段创建了库并且为各种部署目标提供了框架。TFX实现了一系列ML管道组件。这些通过为管道存储、配置和编制之类的事物创建水平层来实现。这些层对于管理和优化管道以及在其管道上运行的应用程序非常重要。
安装
pip install tfx
关于 TFX
TFX 是一个在生产环境中构建和管理机器学习工作流程的平台。
TFX 提供以下功能 用于构建机器学习流水线的工具包。借助 TFX 流水线您可以在多个平台上编排机器学习工作流例如 Apache Airflow、Apache Beam 和 Kubeflow Pipelines 平台。 一组标准组件可用作流水线的一部分或用作机器学习训练脚本的一部分。TFX 标准组件提供久经考验的功能可帮助您轻松开始构建机器学习流程。 为许多标准组件提供基本功能的库。您可以使用 TFX 库将此功能添加到自己的自定义组件中也可以单独使用它们。 TFX 是一种基于 TensorFlow 的 Google 生产级机器学习工具包。 该平台提供了一个配置框架和众多共享库用来集成定义、启动和监控机器学习系统所需的常见组件。
TFX管道
TFX管道由实现ML管道的一系列组件构成特别是确保了带下划线的ML任务的可伸缩性和高性能。它包括建模、训练、推理以及部署到Web或移动目标。如下图所示 TFX管道包含几个组件每个组件都由三个主要元素组成驱动程序、执行程序和发布程序。
驱动程序查询元数据存储并将生成的元数据提供给执行程序发布程序接受执行程序的结果并将其保存在元数据中。
执行程序执行所有的处理。作为ML软件开发人员你需要编写要在执行程序中运行的代码这取决于你正在使用的组件类。
在TFX管道中称为构件的数据单元在组件之间传递。 通常一个组件有一个输入构件和一个输出构件。每个构件都有一个关联元数据定义其类型和属性。构件类型定义了整个TFX系统中构件的本体而构件属性则指定了特定于构件类型的本体。用户可以选择在全局或本地扩展本体。 TFX 标准组件
TFX 流水线是实现机器学习流水线的一系列组件专门用于可扩容的高性能机器学习任务。这包括针对在线、原生移动和 JavaScript 目标建模、训练、运行推断和管理部署。
TFX 流水线通常包含以下组件 ExampleGen:提取和拆分可选输入数据集的流水线的初始输入组件。 StatisticsGen:计算数据集的统计信息。 SchemaGen: 检查统计信息和创建数据架构。 ExampleValidator:查找数据集中的异常情况和缺失的值。 Transform:对数据集执行特征工程。 Trainer:训练模型。 Tuner:调整模型的超参数。 Evaluatior:对训练结果进行深入分析并帮助您验证导出的模型确保它们“效果足够好”适合投放到生产环境。 InfraValidator:检查模型是否确实可以从基础架构提供服务并防止投放不良模型。 Pusher:将模型部署到服务基础架构。 BulkInferrer:对存在无标签推断请求的模型执行批处理。
下图说明了这些组件之间的数据流 TFX 库
TFX 同时包含库和流水线组件。
下图说明了 TFX 库与流水线组件之间的关系 TFX 提供了几个 Python 软件包它们是用于创建流水线组件的库。您可以使用这些库创建流水线组件以便您的代码侧重于流水线的独特环节。
使用 TFX 进行开发
从在本地机器上进行研究、实验和开发一直到部署TFX 为机器学习项目的每个阶段都提供功能强大的平台。
为了避免代码重复和消除潜在的训练/应用偏差我们强烈建议您实现 TFX 流水线以便训练模型和部署经过训练的模型并使用 Transform组件进行训练和推断此类组件利用了 TensorFlow Transform库。
这样您就可以始终如一地使用相同的预处理和分析代码避免训练用到的数据与在生产环境中提供给经训练模型的数据之间存在差异并且只需编写该代码一次。
部署目标
在开发并训练模型后如果您对模型感到满意可以将其部署到一个或多个部署目标并在其中接收推断请求。TFX 支持部署到三类部署目标。以 SavedModel 格式导出的经训练模型可以部署到这些部署目标中的任意一个也可以部署到所有这些部署目标。 本文仅仅是对TFX的一个介绍为后续实施各类机器学习模型部署打下一个认知的基础而已。
已经了解相关概念的小伙伴们可以忽略本文
