内容简介:TensorFlow 数据验证(TensorFlow Data Validation, TFDV)是一个用于探索与验证机器学习数据的函数库,特别设计为高度可扩展,用于验证以及监控机器学习的数据。 TensorFlow 产品经理 Clemens Mewald 表示,学术界...
TensorFlow 数据验证(TensorFlow Data Validation, TFDV)是一个用于探索与验证机器学习数据的函数库,特别设计为高度可扩展,用于验证以及监控机器学习的数据。
TensorFlow 产品经理 Clemens Mewald 表示,学术界和业界都非常关注机器学习的算法和性能,而数据是其中最重要的因素,一旦数据错误,所有相关的优化工作都将前功尽弃,因此数据整理是一项重要的工作 —— 通过对数据的理解以及验证来确保数据的正确性和可用性。在数据量较少的时候,可用人工的方式进行整理。但在实际应用中,研究人员使用的数据量往往非常庞大,这就给手动检查造成了巨大压力,用人工的方式进行数据验证有点不切实际。因此有必要使用自动化和可扩展的数据分析、验证和监控。
TFDV 是 TFX 平台的一部分,它也是 Google 每天用来分析和验证 PB 级数据的技术。鉴于此前它在数据纠错上一直有不错的表现,Google 相信,TFDV 也可以被用户作为维持 ML 模型性能的一个好工具。事实上,在设计 TFDV 的早期,Google 就已经考虑到了在笔记本电脑环境中使用它的需求,所以对于硬件要求,各位大可不必担心。
在正式的生产环境中使用 TFDV,也是使用和在笔记本电脑环境相同的函数库,以进行大规模的数据分析和验证,不过有一些特殊的使用案例,包括检测连续版本训练数据之间的分布变化,以及检查训练数据和服务系统观察到的数据之间的特征值/分布差异。
目前官方已在 GitHub 上开源 TFDV(https://github.com/tensorflow/data-validation),其中包括用于笔记本电脑环境的示例代码。另外官方也提供了端到端的示例,展示了 TFDV 与 TensorFlow Transform、TensorFlow Estimators、TensorFlow Model Analysis 和 TensorFlow Serving 一起使用的方法。
【声明】文章转载自:开源中国社区 [http://www.oschina.net]
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:- TensorFlow 推出数据验证函数库 TFDV,用于分析和验证
- 以太坊研究 | 可验证延迟函数(VDF)介绍
- 远程登陆提示 发生身份验证错误,要求的函数不受支持
- JS不靠谱系列: 写一个验证过期时间的函数,包含jest单元测试
- 表单正则验证及文件上传验证功能
- angular 实现同步验证器跨字段验证
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
世界是平的(3.0版)
[美] 托马斯·弗里德曼 / 何帆、肖莹莹、郝正非 / 湖南科学技术出版社 / 2008-9 / 58.00元
世界变得平坦,是不是迫使我们跑得更快才能拥有一席之地? 在《世界是平的》中,托马斯·弗里德曼描述了当代世界发生的重大变化。科技和通信领域如闪电般迅速的进步,使全世界的人们可以空前地彼此接近——在印度和中国创造爆炸式增长的财富;挑战我们中的一些人,比他们更快占领地盘。3.0版新增两章,更新了报告和注释方面的内容,这些内容均采自作者考察世界各地特别是整个美国中心地带的见闻,在美国本土,世界的平坦......一起来看看 《世界是平的(3.0版)》 这本书的介绍吧!