Google Professional Data Engineer(PDE)考试

栏目: 数据库 · 发布时间: 5年前

内容简介:在国内参加PDE考试的人比较少,导致资料也很少。我在19年1月30号去上海参加PDE考试,参加前也是完全没底,因为时间短资料少,但幸运的是顺利通过了。回过头来看,其中有些技巧和重点,在此做一些总结,希望可以给参加PDE考试的同学提供一些帮助。1)对云有新的认识

Google Professional Data Engineer(PDE)考试

在国内参加PDE考试的人比较少,导致资料也很少。我在19年1月30号去上海参加PDE考试,参加前也是完全没底,因为时间短资料少,但幸运的是顺利通过了。回过头来看,其中有些技巧和重点,在此做一些总结,希望可以给参加PDE考试的同学提供一些帮助。

收获

1)对云有新的认识

2)对大数据架构、机器学习架构设计有新的认识

3)当然最重要的是获得google官方发的证书

说说我的准备

1)花了5周的时间看完google官方提供的视频,几乎是完全脱产(只做一些事故处理)。

2)试做官方提供example,一共20道题,我错了五道。我错的主要是安全和BigTable相关的。

3)google的同学建议是看concept的相关内容,但离考试也就剩三四天了,不可能详细复习,concept是一定看不完的。那么就针对没有掌握的知识进行复习,安全相关的官方视频是没有涉及的,所以必须自己找资料看,别的资料也没有,就只能看concept中涉及安全的方便,这个比较少,最多一天就全部看完。BigTable看来我也是掌握不好,那么我就看BigTable的concept知识。

4)看完上面的就参加考试了,也再没做特别复习。

整体来看

google的产品大致涉及存储(cloud storage、 SQL 、spanner、memory、BigTable、datastore)、消息中间件Pub\Sub、计算(dataproc、BigQuery、Dataflow)、机器学习ML Engine、API、DataLab以及可视化。各个产品的使用场景必须心里有数,如果看完视频忘了,必须重新复习,最好和开源对应起来,因为开源多多少少有点儿了解,不要从头学习google cloud所有产品知识。

Google Professional Data Engineer(PDE)考试 Google Professional Data Engineer(PDE)考试

思维转变

把自己定位为产品解决方案工程师,不是找最优解,而是找最适合案例的解决方案。

产品详情

Cloud SQL & spanner

Cloud SQL 就是mysql\postsql的单机版,google帮你做了安装部署和管理(安全、备份等),如果需要水平扩展就是spanner了,而且 支持事务 ,这两个产品的应用场景就是应用交易记录等。

cloud storage

就是存储引擎,什么都可以放,没有大小文件、结构化和非结构化的限制,利用好存储级别(正常、nearline(月级访问)和cold(年级访问))可以节约成本。

BigTable

考试重点。注意key值的设置,如何避免热点问题, 时间序列 的问题大部分就是选BigTable存储,BigTable适用于 时延性要求高 的场景。

datastore

类似于mongodb,通过属性来查询,不是重点。

BigQuery

考试重点。注意安全和视图相关知识,数据存储在BigQuery和存储在cloud storage的价钱差不多,根据使用情况,会自动处理存储介质,降低价格,一定要合理利用BigQuery。

Dataproc

主要是为了适应客户原来使用hadoop堆栈,现在不像修改代码,就像上云的场景。

dataflow

是google大力推进的产品,是替代Dataproc的下一代计算引擎,实现自动扩缩容,并且流处理和批处理代码保持一致。 题外话:dataflow和bigquery(秒级响应)是google大数据方面两大杀伤性武器,区别于其他云的地方。

Pub\Sub

Pub\Sub和dataflow配合使用处理事件流,延时性要求高选用BigTable存储,不高选用BigQuery。

ML Engine

tensorflow的云化版,实现离线训练和在线服务的自动化,配合dataprep可以实现离线数据的预处理,datalab(jupyter notebook)实现数据探索和离线训练。

Auto ML

Auto ML是为了丰富API,容许用户自己提供数据,对模型进行训练。

综述

其实知识点也不那么难,最后难得可能是英语这一关,视频和考试全英语。祝大家顺利通过考试。

如果有疑问欢迎关注下面公众号进行交流。

Google Professional Data Engineer(PDE)考试


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

计算统计

计算统计

Geof H.Givens、Jennifer A.Hoeting / 王兆军、刘民千、邹长亮、杨建峰 / 人民邮电出版社 / 2009-09-01 / 59.00元

随着计算机的快速发展, 数理统计中许多涉及大计算量的有效方法也得到了广泛应用与迅猛发展, 可以说, 计算统计已是统计中一个很重要的研究方向. 本书既包含一些经典的统计计算方法, 如求解非线性方程组的牛顿方法、传统的随机模拟方法等, 又全面地介绍了近些年来发展起来的某些新方法, 如模拟退火算法、基因算法、EM算法、MCMC方法、Bootstrap方法等, 并通过某些实例, 对这些方法的应用进行......一起来看看 《计算统计》 这本书的介绍吧!

SHA 加密
SHA 加密

SHA 加密工具

html转js在线工具
html转js在线工具

html转js在线工具

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具