内容简介:当我们考虑大数据的规模时,企业内部的基础设施运营相当有限,无论是在规模还是能力方面。 对于许多组织而言,对于与大数据和AI,默认在云上操作非常方便。
云计算的采用率正在上升,预计到2020年,云计算支出的增长速度将超过传统IT支出的六倍。 今天,企业面临着将大量数据从内部存储迁移到诸如AWS S3 的云存储平台上。因此有效的数据迁移策略非常重要,且在迁移过程中常常忽略了它的重要性。
当我们考虑大数据的规模时,企业内部的基础设施运营相当有限,无论是在规模还是能力方面。 对于许多组织而言,对于与大数据和AI,默认在云上操作非常方便。
云迁移可能成为首选方案的几种场景:
•加速应用程序执行和部署
•项目在晚上会接收到庞大的流量
•对数据中心停机的影响持谨慎态度
•管理不断增长的数据库需求变得越来越昂贵
一、数据迁移的挑战
关于云迁移的一个常见误解是它是一次性的旅程。 但实际情况是,将数据基础架构迁移到云上的过程应该逐步和系统地进行,同时最大限度地减少停机时间和对用户的干扰。 移动数据只是这个难题的一部分。 云迁移还存在其他一些挑战。
成本在方案的选择中发挥着重要作用。低估云迁移所涉及的资源可能会导致成本迅速失控,云迁移最终可能成为一个现金供应的怪物。 来福车(美国第二大打车应用)最近报告说,它将在未来三年内在亚马逊网络服务上花费3亿美元。 对于大数据和云,数据安全是不容忽视的问题。从内部部署迁移到云时,您组织的敏感数据会面临风险。如果这些数据在此过程中泄露,公司可能会遭受大量经济损失。重要的是要记住,保护数据的责任在于您,而不是云提供商。另一个严峻的挑战是找到具备合适技能的人员成功执行云迁移计划。缺乏对不断变化的云技术和技能的了解,可能会导致无缝云迁移的缓慢和无效采用
在开始迁移过程之前,必须详细分析云的依赖关系、约束、迁移模式和潜在应用程序以及基础架构即服务(IaaS)的优势。 这将有效地推动您走上最适合您公司的道路。根据不同公司希望使用云来实现其目标的方式,有三种主要类型的云迁移。
二、数据迁移模版
分类如下,我们看到有 3 种数据湖迁移模型从内部数据中心迁移上云:
1)Forklift叉车模式?
这种类型的迁移是指将本地Hadoop迁移到云中的基本计算实例。 这是利用现有员工技能集的最简单的迁移模型。 它仅使用云的IaaS方面的持久性计算实例,通常实例在本地存储上。 除基础架构访问外,安全性完全由使用云的客户负责,集群的创建,配置,监控和维护也是如此。
2)Hadoop云服务
从本地Hadoop迁移到使用Hadoop作为云提供商提供的服务是第二种迁移模式。 围绕Hadoop集群设置和配置以及确保Hadoop生态系统组件兼容性的大部分工作都留给了云提供商。 数据湖泊管理应用程序可以帮助和使用按需创建和使用Hadoop集群和云原生的持久化存储接口。
3)混合模式
数据湖迁移的第三种模式涉及从Hadoop内部部署到混合体系结构(内部部署/云)的逐步过渡 ,使用除Hadoop生态系统 工具 之外的各种云本机存储选项和服务,采用云服务模式进行处理 事件流,实时分析和机器学习。 此模型预先假定元数据管理层可消除底层技术之间的任何不匹配,并提供跨所有数据的无缝数据结构视图,而不管存储位置如何。
根据您的选择,可以有多种迁移方式:
•上述3种迁移模型(Forklift, Hadoop AAS, Hybrid)
•Hadoop 发行版 (Cloudera, Hortonworks, MapR)
•Hadoop 生态系统工具演变
•云服务提供商 (AWS, Azure, GCP)
上述三种迁移模型,有意义的比较需要在特定业务和技术要求的背景下完成。
三、制定有效的数据迁移策略
上述三种迁移模型有意义的比较需要在特定业务和技术要求的背景下完成。
1)目标评估
了解当前的软件体系结构,基础架构和数据库模式有助于定义实施云迁移所需的时间范围,成本和工作量。 您可以首先评估数据湖的业务用例,安全注意事项以及首先需要移动的应用程序/数据的优先级。
2)数据子集POC
在强烈建议您在使用新的云供应商之前进行测试。 您需要开发一个概念验证来验证网络挑战,功能验证和性能比较。 在此阶段,您需要有效地测试工作负载并了解云存储服务,必要的安全控制和生产群集大小。
3)产品构建
由于您现在已根据自己的要求验证了云提供商和模型,因此您可以自行继续迁移过程,并开始将数据和应用程序迁移到云端。 与所选迁移模型一致的分阶段方法考虑了以下因素:
1)基础设施迁移决策 - 存储和计算,规模,扩展,网络
2)数据的安全性和数据访问的治理以及云中的资源使用
3)提取重组数据发送到云数据湖,数据是来自不同源的内部基础设施上
4)内部数据湖的详细清单,以及映射到云平台
5)数据转换管道和相应的云机制转换
6)应用程序迁移— forklift vs 重写,开发进程,测试和生产
7)历史数据的迁移选项
8)数据湖管理应用程序
4)后期制作
现在,您的数据和应用程序已成功重新托管,您可以专注于在新基础架构中的自动化过程并优化其性能。 最好使用自动测试框架,并考虑基础架构作为代码(IaC)的方法来简化部署过程。 您还可以手动仔细检查基础架构的一些最关键方面,例如: 安全性,合规性,性能等
四、结论
迁移到云时,企业需要一个具有广泛的云迁移能力的合作伙伴,来支持各种各样的技术,法规要求,运营模式和目标环境。 今天的公司经常满足于他们现在可以得到的东西,而不是他们真正想要或需要的东西。 有娴熟的云专业知识支持的全面风险评估有助于实现一个长期战略目标。 另一方面,服务提供商必须保持灵活性,以适应不断变化的市场需求,以便充分利用新技术。
云计算可以给各种类型的组织带来以下好处 - 灵活性,效率和战略价值。 通过全面评估,任何组织都可以根据其短期和长期业务目标制定可靠的迁移计划。 正如大多数成功的公司所表明的那样,云迁移过程所需的时间和精力不仅仅体现在质量,效率和产品上市技术解决方案上的快速提升。
仍然在繁琐和过时的基础设施上运营您的业务? 您可能需要考虑将流程迁移到云,同时将业务风险降至最低。
原文链接:
https://thenewstack.io/best-practices-for-effective-cloud-migration/
译者介绍:
李豪俊,中通服创发科技有限责任公司, 现在公司从事项目管理。专注于云计算、虚拟化、容器技术。喜看书,不求胜解。
↓↓ 点击"阅读原文" 【加入云技术社区】
相关阅读:
RightScale 2019年云状况调查报告:35% 的云支出被浪费「附50页PDF下载」
2018年云计算九大趋势热词:Serverless、混合云、多云、中台、边缘计算等「附下载」
更多文章 请关注
文章好看点这里[在看]:point_down:
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:- 简单数据库迁移实践
- 优酷 Mac 迁移 Swift 实践
- Swift Static Libraries迁移实践
- Hive 迁移 Presto 的技术实践
- 小米 Kylin 平滑迁移 HBase 实践
- 前端学serverless系列——WebApplication迁移实践
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
HTML 编码/解码
HTML 编码/解码
Markdown 在线编辑器
Markdown 在线编辑器