内容简介:【SDCC 2016】Erlang 编程语言专题:Erlang 在数据链路、分布式系统的落地实践
【CSDN现场报道】2016年11月18日-20日,由CSDN重磅打造的年终技术盛会 —— “ 2016中国软件开发者大会 ”(Software Developer Conference China 2016,简称SDCC 2016)在北京京都信苑饭店隆重举行。本届大会云集了100多位国内外顶尖专家和技术大牛,共设新趋势和新实践2大主题会场,14个技术专题。面向国内外的中高端技术人员,聚焦最前沿技术及一线的实践经验,助力企业的技术升级和改造、全面提升技术人员的综合实力。
11月18日,在上午 Keynote 上,首次到访中国的 Erlang 之父 Joe Armstrong 以《如何设计高可靠的分布式并行系统》为主题,切身分享了自身深厚的并行编程经验。更在下午的 Erlang 编程语言专题论坛上,以诙谐的语言分享了自己从“Young Me”到“Dr Me” 的多彩程序人生,以及 Erlang 的设计、开源、使用。并和以阿里云 RDS 技术专家黄大鹏(武藏)、环信首席架构师兼IM技术总监梁宇鹏、Yunba 云巴 CEO 张虎为代表的国内 Erlang 企业开发团队代表一起围绕着 Erlang 与编程语言设计实践以及并行编程进行了深度的交流与探讨。本次会议由火币网 CTO 程显峰主持。
Erlang 之父 Joe Armstrong:Erlang 和我的编程人生
Armstrong 先生的分享主要分为两部分,一部分包含他是如何思考和解决问题的,另一部分是 Erlang 语言的演进。不过,用 Armstrong 先生在现场的原话来说,则是这样的:
今天我总共有两个话题要与大家分享,第一个是我的头发是怎么白的,还有我和我的博士生们交流研究过的诸多问题。另外一个就是我们在编程的时候经历过哪些失误与失败,以及这些方面实实在在的例子。
- PPT 1: How I got my grey hairs
- PPT 2:Growing A Language
出生于1950年的 Armstrong 先生在他数十年的生命中所发生的种种事迹让我们津津乐道,而在他原本的人生设想里是1972年到75年攻读物理学博士,1985年成为教授,2000左右的时间获得诺贝尔奖。即使是总会有各种俗事纷扰,包括从“Smal stuff”到“Big stuff”在内的各式各样甚至于无关紧要的小事情,但这长期的计划却未变过。
然而,万万没想到,在1975年出现了“(Really)Run out of money”的窘境,而他也由此转向了计算机科学领域。从1986年希望有一个不错的容错处理系统创造了 Erlang,到爱立信暂时禁用 Erlang,继而 Erlang 开源,自己被 Fired、成为教授,认为“PPT 总是会摧毁人们的创造力”的 Armstrong 先生用手绘图里的哭和笑表情带过了个中曲折。
而在编程方面,Armstrong 先生分享到:
- 人们总认为产品开发流程是这样:Specify→Build→Test→Sell→$$$,然而实际上却是这样的:start→??????????→Product;
- 学习语言从一个问题开始,比如 Xcode:How can we confuse people? Erlang:How can we program telephony?
- 关于文档:Read the code;
- 关于性能:Wait 10 years for x1000 improvement,在未来二十年,所有与关键性能相关的软件将与硬件相融合。
阿里云 RDS 技术专家黄大鹏(武藏):Erlang 在云上数据链路的应用
PPT 下载:《 Erlang 在云上数据链路的应用 》
当今云上数据链路面临着数据库服务极其严苛的可用性要求、云上业务多样性带来的困难、超高并发带来的问题、运维实体从几十到几十万带来的问题、资源倾斜、低成本与高效率的矛盾等挑战。作为高性能、高可用的平台,Erlang提供了相关的基础设施,负责任务调度、内存管理、应用隔离、网络框架、高可用框架、代码热替换,由此武藏与其团队开始了 Erlang 在云上数据链路的应用实践探索。比如在高可用方面,当硬件、操作系统故障,内部逻辑 Bug 造成假死,可在检查到异常后,采取将 SLB 路由摘掉、流量导走的措施。而在热升级方面,武藏建议:
- 尽量有soft_purge,purge不成功不要强行替换;
- 数据与应用逻辑的兼容,写好code_change;
- 避免模块间循环依赖;
- 动态启动的进程可能不会执行code_change。
环信首席架构师兼 IM 技术总监梁宇鹏:Erlang 在大规模分布式系统中的问题与应对
首先,在架构实践方面,以会话存储层设计为例,Mnesia 能处理么?在没有持久存储的情况下能,但是节点宕机时会遇到全局锁,从而导致所有节点都会阻塞引发整体集群无法访问,以自带的分区功能减少每个节点数量。随后,梁宇鹏对 Erlang 在大规模分布式系统中的运用进行了具体分享,包括分布式设计、全连接网络、进程调度等方面,他表示:调度的本质是计算资源的分配,公平才能保障系统的实时性,开发者需谨慎使用进程组,比如 Erlang的 Kafka client——Ekaf会把 pg2 把所有的调用方绑在一起,导致在网络闪断或 Kafka Server 端出问题时,全集群的锁定,对此,可将进程信息改为本地存储,该方案已开源。
Yunba 云巴 CEO 张虎:实时系统 Erlang 实践
PPT 下载:实时系统 Erlang 实践
在面临支持亿级用户、线性扩容、高可用、软实时等方面的挑战时,有着异步 IO(Libev/epoll、Node.js)、轻量级进程(Erlang、Golang、Akka)等可选方案,而 Erlang 可公平调度、支持分布式、进程独立的 GC、OTP,基于此张虎具体分享了其团队在 Erlang 的实践,主要为:
- OTP Applications:每一个 模块封装一个 Application(Supervisor),业务逻辑由 Worker 实现,对外提供 RPC 接口;
- 接入负载均衡模块:实时监控,动态添加、移除接入点,每一个接入点用一个 Erlang 进程监控;
- 主逻辑模块:每个 Worker 每次处理一个业务请求;
- 大规模 publish:目标客户端数在200+,Worker 把 publish 分片,每个分片由一个 Erlang 进程处理;
- 离线消息性能问题:无线网络抖动频现,需保证离线消息送达率,一次 publish 有可能大量离线消息。
最后,张虎还就“为什么 Erlang‘难学’”这个问题分享了自己的经验,Erlang并不难学,首先,学习者对于函数式语言需要有几天的适应期,但还是有很多人都在 工具 链处放弃了。而云巴团队之所以会选择 Erlang 是因为其所带来的便利性,但工具链的确是阻碍 Erlang 普及的一大因素。
社区交流:关于 Erlang 你最关心的问题
最后,在火币网CTO程显峰的主持下,Erlang设计者Joe Armstrong、阿里云RDS技术专家黄大鹏(武藏)、环信首席架构师兼IM技术总监梁宇鹏、Yunba云巴CEO张虎一起围绕着 Erlang 与编程语言设计实践以及并行编程进行了深度的交流与探讨。
直至今日,Armstrong 先生依然会写代码,也在现场分享了他的一天,从起床、看新闻,弹1小时左右的钢琴这些技术之外的事情,到突然之间迸发的灵感并将之付诸实践。对于编程语言,Armstrong 先生认为“编程语言该生而简单,语言需要保持简约性,必须简单好用,才能方便开发者的学习”。
更多精彩内容,请关注图文直播专题: SDCC 2016中国软件开发者大会 ,微博:@CSDN研发频道,订阅CSDN官方微信公众号(ID:CSDNnews),即时获取大会动态。
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
Hadoop: The Definitive Guide
Tom White / O'Reilly Media, Inc. / 2009 / 44.99
Apache Hadoop is ideal for organizations with a growing need to store and process massive application datasets. Hadoop: The Definitive Guide is a comprehensive resource for using Hadoop to build relia......一起来看看 《Hadoop: The Definitive Guide》 这本书的介绍吧!