内容简介:作为与零售、金融并列的“商业基础设施”,阿里巴巴的菜鸟网络成立的四年间里已经建构了一张数据化、智能化和社会化的物流网络干络,以支撑全社会的商品配送需求。2017年,阿里称未来五年继续加持1000亿投入,加大布局新零售与物流全球化。再1000亿未来的背后,有哪些技术实践能推助智慧物流发展,又值得我们关注呢?在近日举办的菜鸟网络2018技术论坛深圳站上,围绕智慧物流背后的成长和关键技术,来自菜鸟网络的四名技术资深专家与两百余位开发者们深度分享了菜鸟网络物流智能化、自动化、全球化的技术实践与架构演进。由于完整篇
作为与零售、金融并列的“商业基础设施”,阿里巴巴的菜鸟网络成立的四年间里已经建构了一张数据化、智能化和社会化的物流网络干络,以支撑全社会的商品配送需求。2017年,阿里称未来五年继续加持1000亿投入,加大布局新零售与物流全球化。再1000亿未来的背后,有哪些技术实践能推助智慧物流发展,又值得我们关注呢?
在近日举办的菜鸟网络2018技术论坛深圳站上,围绕智慧物流背后的成长和关键技术,来自菜鸟网络的四名技术资深专家与两百余位开发者们深度分享了菜鸟网络物流智能化、自动化、全球化的技术实践与架构演进。由于完整篇幅有限,仅以介绍关键技术内容为主。
菜鸟智慧物流面临了哪些技术挑战与机遇
菜鸟网络国际物流部技术专家唐韧从全球物流格局与机遇、菜鸟网络业务及技术全景、菜鸟所面临的业务挑战以及用哪些技术去解决问题、物流未来的技术前瞻等几个维度进行解析。
全球物流格局与机遇
中国和美国是全球两大经济体,但国家的需求密度分布、人口分布差异导致了物流格局的区别。实际上,中国物流大而不强,其物流成本占到整个GDP的15%;符合现代物流要求仓储标准只占12%;由于同质化竞争非常严重,导致包裹单价的逐年下降;全国2000多万台货车的空驶率加重了环境的污染;员工的留存率低,导致快递服务质量参差不齐;物流企业没有数据互联,信息孤岛。
未来全球化的趋势不可阻挡,阿里巴巴铺设了五个全球战略,全球买、全球游、全球卖、全球付以及最核心的全球运。 马云曾提出的EWTP概念——即全球电子贸易平台,在今年的WCO大会上对其进行了升级,改为EWTTP。
菜鸟网络目前覆盖了全球224个国家,从2013年初创到至今的五年发展,双十一订单从1.67亿突破了2017年8.12亿的跨越,且实现了电子订单的在线化,快递当日达和次日达,达到了全球通关一体化的平台。
菜鸟网络有五大业务板块,一是打造端对端一体化体验的快递网络,二是实现全局供应链的优化仓配网络,三是实现全球买、全球卖的跨境网络,四是实现消费者体验的末端网络,五是方便农村的巨大海量消费的农村网络。
业务挑战与背后技术
菜鸟物流架构分为三层,底层是实现全球物流最核心的物流基础设施;中间层是基于基础设施搭建的智能仓配网络和配送网络;最顶层是订单全局优化引擎来实现仓配协同。
用户的购买选择是基于菜鸟网络整合的资源、线路以及商品背后的物流属性相连接,计算出商品服务的物流表达,从而透射到电商的网站上。为了让大家最直观的感触整个链路场景,下图是一个包裹出库的最优决策过程。
消费者选择商品下单后会进入菜鸟物流大脑,首先是决策层——基于商品的大小、重量、离消费者的路径调动智能路由,它会获取相关的履行路由的路径和线路。拿到线路后可能有很多的侯选集;然后接着是对旅行成本的决策,即基于时效、成本的综合决策来选择最终的调度;最后通过所谓的link平台来调度物流资源的服务商,对整个包裹进行旅行。最终,再把所有的旅行完之后的数据沉淀下来,输入供应链管理的平台,来实现对商家需求能力的计划以及供给计划的优化,从而让商家能够更好的进行销量的预测,让它的仓储选择、品类规划能够做更好的优化,比如把商品推送到离消费者最近的仓。
菜鸟网络在2015年推出了电子面单,面单的左侧连接着物流合作伙伴,右侧连接着商家ERP系统,提供了统一的标准将包裹实现了在线。目前物流的核心环节叫仓配。在仓配供应链的智能规划平台里,实现了智能选仓、智能分仓、智能预测,从而给商家提供完全无缝连接的智能补货能力,以及仓储内部的智能入库、智能上架,实现分拣和调拨的有序。
全球化的发展越来越快,国内讲究深度,即精细化的物流提升,而国际讲究广度它包括三个平台,全球仓储平台、全球配送平台、全球通关平台。菜鸟技术平台架构分为四大域,最底层是三方域;上一层是平台域,包括电商平台、统一物流集成平台、数据平台;再往上是业务云,即菜鸟整个智慧物流的形成核心;最上层是客户域,包括消费者、商家、物流商。应用视觉下的基础架构体系从下到上是整个运用的周期,底层是基于物流云和阿里塔内高密度的混合云,实现随用随弹;中间层是通过调度决策、成本分析实现能力和计算能力需求的弹性;最上层是应用、托管、编译、运行等环境。
未来的指挥物流前瞻
未来5年是智慧物流加速期,将致力于实现可扩展的自动化,实现物流平台的连接,人工智能和大数据算法是物流智能化的基础, 最终未来物流的大前景是会实现通过系统链路以及工业级IOT的连接,实现整体的柔性自动化。
物流无人技术应用与探讨
菜鸟网络资深技术专家哥德在他的演讲中为大家重点介绍了菜鸟的一款智能配送机器人——菜鸟小G背后的技术实现和创新,以及菜鸟ET实验室对物流无人技术的展望。
如果把包裹定义为物理空间上任意一个物理的移动,那么包裹是无处不在。按照马云的预测,估计在2025年其包裹量一天将达到10亿件。面对包裹配送量激增的挑战,菜鸟以求以末端配送机器人去应对相应的配送人员不足、人力耗费等情况。2017年,菜鸟发布了两款菜鸟小G,第一个是菜鸟小G2代,将其定义为园区范围内去进行配送;第二个是小G Plus,将其定义为开放街道环境中做配送,强调性能、展货量和速度。
菜鸟小G系统架构
菜鸟小G的系统架构包括:传感器,即眼睛、耳朵;计算单位,即大脑;执行机构,即手脚。
所有的传感器都有适合的场景和不适合的场景,对于特殊的材质将选用超声额外的传感器进行感知;所有的传感器的数据会输入计算模块,其计算模块有:一是高精度地图,对静态场景的识别和处理;二是定位,处理结构化场景的识别。而识别部分更关心动态障碍物的检测、跟踪、预测,包括分割等等。
关于3D Lidar slam,Slam算法非常注重回环优化的问题,但Slam算法永远不可能处理非常庞大的场景,需要借助地图拼接的技术,小块构建不同Slam的3D点云,进行无缝拼接。关于3D Visual Slam,它是基于摄像机做的Slam室内项目,其视觉对整个特征、纹理、环境有很高的要求。Slam技术的难点是需要同时做定位和构建地图,即联合优化问题。
机器人运行过程中需要实时监测可以运行的地点,感知交通标志线、倒影、远处的光斑、看不到里面的纹理等,并进行预测。
菜鸟小G现状与物流无人技术展望
自动化方面包括结构化环境和非结构化环境,菜鸟小G处理非结构化环境,对每一个单个机器人来说,它比结构化环境要难,因为相比结构化环境中,其碰到的技术挑战是不同的。
关于菜鸟小G跑在街上被人抱走的疑问。首先,机器人后台有非常完备的监控措施,其所有传感器都有完备的监控;其次,机器人在地图上有实时跟踪的定位。最后,视频监控。而关于机器人或者无人驾驶有三个要素:一是Scalability,这取决于规模大小,不同的规模有不一样的概念;二是Robustness;三是Adaptive,自适应性。在中小规模、静态化的、相对单一的环境里,问题已经解决得相对比较好;但超大规模、动态的、异构化的环境里面问题的解决,其挑战非常巨大。
机器人的技术比无人驾驶更难。无人驾驶在结构化环境跑,其要解决的问题仅仅是相对决策和选择有限,此外,很少会面临人为阻拦的问题,但末端机器人却不一定。相对于街道的配送服务,学校的配送更加困难。首先,复杂在于人车不分流,没有机动车道和非机动车道的概念;第二,十字路口没有红绿灯,没有红灯停、绿灯行的概念;第三,不需要考虑逆行的事情。而在街道中,会自行检测红绿灯信号灯情况,进行选择是否穿过马路,进行提供最基础的配送服务。
未来除了对末端机器人做商业化的探索和末端场景之外,菜鸟还会对卡车高速公路配送技术进行拓展性研究。而对终局的判断,菜鸟ET实验室预测,未来10亿级包裹的配送中可能有超过50%以上的包裹将由智能配送机器人完成。
物流自动化创新应用和技术实践
接下来的演讲中,菜鸟网络资深专家元享就为大家分享了菜鸟在物流自动化方面的创新研究和应用,以及实现物流自动化的技术体系、技术难点和相对应的解决方案。
人工智能技术给物流带来了新的自动化机会,同时,物流的快速发展也反过来给人工智能技术带来了新的蓝海。在新的物流、电商时代,也出现了该行业尚未出现过的特点,一是促销多、订单量起伏大;二是发展迅速,扩展性要求高;三是定制化需求多;四是网络结构变化快。所以新的物流智能时代,柔性自动化是关键。
柔性自动化特点有:一是拓展性强,鲁棒性强;二是模块化设计,易部署和搬迁;三是便于根据业务的变化迭代作业流程;四,最重要的技术是多智能体之间的感知和协同,因为时效性;五是在全链路大部分自动化的情况下,作业的可预测性加强。
柔性自动化的存在多项关键技术:首先它属于软硬结合的技术,需要端到端的设计和优化;其次,涉及IoT和边缘计算技术,因为每个机器人有自己的传感器,便于对数据做收集、分析及预测;然后,机器人技术有三个重要的方面,感知、计划、实施;最后,还会涉及大规模多智能体规划和调度技术进行优化。
全链路柔性自动化中从上游到下游的总体流程自动化,上下游的数据打通和协同是关键。自动化系统架构分成X层,底层是仓库里的各种设备,包括立体库、输送线、AGV、分拣机等等;再上层是统一的设备管理系统,管理整个设备要做的任务和要做好的调度;更上层是自动化的WAS系统,管理指令、组装成支持业务。菜鸟网络自动化系统架构如下图所示。
菜鸟自动化创新技术实践
首先是机械臂。机械臂的主要作用是运用于抓取包裹,包括码垛、拆垛和拣选。它最核心内容是感知、规划和执行。感知主要是3D视觉,基于3D视觉,利用鲁棒算法将包裹分开,对包裹进行图象分割,找到最佳抓取点。
二是拣选AGV。它主要运用场景是拆领订单的拣选,它有两个模式,货到人模式与车到人模式。货到人拣选AGV主要进行资源分配优化问题,要最小化拣选站的等待时间。 资源分配问题的求解方法有两种:中央规划和分布式竞价。中央规划一般是用方程和模型来描述整个系统,找到最优的资源分配的描述,即MIP。分布式竞价是把整个分配资源过程中每个参与者当成一个Agent,通过竞价的方式去抢这个任务。对于非常复杂的环境且上下游非常紧密的情况下,分布式竞价会更好。车到人拣选AGV适合销量较高的商品,算法目标一般是人效率的最大化,订单完成时间的最短化以及AGV效率的最高化。
如上图所示,在多智能体路径规划问题中,每个机器人规划的路径要互不冲突,进行全局路径规划。在传统的启发式算法里,阿尔法狗的首席工程师发明的Cooperative A*是随机的让AGV有顺序,互相之间可以躲避。或者是WHCA算法,让每一个机器人规划自己路径的时候只看前W步。还包括全局搜索算法,比如A*算法是试图让每一个机器人的行动组合都做一个规划。在非匀速网络中,在真实物理环境下,机器人的移动无法用匀速运动近似,它面临着两个挑战,一是经过同一个点的速度不相同,经过同一条边所需时间不相同;二是时间表达从离散时间片变为连续时间。
最后,元享还为大家总结了柔性自动化技术所面临的多项挑战:一是IoT的技术和端计算,需要高效的技术采集和处理的系统;二是机器视觉,包裹识别和跟踪、抓取点的识别、物体的分割;三是单个机器人的运动规划要可控;四是大规模的资源分配问题;五是多智能体调度、路径规划问题以及环境、流程设计、交通控制、避障相关的技术;在新的物流时代,柔性自动化一定是未来重要的发展方向,新的人工智能技术肯定能让物流行业产生一个新的变革。
全球物流一体化平台下的技术架构与实践
菜鸟国际物流技术部高级技术专家虚怀分享的是菜鸟全球物流一体化平台下的技术架构与实践。
在全球化、全球买、全球卖和新零售的业务战略下,各个阶段的全球物流业务快速发展,菜鸟网络技术架构正面临着这四个挑战与困难:一是系统架构如何灵活的支持整个业务的快速发展;二是如何组织全球服务商的物流能力打造可灵活复用物流网络;三是国际化架构和部署的方案;四是菜鸟各物流服务商网络如何更高效互联互通。
因此,从2013年到现在,菜鸟技术架构的经历了三个不同阶段的演进:1.0阶段是烟囱式垂直简单协同模式;2.0阶段是平台的多段精细化协同模式;3.0是未来国际化、全球化、区域化的协同模式。
1.0阶段目标或者业务需求很简单,通过C1、C2两个合作伙伴的运输方式将包裹从A点卖家送至B点买家。但这模式存在三个问题,重复建设、对外接口不统一、运维成本高。
2 .0阶段即平台化多段精细化协同模式。 这个阶段的技术的命题是,将不同业务包裹,选取C(x)、C(y)、C(z),不同的路径从A点送到B,并达到方案最优,因此需要搭建整个平台化的架构方案来支持灵活的协同调度的引擎,并达到方案最优。
如上图所示,各核心平台需关注的重点包括:1.路由平台。路由平台的职责是通过智能算法优选来识别网络路径的最优解;2.履行平台。在计划计算出来之后,履行平台进行调度;3.可视化营运管理平台。通过核心领域模型的抽象,将它抽象到系统里,过可视化的营运平台连接(串联),提供路由平台和履行平台使用。全球履约监控系统的职责是让整个包裹从端到端时效更高,更稳定,成本更低,它必须细化到每笔订单的状态和履约的情况,并且做到实时报警,并进行回馈机制。为进行整体的平台化,需考虑:一是按照问题域拆分整个应用,不同的域使用不同的架构和系统解决问题;二是对问题进行建模;三是统一对外交互标准;四是建设好周边的配套体系。
关于服务化和平台化。服务化按域将一个应用拆成多个应用,解决的是功能耦合的问题。例如,接单域,表达域,结算域等;平台化按业务将一个应用的代码拆成多块,解决的是业务耦合的问题。例如,速卖通业务,天猫国际业务,淘海外业务等;一般情况下,先实施服务化,再实施平台化。
平台与业务解耦的技术,其解耦目标是平台不依赖业务代码,但要调用业务代码;核心思想是稳定的中介,平台和业务通过第三方中介进行交互。第三方中介在业务里只需要实现扩展点、功能点即可。
3.0全球区域化协同的模式,其架构目标是A和B两种业务相互复用对方的物流网络和能力。而采用技术开启新市场之时需要考虑代码的复用还是代码的再次扩展开发。市场国际化需从这几方面考虑问题: 1、区域化的业务特点,因地制宜,注重解决物流的问题;2、应用依赖的解耦,如何进行部署;3、国际化基础套件,不同的组件同时具备国际化的能力;4、海外部署架构方案的升级,其包括应用部署、中间件部署,以及基础支撑。
虚怀在现场以Lazada的国际化部署为案例讲解了以下方面的考虑:1、业务的拓展分布; 2、网络时延的考虑;3、应用部署升级。为提升时延、保证吞吐量而构建的全球数据集成网络有两个思路:1、要去中心化。2、就近接入。全球数据集成网络解决方案有三层,第一层布站,搭建全球的网络,第二层基于站点构建数据集成云产品,第三层基于混合云架构,搭建全球站点网络,接入对应端。
菜鸟混合云架构图主要的思想就是通过多国化,打好基础架构,对应用端和运维体系,而数据能够通过专线进行跨机房同步使用。
菜鸟技术未来的挑战
菜鸟技术未来要面临复杂、多样的场景,因此需要解决全球组网的协同,包括国际化本对本的业务,需要有效进行组织,进行抽象建模、设计;同时还要面临全局的智慧大脑,以达到最优;此外,菜鸟还计划对海量数据进行处理以挖掘和分析数据,为业务赋能,以及在终端系统建设的深度上,结合海关系统进行整个调度和压测。简单来说,要有广度,又有深度,才能同时把菜鸟的快递、仓配、跨境、末端、农村这复杂的业务场景解决好,实现全球24小时、全球72小时必达的目标。
2018年8月24日,亿欧将在北京举办“ 科技落地 物链未来——GIIS 2018物流产业创新峰会 ”,就传统物流企业、制造企业、物流科技应用场景及实操、物流科技新畅想等议题,携行业人士一同探讨新机遇下物流科技如何更好落地及发展走向。
报名链接: https://www.iyiou.com/post/ad/id/638
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:- ZooKeeper 源码和实践揭秘
- ZooKeeper 源码和实践揭秘
- 滴滴 3000+ Kylin Cube 背后的实践经验揭秘
- 4 年 Kylin 老玩家,汽车之家最佳实践大揭秘
- 视频演讲: Tencent Hub技术架构与DevOps落地实践揭秘
- 微博推荐系统架构揭秘:基于机器学习的个性化Push应用实践
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
数据科学家养成手册
高扬 / 电子工业出版社 / 2017-5 / 79
作为认知科学的延伸,数据科学一方面应该越来越引起广大大数据工作者的重视,另一方面也要撩开自己的神秘面纱,以最为亲民的姿态和每位大数据工作者成为亲密无间的战友,为用科学的思维方式进行工作做好理论准备。《数据科学家养成手册》从众多先贤及科学家的轶事讲起,以逐步归纳和递进的脉络总结出科学及数据科学所应关注的要点,然后在生产的各个环节中对这些要点逐一进行讨论与落实,从更高、更广的视角回看科学及数据科学在各......一起来看看 《数据科学家养成手册》 这本书的介绍吧!