「 知识小集 」2019 · 第 1 期

2019 年，我们尝试一下新的方式来发我们文章。每周我们会围绕一个主题，挑选 2 ~ 3 篇相关的文章来介绍这个主题。文章的内容会有入门、进阶等不同深度。当然，每周的文章也会有主题之外的内容，要不会显得太单调了:ghost:。如果您有想了解的主题或不错的文章，可以在公众号给我们留言。我们会收集信息，以备后续整理。:pray:

本周主题： Core ML

近几年来，机器学习发展的如火如荼，各大公司都开始在这方面发力。Apple 当然也不想落后。随着硬件性能的提升，Apple 也适时推出了适合于移动平台的机器学习框架 Core ML，让我们能在手机上更方便地体验机器学习这项技术。

本周内容

本期公众号的主要内容有：

• Core ML & Vision 入门教程
• Core ML and Vision Framework on iOS 11
• WWDC 2018：更快更强的 Core ML 2.0
• iOS 任务调度器：为 CPU 和内存减负

这周小集的内容有：

• 在 UILabel 中渲染 HTML
• iOS App 异常捕获相互覆盖问题
• Aspects hook 类方法的正确姿势
• Debug Memory Graph 检查内存异常

更多内容可以查看我们的小程序，或者 Github

文章

作者对 Core ML 的初步观感是定位为一个易用的 AI 库，把 AI 的使用做到了非常简便。通过首先，Core ML 需要使用扩展名为 .mimodel 的文件作为 AI 模型。 这个模型相当于大多数 AI 所建立的模型一样，可以是神经网络，线性模型等等。对于纯粹的使用者来说这些细节可以不用深究。

SwiftGG 团队的译文。

Core ML 使得开发者能够将各种各样的机器学习模型集成到应用程序中。它除了支持超过 30 层类型的广泛深度学习，还支持如树集成、SVMs 和广义线性模型等标准模型。Core ML 建立在像 Metal 和 Accelerate 这样的底层技术之上，因此它能够无缝地充分利用 CPU 和 GPU 以实现性能最大化。机器学习模型可直接运行在设备上，以至于数据被分析时不需要脱离设备。

本文的示例程序很简单，让用户拍摄或者从相册中选择一张照片，然后机器学习算法将会尝试预测照片中的物体。虽然预测结果可能并不完美，但你将借此了解到如何将 Core ML 应用到应用程序上。

在Apple的2018年全球开发者大会上，Cupertino 公司宣布推出 Core ML 2。而 Google 也在同一年的 I/O 2018 推出了适用于 iOS 和 Android 两个平台的 ML Kit。本文分别简单介绍了两个框架，并做了一个简单的评价。两者各有优点和短板，最大的区别可能是各自平台对两者的支持。Core ML 自然不能在 Android 上使用，而 Google 则提供了大量预先构建的机器学习模型和API供您选择，包括用于上下文消息回复和条形码扫描的 API。选择使用哪个框架，更多的是取决的开发者。

这篇文章总结了 Core ML 2.0 中的所有新变化。Core ML 2.0旨在使模型更小，更快，更可定制。我们看到了如何通过权重量化来减小 Core ML 模型的大小，通过新的 Batch API 提高模型的性能，以及我们可能需要为模型编写自定义层的示例。

开源代码

CoreML-in-ARKit

这个小应用是用于检测对象并通过 AR 在物体上方显示 3D 标签来标识物体名称。物体的识别则是使用 Core ML 的 Vision 来实现，可以体验一下。

CoreMLHelpers

这个库封装了 Core ML 的一些功能，提供一些类型和函数，让我们可以更方便地使用 Core ML。

CoreMLHelpers 提供了以下功能：

• 将图像转换为CVPixelBuffer对象并返回
• MLMultiArray到图像转换
• 一些简便的功能，如获得前 5 个预测、argmax，等等
• 对边界框的非最大抑制
• 一个更加友好的 MLMultiArray

这是使用 Apple 的 Core ML 实现的针对 MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications 一文提出的 MobileNet 神经网络框架。同时包含两个 Demo 来演示框架的使用。

视频

Apple 在 WWDC 2017 推出了 Core ML，并且在 WWDC 2018 推出了升级版本 Core ML。在这两次 WWDC 上，Apple 都花了不少时间来推广这个框架，主要的视频有：

WWDC 2017

• Introducing Core ML
• Core ML in depth
• Vision Framework: Building on Core ML

WWDC 2018

• What’s New in Core ML, Part 1
• What’s New in Core ML, Part 2
• Vision with Core ML
• Introducing Natural Language Framework
• A Guide to Turi Create

资源

Github 上的 Awesome 系列。

自 iOS 11 以来，Apple 发布了Core ML框架，以帮助开发人员将机器学习模型集成到应用程序中。在这个 repo 中，收录了大量的 Core ML 格式的机器学习模型，以 以帮助 iOS、macOS、tvOS 和 watchOS 开发人员尝试机器学习技术。同时还有一个相关的网站 CoreML.Store，以可视化的形式来展示这些模型。（不好意思，我没有打开:joy:）

我们以Core ML格式提供了最大的机器学习模型集合，以帮助iOS，macOS，tvOS和watchOS开发人员尝试机器学习技术。 我们已经创建了一个具有更好的CoreML.Store模型可视化的站点，并且正在开发更多高级功能。

tfcoreml

将 TensorFlow (TF) 模型转换为 CoreML 模型的 python 工具。

职位

最近各种裁员新闻，让很多小伙伴成了受害者。我们希望能做一些力所能及的事。所以在 老司机周报 团队的组织下，和 老司机周报、SwiftGG 团队一起，收集整理一些招聘内推信息，分享给大家，希望对失业的小伙伴有所帮助。

• 北京-百度网盘 持续招 iOS 开发 ：社招、应届、实习均可。项目在技术上很有挑战性，团队技术氛围极好。诚心希望各路大神前来切磋，也欢迎计算机基础好的小白来共同学习。简历发邮箱xuyafei01@baidu.com，暂不考虑的也欢迎微博私信@小非86 聊聊~
• 北京-蚂蚁金服 招iOS/安卓/前端开发 ：负责支付宝会员及帐号业务线，地点北京国贸，金台夕照地铁站出口 100 米。有兴趣的同学欢迎将简历发送到：weijing.wdf@alibaba-inc.com / weijing.wdf@antfin.com （同一个邮箱）或者微博私信@折腾范儿_味精 了解情况。
• 上海即刻：如果你认识聪明勤奋、胆大心细、有追求的工程师，那就来加入我们吧！任何推荐或简历可直接发给 Jason（即刻 iOS leader）:jasy@okjike.com，或微博@JasonYuh。
• 杭州奇志科技招聘 iOS、前端 ：奇志科技自 2016 年起通过行业无人机协同工作流 Mesh 进入物联网与人工智能领域， 并成功为房地产、建筑、测绘、电力巡检等行业提供无人机解决方案。感兴趣可以微博上私信@没故事的卓同学 了解。
• 深圳头条研发中心诚招各路 iOS 好手一起做取悦自己的项目 ：如想了解更多深圳头条的信息，可以加小T微信：tomtan，切磋技术和聊情怀都可以喔~~~~
• 北京字节跳动 iOS 团队持续招人中 ：简历可以发送到邮箱raozhizhen@gmail.com，或者添加我（@AidenRao）的微信 jingmu1994 了解更多公司及岗位信息。
• 北京百度教育事业部招 iOS 开发 ：百度教育事业部，地点：北京西二旗。部门下面有百度阅读，百度文库，百度爱听等 App 产品。团队技术氛围浓厚，有兴趣的同学欢迎将简历发送到我的邮箱：lizelei@baidu.com。