贝壳找房如何将 VR/AR 与户型图自动生成算法结合？| 视频

提到贝壳找房，不少人会立刻想到一个词“VR 看房”，这是贝壳找房于 2018 年推出的核心功能。为增加用户对房屋的理解，贝壳找房基于自研设备采集到房屋的二维和三维信息，对房源进行深度解读；同时使用人工智能技术，全自动生成房屋三维模型和户型图。

在本届 QCon 2019 全球软件开发大会 上，InfoQ 记者有幸采访到了贝壳如视算法架构团队潘慈辉，由他亲自讲解 VR/AR 设备与算法基本原理结合的难点以及贝壳如视的自动生成户型图技术。

以下是视频采访的全部内容，为方便读者查看，视频下方也附上了文字内容。

InfoQ：非常感谢您参加 QCon 2019 的视频采访，首先请您做一下简单的自我介绍，包括您所在的贝壳如视团队的基本情况。

潘慈辉：我叫潘慈辉，现在贝壳如视的算法架构组，整个如视团队大概有 130 多人，我之前在法国萨克雷大学攻读计算机博士，之后在法国国立信息研究所和伯克利做过科研。加入贝壳之前，曾先后任职于大疆和优必选。

InfoQ：您可以简单介绍一下贝壳找房的户型图自动生成功能主要用到了哪些人工智能技术？取得了什么样的效果？

潘慈辉：贝壳找房的户型图自动生成算法主要用到深度学习网络、GAN 网络和一些优化框架，在整个户型图自动生成过程也尝试了很多最新、最前沿的算法。目前已经可以在很大程度上缓解了之前摄影师手工标注的痛苦，已经做到很大的效率提升。

在算法层面，我们主要是跟海外高校合作，比如 Furukawa 教授在 2018 年和 2019 年的一些论文成果，都在户型图算法里面得到应用和体现。

InfoQ：当初，贝壳找房基于什么样的背景决定研发该技术？

潘慈辉：相比较而言，人工智能算法确实比传统的，基于人手工列的规则和算法效果更好。此外，贝壳找房积累了大量房源和手工标注生成的户型图数据。在此基础上，如视团队决定尝试人工智能的最新算法，整个研发团队当时也具备这样的研发能力。

InfoQ：整个研发过程主要经历了哪几个阶段？分别遇到了哪些痛点又是如何解决的？

潘慈辉：具体来说，第一阶段主要是数据采集和标注，这是贝壳找房的优势所在；第二阶段是算法研发部分，该阶段有 Furukawa 教授作为坚强后盾；第三阶段主要是与具体业务场景和案例结合，由算法和研发团队不断更新迭代，进而达到更好的效果。

InfoQ：在这个过程中，贝壳找房运用了哪些开源技术？

潘慈辉：户型图这边的第一个版本是 Furukawa 教授的研究成果，教授本人目前已经将该技术成果开源，但在此之后，如视团队已经基于该成果进行了研发改进，这可以算做是一个开源技术的应用。

InfoQ：据了解在这个过程中，VR/AR 设备也有加入。您可以简单介绍一下，这些设备是如何与算法的基本原理相结合的呢？

潘慈辉：VR/AR 主要是运用在数据采集及算法层面，用于获取二维和三维信息，使该算法在生成户型图时能够同时参考 VR/AR 设备采集的二维和三维数据，使整个结果更加准确。

InfoQ：在这个过程当中， VR/AR 设备与人工智能算法相结合的有哪些难点呢？

潘慈辉：在我看来，如果人工智能算法想要在 VR/AR 方面做一些应用或者提效，数据采集和标的是一个很重要的问题，并需要很好的硬件来做准备工作。人工智能需要大量训练数据和标注数据，而 VR/AR 应用的视觉效果非常主观，这会导致人工智能在 AR/VR 方面的应用需要将这些主观的视觉效果有效的转化为客观的可量化标准。

InfoQ：据我所知，业内也有一些公司在研发户型图自动生成算法。您认为，贝壳找房在这之中的优势和差异性是如何体现的？

潘慈辉：一方面，贝壳找房有大概一百多万套户型以及摄影师手动标注的户型图数据，这是做算法，特别是人工智能算法必不可少的。此外，贝壳找房的研发力量除了贝壳如视的研发人员，也请到了 Furukawa 教授作为技术顾问，其在户型图生成领域的研究成果处于国际领先水平。

InfoQ：这些技术对用户体验方面主要有哪些提升？

潘慈辉：在用户体验方面，户型图上的体验可能差异不大，但对于 VR 看房，或者三维模型、AI 讲房等从无到有的功能建设，目前的效果比较好，模型精细程度以及全景看房的分辨率，或者精美程度也有一定提升。

InfoQ：接下来在户型图自动生成方面，贝壳找房的重点改进方向是什么？

潘慈辉：在改进层面，贝壳如视也在做一些研发和探索，基于 Furukawa 教授最新的一篇没有发表的论文，进行相应的尝试和改进，这是一套自上而下的方法，相比先前的研究结果，在准确度和处理的房屋类型上会有较大提升。就整个行业而言，户型图生成方面的问题已经基本得到解决，后续可能会对一些比较奇特的户型进行较好适配。

InfoQ：贝壳如视团队在人工智能技术应用方面的重点关注方向会是什么呢？

潘慈辉：未来一段时间，贝壳如视将重点关注三维的 VR 空间理解和重构。具体来说，首先是全景图的图像质量希望可以做得更加优美，整个全景图与全景点之间有比较好且无感的连接。其次，在房屋三维模型上，主要运用视觉以及深度学习里面的识别分割检测和定位等技术，将这些应用到三维重建户型图，甚至模型生成中，并将精度、相关智能性及鲁棒性得到进一步提升。最后，在硬件和算法的紧密程度上进行深入探讨，可能会更新现有硬件设备。