IT资讯 Google 开源 SCENIC,用于计算机视觉研究的 JAX 库

denny · 2021-11-05 10:30:06 · 热度: 45

计算机视觉是一个跨学科的科学领域,涉及到计算机如何从数字图像或视频中获得高水平的理解。从工程的角度来看,它试图理解人类视觉系统能够完成的任务并使之自动化。

计算机视觉领域如今正迅速发展并具有巨大的潜力,计算机视觉被广泛运用于医学、机器视觉、军事、自动驾驶和触觉反馈等领域,能够凭借一己之力解决这些领域的难题。在过去的几年里,像 ViTs 这样强大的架构也使计算机视觉的性能得到了大幅的提升。

Google 开源 SCENIC,用于计算机视觉研究的 JAX 库

 

近日来自 Google Brain 的研究人员推出了名为 SCENIC 的开源 JAX 库,SCENIC 通过为建模需求提供一个统一的、多合一的代码库来满足计算机视觉研究中的需求。目前,它支持 ViT、DETR 和 MLP Mixer 等前沿的视觉模型的实现,并且在未来还会支持更多开源的前沿项目。

SCENIC 是用 JAX 编写的,JAX 是一种由 Google 开发的机器学习框架,专为高性能数值计算,尤其是机器学习研究而设计。它的数值函数 API 是基于 NumPy 的,NumPy 是科学计算中使用的函数集合。Python 和 NumPy 都被广泛使用和熟悉,这使得 JAX 简单、灵活且易于采用。除了 NumPy API 之外,JAX 还包括一个可扩展系统,有助于支持机器学习研究。

Google 开源 SCENIC,用于计算机视觉研究的 JAX 库

SCENIC 的目标是使大规模模型的原型设计变得更容易。它的设计主张不增加复杂性或增加抽象性,而是保持代码能够容易理解和容易扩展。只有当功能被证明对多个模型和工作有普遍帮助时,才会被上移到库级。SCENIC 的代码和相关资料已在 GitHub 上开源

猜你喜欢:
暂无回复。
需要 登录 后方可回复, 如果你还没有账号请点击这里 注册