用AI设计微波集成电路，清华大学等提出深度强化学习方法RINN

近日，创天科技、清华大学、杭州电子科技大学、西安电子科技大学发布了一篇论文，提出一种新型神经网络架构 Relational Induction Neural Network（RINN），可以自行设计微波集成电路。实验表明，该神经网络设计微波集成电路的水平堪比专业工程师。目前，这篇论文正在接受《Nature Communications》的评审。

微波集成电路（MWIC）是人类智慧、经验和直觉碰撞的产物。工程师使用计算机辅助设计 工具 来分析和解决 MWIC 问题，然后试图寻找最佳解决方案。这一过程非常枯燥、无聊且低效。受人类生理结构限制，工程师几乎无法找到大规模 MWIC 的最优解决方案。如何使工程师突破这些瓶颈非常重要。

当前，所有研究人员都是人工提取 MWIC参数，然后用机器学习技术优化这些参数。然而，这一方法有两大严重缺陷：首先，它耗时耗力，并且提取的参数可能不够准确，无法表示电路的一些重要特征；其次，它会极大限制智能体的想象力和探索空间，导致其通常无法超越人类水平。

近年来，人工智能在数据挖掘、计算机视觉、自然语言处理和其他众多应用领域取得了很大成功。作为 AI 子领域之一，基于深度神经网络的 强化学习 逐渐从纯学术研究转入应用，例如经典的视频游戏、棋牌游戏、神经机器翻译和药物设计。但是，MWIC 设计如何结合 AI 还是一个空白领域。由于 MWIC 设计的复杂结构和巨大解空间，传统强化学习算法需要大量的数据来学习设计决策流程，因此难以及时快速收敛。因此，本论文作者创造了 RINN（关系归纳神经网络，Relational Induction Neural Network）架构，它能够高效学习 MWIC 数据规则，达到设计任意复杂度 MWIC 的目的。具体来说，MWIC 形状被定义为一系列参数化网格（parameterized mesh），当每个网格改变时，模拟结果通过 ADS 或 Ansys EM 这样的标准 CAE 包来计算。然后 RINN聚类算法被用于这些模拟结果变化的聚类。

本文的主要贡献如下：首先，据研究者所知，这是首次尝试使用深度强化学习方法（不依赖人类经验）训练智能体来探索 MWIC 设计，填补了这方面的空白。其次，聚类算法被用来减少 MWIC 设计的解空间，这样做可以带来更强大的无监督学习能力，并确保 RINN 架构拥有更好的稳定性和更快的收敛速度。第三，针对微波传输线电路、滤波器电路、天线电路自动设计的不同方面进行的几项综合研究已成功说明：1）如何训练 RINN 来作为 MWIC 设计智能体；2）如何集成 MWIC 设计和机器学习。该方法还可用于训练其它领域的智能体（如力学），为未来的自动化设计指明了方向。

论文：Microwave Integrated Circuits Design with Relational Induction Neural Network

论文链接：https://arxiv.org/pdf/1901.02069.pdf

摘要：与围棋相比，微波集成电路（MWIC）的解空间更大，结构也更为复杂，因此实现其自动设计一直以来都被视为人工智能领域的一大难题。本文作者设计了一种新的人工智能体，并将其命名为「关系归纳神经网络」（Relational Induction Neural Network）。该智能体可以自动设计 MWIC，且避免使用暴力计算来检查每一个可能的解，这是电子领域的一项重大突破。该智能体在微波传输线电路、滤波器电路和天线电路设计任务上的实验都取得了具有较强竞争力的结果。学习曲线表明，与传统强化学习方法相比，本研究提出的架构能够快速收敛到预先设计的 MWIC 模型，收敛速度可达 4 个数量级。该研究首次表明，智能体通过训练或学习可以在不加入任何额外先验知识的情况下自动归纳出 MWIC 结构之间的关系。值得注意的是，这种关系可以用 MWIC 理论和电磁场分布来解释。这项研究融合了人工智能和 MWIC，可以扩展到机械波、力学及其他相关领域。

结果

RINN 架构

图 1：RINN 架构。a）聚类算法数据集，即网状模型的 S参数变化矩阵。b）聚类算法。c）用于训练深度强化学习模型的网状模型和 S参数矩阵。d）以 c 为输入、MWIC 模型设计动作的概率向量 π 及值标量 V 为输出的深度强化学习模型。

1.基于 RINN 的滤波器设计

为了调查 RINN 执行 MWIC 设计的能力，研究者考虑了四种设计任务。准确的说，是四种滤波器设计任务，其中心频率分别是 9.3GHz、11.5GHz、7.55GHz 和 6.95GHz，但是第四个滤波器的长度和宽度限制在 5mm*5mm。具体设计任务见表 1，具体设计方案见图 2。

表 1：四种滤波器设计任务。

图 2：滤波器的聚类可视化图。a）滤波器模型。b-d）设计好的滤波器模型的表面电流密度分布、电场分布和磁场分布。e）网状模型（meshed model）。f-j）设计好的滤波器上的典型动作集群（action cluster）可视化结果。k-o）典型动作集群的可微 S_11 曲线。

智能体从零开始学习如何在不知道设计规则的前提下设计 MWIC 模型。通过观察智能体设计过滤器的动作，我们发现智能体实际上已经学会了类似于工程师的动作。为了降低通带回波损耗并增加滤波器的插入损耗，第一项任务的智能体学会了逐步调整当前频率下谐振器之间的耦合系数，其设计过程如图 3（a-c）所示。

第二项任务和第三项任务的智能体首先学会调整谐振器的长度，以达到移动中心频率的目的，然后调整谐振器之间的耦合系数，以减少通带回波损耗，增加插入损耗，其设计过程如图 3（d-i）所示。

图 3：基于 RINN 架构的滤波器设计流程。a-c）第一个任务的优化滤波器模型，及其回波损耗（S_11）和插入损耗（S_21）变化图。d-f）、g-i）、 j-l）分别是第二、三、四个任务的优化滤波器模型、回波损耗（S_11）变化图和插入损耗（S_21）变化图。m）四个任务的学习曲线。智能体的学习速度与设计任务的复杂度相关，设计任务越复杂，智能体的学习速度越慢。

2.基于 RINN 的天线设计

为了进一步证明 RINN 架构的泛化能力，我们尝试用它来设计天线。如图 5 所示，RINN 训练的智能体在没有任何人类知识的情况下成功地捕捉了天线的主要特征，并学会了在设计天线时执行一系列的正确动作，这些动作能简洁地表达引起他们观察的因果关系。智能体基于学习的策略成功地设计出了三种不同频率的天线模型。从设计天线的过程中，可以看到辐射贴片主要影响中心频率，而馈线主要影响输入阻抗。这些结果都与矩形贴片天线的理论以及电磁场分布一致。

图 5：a-c）三种天线模型，其中心频率分别为 8.5GHz、6.15GHz 和 7.35GHz，由智能体设计。d-f）观察智能体根据回波损耗曲线（S11）的变化设计天线的过程。g）所有天线的增益模式。h）三种天线模型的学习曲线。

与人类工程师比较

我们在两个实验中对比了 RINN 和专业工程师的表现：首先，在 9.1GHz 的中心频率和 1.2GHz 的带宽下，六阶滤波器的反射损耗小于-15dB，插入损耗大于-1dB；第二，一个六贴片天线中心频率为 7.35 GHz 时，其增益大于 3dB。从图 6 中对比的人类工程师和 RINN 设计的 MWIC 模型中可以看出，人类工程师设计的模型更加规则，并且参数数量有限。RINN 设计的模型是不规则的，有更多的参数和更高的自由度，并且其形状更像是自然形成的。实际上，RINN 智能体可以学习提取影响电路性能的关键参数，并掌握多种设计任务。因此，仅接收网格滤波器矩阵和 S参数矩阵作为输入的 RINN 智能体能够达到与专业工程师相当的水平。

图 6：a）由工程师设计的六阶滤波器模型。b）由 RINN 设计的六阶滤波器模型。c）a 的回波损耗曲线（S11）和插入损耗曲线（S21），以及 b 的回波损耗曲线（S11）和插入损耗曲线（S21）。d）由工程师设计的六贴片天线模型。e）由 RINN 设计的六贴片天线模型。f）a 和 b 的 7.35 GHz 增益曲线。