【交易技术前沿】FPGA技术在沪深行情加速的应用

1.1 低交易时延的挑战

在证券交易领域，盈利的机会转瞬即逝，“更低交易延迟”是所有金融交易追求的核心目标之一。目前国内金融行业的交易系统大部分基于传统通用CPU架构，交易提速存在瓶颈，满足不了超低时延的交易需求。而随着 FinTech（金融科技）的发展，各种算法交易、量化交易兴起，金融行业追求更低交易延迟时间的“竞赛”不断升级，成为各大金融机构的核心挑战之一。尤其是近年来程序化交易在资本市场的全面应用，传统的软件技术或以软件为核心的加速技术难以满足微秒级的实时处理和实时响应的要求。业内均在寻求搭建低时延交易系统的解决方案，基于GPU、FPGA硬件并行加速的技术逐渐进入证券交易领域，成为金融科技领域顶尖的科技趋势，是华尔街的主流技术之一。

降低交易延迟简单来说就是如何实现金融数据加速。FPGA具有硬件可编程、低功耗、低时延的特性。基于RTL(Register Transfer Level：寄存器传输级)级的逻辑编程，可定制化各类通讯协议（如TCP/IP协议栈卸载）、各种消息编解码（如上交所的FAST协议解码）及系统各种颗粒度的操作，实现数据的并行和流水的并行，达到极低的系统时延和极高的系统容量。

1.2首次将FPGA技术成功应用于沪深行情系统

近年来，随着国内金融市场的快速发展和规模不断扩大，业内信息系统往高性能、高可靠、高容量、低时延的方向发展。第三方金融技术公司，相继推出基于FPGA的产品，尤其在期货行业，使用FPGA开展各类应用的开发，如行情、交易、风控等领域，成效显著，为FPGA在证券行业的应用开发提供参考。

架构的选型招商证券早在2016年布局FPGA技术的应用，组建FPGA团队，启动相关技术调研评估，所评估的方案历经Net-FPGA、OpenCL+RTL异构、RTL+软件异构等，最终基于金融商用系统的稳定性、系统可扩展性、健状性的充分考虑，选定RTL+软件的异构架构。

为何选择FPGA技术落地行情加速FPGA团队对沪深行情从交易所前置机VDE/MDGW至行情应用客户端的时延路径进行分析（见图1-1沪深交易所行情时延示意图），当前业内均采用软件进行行情解码，提供行情服务。这些行情解码服务时延非常大，超过10毫秒，且行情解码软件数据处理能力有限，牛市行情压力下，实时性更无法得到保证。2017年FPGA团队启动沪深Level-2行情加速项目，对利用FPGA技术实现沪深Level-2解码及性能进行反复地验证，同时使用C++软件和Matlab构建沪深行情解码的同步模型，为RTL代码的编写和优化提供参考，最终实现低至纳秒级的沪市STEP-FAST解码引擎，端到端的处理时延降低到10微秒（含网络时延）以下，得到明显的提速效果。

图1-1 沪深交易所行情时延示意图

1.3 千倍的提速效果

国内证券领域FPGA技术储备基本空白，招商证券硬件行情系统创新地搭建CPU-FPGA异构框架，设计层次分明，高效地发挥FPGA的效能。使用RTL语言开发沪深Level-2解码核心算法，尤其是沪市STEP-FAST解码算法，解码时延低至纳秒级，同时实现超高的处理容量。

硬件行情系统经过开发阶段的持续优化，通过各项严苛的性能压力测试，实现环回时延低于10微秒，性能提升1000倍。采用FPGA芯片级全流水设计使系统达到超高吞吐率，实测百倍于当前市场全天的行情流量峰值，能够轻松应对牛市的流量冲击。与当前生产主流行情服务系统实时测试对比，显示系统能够实现平均8 ~ 13毫秒不等的提速效果，尤其是面对复杂的沪市FAST编码，更显示了FPGA解码的强大性能。

除此之外，硬件行情系统还根据行情数据的特性设计实时行情数据压缩同步传输方案，开发高效的压缩/解压缩算法，大大降低沪深之间的数据传输带宽，使沪深任一节点均享受全市场的FPGA提速带来的超低时延行情服务。

行情数据的深度加工是本系统的重要组成部分，在FPGA行情解码的基础已经实现深市全息行情服务，后续计划将提供更多有意义的行情深加工服务。

2.1 基于FPGA的异构架构设计

根据业务及扩展需求，对基础硬件选型指导如下：

（1）10GE万兆以太网接口，行情源、TCP行情推送、组播行情推送采用独立的接口。

（2）可定制化的TOE IP，支持TCP、UDP、IGMP、ICMP、ARP、RARP全卸载，且TCP连接数支持至少32个。

（3）PCIe Gen3X8，且兼容Gen1/2/3。

（4）至少两个Bank DDR，内存容量不少于8GB。

（5）至少两个Bank QDR。

传统TCP /IP 协议是基于CPU( Central Processing Unit，中央处理器) 软件实现的，而使用CPU 进行TCP /IP 协议栈处理，存在能力不强、效率不高的缺点，占用大量的CPU 资源，浪费存储空间及产生大量功耗，使其性价比很低，影响性能，万兆以太网的的带宽资源得不到充分的利用。故所选的板卡使用万兆以太网口作为其信息传输接口，支持TCP /IP 协议栈的TOE IP是关键之一。通过FPGA 来实现TCP /IP 协议栈以及以太网MAC 控制器，将原本属于主CPU 的这部分工作由额外的硬件电路完成，减轻CPU 的负担，加速网络处理的能力，提升系统的性能。 系统的可扩展性是系统设计的重点之一。由下往上分为五个逻辑层次，包括FPGA基础通信层、FPGA行情业务层、行情管理层、Host-FPGA接口层和Host管理服务层，层次之间设计开发边界明确，上层依赖下层模块，调用下层或同层模块的接口，上下层之间功能充分解耦，如下图2-1所示。

图2-1 系统架构框图

其中FPGA基础通信实现独立的通信功能，提供清晰的功能边界和明确的开发接口。在Host侧与FPGA侧可通过C++方式的API进行直接调用。

2.2 Level-2行情解码引擎

上海证券交易所信息网络公司（简称“上交所”）于2016年建设新一代的低时延行情发布系统LDDS，支持多种信源，具有低时延、大流量、易扩展、高可用等特点，系统在较优的网络环境中平均时延小于1ms。该Level-2 行情系统是基于FAST技术标准、面向专业投资者的新一代实时行情发布系统。与传统的基本行情相比，Level-2行情更加实时，包含更多的价位深度、逐笔成交、订单等内容和其他有价值的信息。下面以上交所的Level-2行情为例，阐述行情解码引擎的实现。

上交所的LDDS以国际标准的金融信息交换协议(FIX/FAST)为基础，结合中国标准的证券交易数据交换协议（STEP）的特点确定数据传输协议，根据我国证券市场数据的特点以及Level-2行情内容的特性设计在证券市场数据领域具有独创性的算法。FAST协议在保持FIX协议灵活性的基础上,将市场数据大幅度压缩，大大提高了处理速度。FAST系统大幅减少Level-2行情所需的传输带宽（不到原来的25%）和发布系统的负荷（减少到原来的10%）

鉴于上交所FAST协议的复杂性，同时根据RTL的特性，设计出一套并行、全流水式的高效STEP-FAST解码引擎方案，如下图2-2所示，不同行情类型解码并行处理，根据实际应用增加例化引擎数量，达到更高的数据解码吞吐率。同时做到FAST的XML模板可配，以应对交易所的变更。

图2-2 上交所FAST解码引擎框图

2.3 全息行情

当前业内千档行情基于深市最新Level-2行情计算所得的盘口功能，它能突破原先的10档行情的限制，深度揭示个股从跌停到涨停所有价位的委托量和委托明细，让用户对个股的委托明细看得更清晰，非常适合于观察远距离的大挂单和垫单的情况，了解个股市场状态。如果使用程序自动化分析跟踪个股千档行情的变动，千档行情将成为程序化交易的利器。

硬件行情系统提供深度行情加工增值服务――全息行情，即在实现千档行情的基础上，用户可根据实际需求定制N档行情及其成交委托明细。客户端在接收实时行情的同时，支持全息行情的订阅和接收功能。

3.1性能测试

通过SignalTap工具分析FPGA内部处理时延小于0.5微秒，对于动辄N个毫秒的软件系统而言，时延完全可以忽略不计。

在开发硬件行情系统的过程中，同步开发配套的测试系统，测试系统主要包括模拟行情源、回放行情源及客户端自动化测试程序组成。回放行情源使用真实交易所行情数据文件进行可控速率的回放，以对硬件行情系统在不同吞吐率下进行正确性、稳定性及系统容量等测试。

使用回放行情源，将回放速率调至软件极限，测试系统的处理容量，结果显示沪市的峰值处理容量高达200万笔/s，深市的峰值处理容量高达300万笔/s。相对于当前（2019年1月）的行情，硬件行情系统处理容量百倍于当前日内行情流量峰值，应付牛市的流量冲击绰绰有余。

在达到FPGA系统容量上限之前，整个系统不会出现反压，系统时延相当平稳，这也是FPGA系统的优点之一，不存在CPU的系统调度问题，在上限容量之内的任意流量，其时延都是固定不变的。

3.2 实时行情提速效果对比测试

硬件行情系统在交易所托管机房上线后，为测试实时行情的提速性能，在一台测试主机上分别部署FPGA行情客户端和当前公司生产正常使用的软件行情客户端，两套系统接入同一个行情源，以保证双方在同一起跑线上。在测试主机上运行性能测试程序，其中运行两个独占CPU的线程分别将两个客户端收到的行情数据打上时间戳，而后通过独立的写文件线程将数据写入文件。如下图3-1所示。采集一整天的数据（2018-11-20），在收市后运行数据分析对比程序将两个系统的行情数据进行同一条行情数据的匹配，获得同一行情两个系统推送到测试主机的时间差，这个时间差就是FPGA系统相对于软件行情系统的提速时间。

图3-1 实时行情提速测试示意图

测试统计结果显示：软件行情系统，端到端的处理时延约13毫秒（含网络时延），而硬件行情系统低至10微秒，性能提升1000倍。