SIAT新闻网

深圳先进院在系统配置参数自动快速调优研究方面取得突破

来源:数字所发布时间:2025-04-30

近日,中国科学院深圳先进技术研究院数字所异构智能计算中心在系统配置参数自动快速调优研究方面取得重要进展,相关成果以“Swift: Fast Performance Tuning with GAN-Generated Configurations”为题被计算机系统领域顶级会议的CCF A类会议USENIX ATC'25 (The 2025 USENIX Annual Technical Conference)接收。该会议致力于展示和讨论计算机系统领域中的新思想和最新研究成果。深圳先进院异构智能计算中心陈超助理研究员为论文第一作者,深圳先进院异构智能计算中心喻之斌研究员为通讯作者。

本文提出Swift方法,这是一种新颖的、基于贝叶斯优化(BO)的大数据系统参数配置快速自动调优方法。其核心思想是利用一种生成式人工智能方法,即生成对抗网络(GAN),根据已评估的性能最佳的配置来生成高质量的配置。将这些配置与随机生成的配置相混合,具有使搜索空间向最优配置倾斜的效果,从而实现更快的收敛速度,并减少优化时间。实验结果表明,与由CherryPick调优的 Flink 程序相比,Swift 将其吞吐量提升了最高达1.59倍,并将延迟最多降低了1.68倍。最重要的是,Swift仅用5.8小时就完成了优化,而CherryPick至少需要12.5小时。对于Spark程序,Swift将由CherryPick调优后的程序执行时间最多缩短了2.2倍。我们还在一家互联网巨头的生产集群中,使用Flink程序对Swift进行了评估。此前该程序是通过手动调整配置参数进行优化的,一位专业的性能工程师花了四天时间才完成优化。结果显示,Swift 在仅6.8小时内就将这个经过手动优化的程序的吞吐量提升了2.3倍,并将其延迟降低了2.8倍。

USENIX Annual Technical Conference(USENIX ATC)创办于1992年,是计算机系统结构和并行/分布式计算领域的顶级国际会议,为中国计算机学会推荐A类国际会议。2025年USENIX年度技术会议(ATC'25,The 2025 USENIX Annual Technical Conference)将于将于2025年7月7日至7月9日在美国波士顿与OSDI共同召开。本次会议共有634篇论文投稿,100篇被接收,中稿率为15.8%。


Swift快速自动调优方法流程图



附件下载:

TOP