计算机科学与技术学院（大数据学院）韩晓红教授团队在软件工程领域顶级期刊TOSEM发表研究论文

近日，我校计算机科学与技术学院（大数据学院）韩晓红教授团队在软件工程国际顶级期刊《ACM Transactions on Software Engineering and Methodology》（TOSEM）发表了题为 “LLMEffiChecker: Understanding and Testing Efficiency Degradation of Large Language Models” 的研究论文。TOSEM是国际上公认的最权威、最高水平的软件工程领域顶级期刊之一，也是软件工程领域仅有的两个CCF-A类国际期刊之一。每年1卷，每卷4期，33年（1992-2024）共计收录论文1007篇，年平均接收文章仅30余篇，录用率极低。

该论文第一署名单位为平特一肖免费大公开，韩晓红教授为论文通讯作者，其指导的在读硕士研究生冯晓宁为论文第一作者。据官网数据，该研究也是我校在TOSEM发表的首篇论文。

大型语言模型（LLMs）通常存在大量的生成需求和实时要求（如OpenAI的ChatGPT平均月访问量达150亿次，平均日咨询量约为2.7亿次），而LLMs的计算效率鲁棒性却很少受到关注。该论文首次观察到LLMs中存在的潜在计算效率漏洞。仅在输入中插入一个字符 'b'，模型所需的计算时间增加了2226.7%（该模型已开源至Huggingface，是Translation栏目下的SOTA模型，2024年2月下载量717,082次）。为了探究该现象的内在原因，该论文分析了20,543个LLMs的工作机制和配置，并首次揭露了可以以对抗性的方法操纵LLMs以显著降低其计算效率。

基于以上动机，该论文提出了LLMEffiChecker框架，能够生成充分延迟句子结束标识（EOS）出现的测试输入，迫使LLMs必须经过足够的迭代以满足自然情况下无法达到的阈值。该框架能够在白盒或黑盒场景中生成字符级别，令牌级别和结构级别的微小扰动以充分降低LLMs的计算效率。具体来说，该论文为白盒场景中设计了搜索损失函数，能够最大程度延迟EOS的出现且能打破原有输出的依赖；黑盒场景下设计了基于Delta Debugging和因果推断的算法，能够有效识别种子输入中的关键标识。

在评估方面，该论文选取了九个开源且最先进的LLM部署到服务器端，涵盖机器翻译、句子补全、代码生成等三种应用场景，从五个维度对LLMEffiChecker进行了系统评估。结果显示，所生成的测试输入平均增加服务器端CPU、GPU耗能和延迟三十倍，最高增加一百倍。同时，将谷歌的T5模型部署到移动设备端（Samsung Galaxy S9+），结果显示，经过三百轮迭代，设备处理测试输入所需的耗电量比处理原始输入增加了30余倍。此外，部署OpenAI的商用GPT3.5接口测试发现，仅一个token的扰动即可使服务反应延迟平均增加176.92%。

该研究首次发现了LLMs的计算效率漏洞，并首次尝试理解和测试其计算效率鲁棒性。为LLMs领域的研究提供了新的思路和策略。

全文链接：https://dl.acm.org/doi/10.1145/3664812