日志解析抹去分布式GPU故障关键线索
原始标题 / When Log Parsing Removes What Matters: Detecting Failures in Distributed GPU Workloads
该研究提出GF-Bench框架，用于生成分布式GPU工作负载中的多样故障，并评估现有序列模型与LLM在解析日志和原始日志上的故障检测效果。新在于揭示通用日志解析虽降低开销，却会丢弃分布式执行上下文，导致检测不可靠；对成本敏感的场景有参考价值。
01 摘要
作者构建了GF-Bench，含220个双GPU执行样本，覆盖正常、CUDA OOM和持续拖慢故障。基于解析日志，DeepLog、LogAnomaly、LogBERT和LogPrompt均不能可靠检测两类故障，最高F1为0.667；LogPrompt在原始日志上F1达0.983，但输入token用量和单次成本分别增至9.0倍和8.7倍。作者观点是通用日志解析在分布式GPU故障检测中造成效果与效率的显著权衡。
02 关键点
- GF-Bench提供220个双GPU标注执行，覆盖正常、CUDA OOM与持续拖慢故障。
- 基于解析日志的四种方法无法可靠检测两类故障，最高总体F1为0.667。
- LLM在原始日志上F1达0.983，但输入token用量和单次成本分别增至9.0倍与8.7倍。
回到一手来源
阅读原文 ↗AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.LG