LLM 评估指南 ylc3000 2025-11-07 0 浏览 0 点赞 resource 在众多大语言模型选择当中，如何评估一个大模型在具体任务上的表现，成为了我们一大难题。 刚好看到，Hugging Face 开源了一份《LLM 评估指南》，系统地解答了我们在 LLM 评估中的各种困惑。 涵涵盖了自动化基准测试、人工评估、LLM-as-a-judge 三大主流评估方法，还提供了丰富的实践经验、故障排查技巧，以及如何设计适合自己需求的评估方案。 GitHub：github.com/huggingface/evaluation-guidebook 主要内容： - 自动化基准测试：包括基础知识、评估设计、数据集推荐和实用技巧； - 人工评估：涵盖基础概念、如何使用人工标注员及实践经验； - LLM-as-a-judge：从获取评判模型到设计提示词，再到评估评估器本身； - 故障排查：针对推理和可复现性问题的实用解决方案； - 通用知识：模型推理、分词等 LLM 基础概念的入门讲解； - 年度深度分析：2023-2025 年关于开源、评估目的和实用性的思考。 内容按难度分层，初学者可从 “基础” 部分入门，进阶朋友可直接查看 “技巧” 或 “故障排查” 章节，另外还提供了中文和法语社区翻译版本。 网闻录 LLM 评估指南