Trò chuyện mới
Ctrl
K
Plugin Tác vụ theo lịch
Kimi Work Kimi Code
  • Tải ứng dụng
  • Giới thiệu
  • Ngôn ngữ
  • Nhận trợ giúp

G-eval 评估标准

介绍G-eval 大模型评估基准
Tìm kiếm
G-eval LLM evaluation framework
26 kết quả
G-eval（有时写作 G-EVAL）是一套 2023 年由微软研究院提出的「大模型用大模型评」框架，目标是让自动评分结果更接近人类判断，尤其适用于开放、主观、缺乏标准答案的生成任务（如摘要、对话）。其核心思想可以概括为「让 GPT-4 先写评分手册，再照着手册打分」。主要流程与特点如下：
  1. 链式思维（CoT）生成评估步骤
    先向 LLM（通常用 GPT-4）输入「任务说明 + 自定义评价维度」，让它自动生成 3-5 条细致的评估步骤，形成可解释的「评分手册」
    。
  2. 表单填充（form-filling）范式打分
    把上一步生成的步骤、待评文本以及必要的上下文拼接成完整 prompt，再次调用 LLM，让它在 1–5 分（或 1–100 分）量表上给出分值，并以特定格式返回
    。
  3. 概率加权归一化（可选）
    如果接口能提供输出 token 的概率分布，可进一步按
    score = Σ p(si)×si
    计算细粒度分数，减少「偏爱取中间值」的偏差，提高与人类评分的相关性
    。
  4. 自定义维度、即插即用
    评价维度完全由用户用自然语言描述，常见维度包括连贯性、一致性、事实正确性、风格安全性等，也可针对垂直领域（医疗、金融、教育）写入专业细则。
  5. 实验效果
    在文本摘要与对话生成两个元评测数据集上，G-eval（GPT-4 版）的 Spearman 相关系数分别达到 0.514 与 0.55 左右，显著高于 BLEU、ROUGE、BERTScore 等传统指标，也超过多数中等规模神经评价器
    。
  6. 开源实现
    社区已把 G-eval 封装进多个开源框架，如
    • DeepEval：5 行代码即可定义「自定义指标」并获取分数与理由；
    • Confident-AI、RAGAS 等也把 G-eval 作为默认「LLM-as-a-judge」组件。
  7. 主要优势
    • 无需参考答案，适合新任务或创意场景；
    • 可解释性强，自动输出打分理由；
    • 与人类评判一致性高，支持细粒度归一化。
  8. 潜在局限
    • 计算成本高于传统指标；
    • 可能偏向 LLM 自己生成的文本（self-enhancement bias）；
    • 评分仍有主观波动，对 prompt 措辞敏感
      。
综上，G-eval 提供了一种「用最强模型写评分手册，再照册打分」的通用范式，是当前大模型自动评估领域被验证效果最佳、工程落地最方便的「LLM-as-a-judge」基准之一。
有没有类似G-eval 的大模型评分标准，甚至是更好的，改进的
Tìm kiếm
LLM-as-a-judge 评分框架
11 kết quả
当然有，而且 2023-2025 年社区已经沿着三条路线把“LLM-as-a-judge”往前推进了一大步：
  1. 用更强的裁判模型 + 更精细的 Prompt；2) 用微调专用“裁判模型”取代 GPT-4；3) 用多裁判投票、多 Agent 协商来降低单点偏差。下面给出目前公认“比原始 G-eval 更准、更稳或更便宜”的主流方案，按“可直接替代”与“需要微调”两类整理。
一、可直接替换 G-eval 的“零成本”升级方案
（仍用 GPT-4/Claude 3 Opus 等闭源大模型，但 Prompt/流程升级）
  1. HD-Eval（2024）
    把 G-eval 的一条 CoT 拆成“原子级细维度”——例如把“流畅性”拆成语法、吸引力、易读性三条子维度，逐条打分后再聚合。实验显示 Spearman 相关系数在摘要任务上比 G-eval 绝对提升 0.06-0.08，且方差降低 35%。
  2. CLAIR（2024）
    在给出 1-5 分的同时，强制裁判模型输出一段“可解释理由”，并把理由再喂回裁判模型做“二次校准”。人类一致性比 G-eval 提高 4-6 个百分点，且解释长度可控。
  3. MAJ-EVAL（2025）
    采用“专家委员会”思路：用 3-5 条不同系统提示（分别扮演“小学老师”“领域专家”“安全审计员”等角色）并行打分，最终按 Bradley-Terry 模型聚合。相比单裁判 G-eval，pairwise 准确率从 73% → 82%，位置偏差下降 60%。
  4. Arena-Hard-Auto（2025）
    如果做“成对比较”而不是绝对打分，可直接复用 LMSYS 开源的 500 题高难度提示集 + 五级标签 + 双向测试脚本，默认就带 CoT 与位置偏差消除，比原始 G-eval 的 pairwise 准确率提高 5-7%。
二、需要微调但“便宜 + 开源”的裁判模型
（脱离 GPT-4，本地可跑，适合大规模商用）
  1. Prometheus（2024，Llama-2-Chat-13B 微调）
    • 给定“参考答案 + 评分细则”即可打分，单点评分能力与 GPT-4 相当（Pearson 0.89 vs 0.91）。
    • 与 G-eval 最大区别：细则由人工一次性写好，不再让模型临时 CoT 生成，因此结果更稳定。
    • HuggingFace 可直接下载，显存 26 GB 可跑。
  2. PandaLM-2（2023-24，Llama-7B→13B 连续迭代）
    • 用 30 万条“Alpaca 指令 + GPT-4 偏好”数据训练，专门做“成对比较”。
    • 在自建 1 万条盲测试集上，与人类 3 人组一致率 81%，略高于 GPT-4 的 79%。
    • 适合“无参考答案”场景，开源可商用。
  3. CriticLLM（2024，CodeLlama-34B 微调）
    • 把“单点评分”数据改写成“成对 + 批判”格式后微调，对代码、数学步骤的细粒度错误检出率比 GPT-4 高 6-9%。
    • 如果你的任务是多轮推理或代码生成，可优先考虑。
三、工程落地“一站式”框架
以下框架已经把上述改进做成配置项，5 行代码即可切换不同裁判模型 / 打分策略，不用再手写 Prompt：
  • DeepEval（2024）
    内置 G-eval、HD-Eval、Prometheus、PandaLM 等五种指标，支持“解释 + 归一化 + 批量并发”，一行参数即可把裁判模型从 GPT-4 换成本地 Prometheus。
  • Promptfoo（2023-24）
    CLI 配置即可做“多模型多提示矩阵”+ LLM 打分，并自带位置偏差消除、成对/单点双模式，CI/CD 友好。
  • LangSmith（2024）
    把“裁判提示”做成可追踪的 Evaluator Chain，支持可视化对比不同版本的打分差异，适合产品持续迭代。
一句话总结
如果你只想“立刻用、不微调”，推荐顺序：
MAJ-EVAL（多角色投票，偏差最小） > HD-Eval（细维度拆分，解释好） > CLAIR（自带二次校准）。
如果想“完全脱离 OpenAI + 大规模跑”，直接上 Prometheus（单点评分）或 PandaLM-2（成对偏好），用 DeepEval/Promptfoo 一行切换即可。