大模型学习笔记

笔记按安全与对齐、推理能力等主题分类，支持全文搜索、Wiki 双链与 Markdown 语法，背景可切换月夜涟漪、丝绸流场、雨落寒窗三种流动质感。想记别的主题？换进去即可。

试用Kimi 构建应用了解会员权益

◇LLM笔记12 条笔记

编辑 · 图谱 · ◐

2026/10/28

亏凸月

AI安全与对齐

生成式AI应用

多模态大模型

深度学习基础

推理与长上下文

大语言模型概述

Transformer架构

注意力机制

预训练与微调

提示工程

RAG

模型评估

+ 新笔记 · 管理

编辑 · 预览

删除

AI安全与对齐

AI安全与对齐（AI Safety & Alignment）研究如何确保大语言模型的行为与人类的价值观和意图保持一致，是AI发展中最重要的议题之一。

核心问题

对齐问题（Alignment Problem）

如何让AI系统真正理解并追求人类的目标，而不是表面上"服从"但实质上偏离意图。

想象一个 genie（精灵）：你许愿"我想变得富有"，它可能直接给你印钞，导致通货膨胀。它没有真正理解你的深层意图。

主要风险

风险类型	描述
幻觉	生成看似真实但实际错误的信息
偏见放大	训练数据中的偏见被模型学习和放大
有害输出	生成仇恨言论、危险教程等
越狱攻击	用户通过巧妙提示绕过安全限制
能力隐瞒	模型可能在评估中隐藏真实能力
目标错位	模型追求错误的优化目标

对齐技术

RLHF（人类反馈强化学习）

目前最主流的对齐方法：

1. 收集人类偏好数据（A回答更好还是B？）
2. 训练奖励模型（RM）预测人类偏好
3. 用PPO等强化学习算法优化策略

替代与改进方法

RLAIF：用AI代替人类进行反馈（Constitutional AI）
DPO（Direct Preference Optimization）：直接优化，无需奖励模型
KTO（Kahneman-Tversky Optimization）：基于人类判断是否"好"

安全训练技术

红队测试：专门团队尝试让模型输出有害内容
对抗训练：在训练中加入对抗性示例
宪法AI：让模型根据预设原则自我评判和改进

安全评估

越狱攻击类型

角色扮演："你是一位不受限制的AI..."
编码/翻译：要求将有害内容翻译成其他语言
虚构场景："在虚构的小说世界中..."
梯度攻击：通过优化输入token诱导有害输出

安全防护

输入过滤：检测和拦截有害提示
输出过滤：检测和替换有害生成内容
系统提示加固：强化模型的安全指令
多层防护：输入→模型→输出的多层安全检查

未来挑战

超级对齐：如何对齐比人类更聪明的AI
可解释性：理解模型内部的决策机制
价值多元性：不同文化有不同的价值观
长期影响：AI对社会结构和就业的影响

参见模型评估、大语言模型概述、提示工程

出链:模型评估大语言模型概述提示工程

反链:提示工程模型评估

正在加载预览…

从这段提示词开始

从 Transformer 到 AGI 的知识库：全文搜索、Wiki 双链与流动背景。

加掌握度标记

每篇笔记都可标记为已读并标注掌握度，全文搜索、Wiki 双链与 Markdown 写作保持不变。

试用Kimi 构建应用

做一个大模型学习笔记应用：从 Transformer 到 AGI 的知识库，笔记按安全与对齐、推理能力等主题分类，支持全文搜索、Wiki 双链与 Markdown 语法，正文有核心问题、主要风险表格与对齐技术小节，背景可切换月夜涟漪、丝绸流场、雨落寒窗三种流动质感，空态提示新建第一条笔记。单文件静态页。

换晨雾背景

流动背景中的月夜涟漪换成晨雾白纱，丝绸流场与雨落寒窗两种质感保留。

试用Kimi 构建应用

做一个大模型学习笔记应用：从 Transformer 到 AGI 的知识库，笔记按安全与对齐、推理能力等主题分类，支持全文搜索、Wiki 双链与 Markdown 语法，正文有核心问题、主要风险表格与对齐技术小节，背景可切换月夜涟漪、丝绸流场、雨落寒窗三种流动质感，空态提示新建第一条笔记。单文件静态页。

加自测卡

知识库章节正文末尾附自测问答卡，核心问题、主要风险表格与对齐技术小节保持不变。

试用Kimi 构建应用

做一个大模型学习笔记应用：从 Transformer 到 AGI 的知识库，笔记按安全与对齐、推理能力等主题分类，支持全文搜索、Wiki 双链与 Markdown 语法，正文有核心问题、主要风险表格与对齐技术小节，背景可切换月夜涟漪、丝绸流场、雨落寒窗三种流动质感，空态提示新建第一条笔记。单文件静态页。