AI · 训练与推理
大模型推理与性能优化
从推理阶段、KV Cache 和内存构成出发理解延迟、吞吐量与优化取舍。 大模型推理与性能优化 摘要 推理性能不仅由参数量决定,还受权重精度、上下文长度、KV Cache、批处理、硬件带宽和运行框架影响。优化应先测量瓶颈,再在质量、延迟、吞吐和资源之间做取舍。 正文 1. 推理过程与指标 推理通常包含 Prefill(
正在读取最新同步的笔记,请稍候。
KNOWLEDGE INDEX / 知识索引
从 Obsidian 同步而来的个人知识索引。按主题翻阅,或直接找到记忆里的那句话。
支持搜索标题、正文与标签,筛选状态会保存在网址中。
检索结果
从推理阶段、KV Cache 和内存构成出发理解延迟、吞吐量与优化取舍。 大模型推理与性能优化 摘要 推理性能不仅由参数量决定,还受权重精度、上下文长度、KV Cache、批处理、硬件带宽和运行框架影响。优化应先测量瓶颈,再在质量、延迟、吞吐和资源之间做取舍。 正文 1. 推理过程与指标 推理通常包含 Prefill(
梳理预训练、监督微调、参数高效微调和偏好对齐之间的关系。 大模型训练、微调与对齐 摘要 预训练学习通用语言模式,继续预训练补充领域语料,监督微调让模型适应指令任务,对齐阶段进一步调整回答偏好和行为。训练流程的关键是目标、数据、资源和评估相互匹配,不是单纯增加训练轮数。 正文 1. 训练阶段 阶段 主要目标 常见数据 注