人工智能基础共10篇
MoE 参数很多,为什么每个词只动用其中一部分?-未完纪置顶

MoE 参数很多,为什么每个词只动用其中一部分?

模型参数越多,通常越需要存储与计算资源。稀疏混合专家,也就是 MoE,尝试把这两项成本部分拆开:模型保存多个网络分支,每个词元只选择其中少量分支执行。于是,一个模型可以拥有很大的总参数...
彩雨伞的头像-未完纪钻石会员彩雨伞8个月前
108934
Transformer 怎样让一个词读懂远处的另一个词?-未完纪

Transformer 怎样让一个词读懂远处的另一个词?

“杯子放不进箱子,因为它太小。”读者会结合常识判断“它”更可能指箱子。如果把最后两个字换成“太大”,指代关系又会改变。文本理解因此需要在多个位置之间交换信息,而不只是为每个词查一个...
彩雨伞的头像-未完纪钻石会员彩雨伞46天前
61014
LoRA 只训练少量参数,究竟改了模型的哪里?-未完纪

LoRA 只训练少量参数,究竟改了模型的哪里?

要让一个通用模型适应特定任务,最直接的方法是用任务数据继续训练全部权重。但全参数微调需要为大量参数保存梯度和优化器状态,多个任务还可能各自保存一份庞大模型。LoRA 冻结基础权重,在选...
彩雨伞的头像-未完纪钻石会员彩雨伞5个月前
58712
RAG 把资料交给模型以后,答案为什么仍会出错?-未完纪

RAG 把资料交给模型以后,答案为什么仍会出错?

一份售后规定刚更新,语言模型却仍按旧条款回答。最直观的修补方式,是在生成答案前找到最新资料,把有关段落交给模型。检索增强生成,也就是 RAG,把一部分知识放在可维护的外部索引中,让资料...
彩雨伞的头像-未完纪钻石会员彩雨伞1年前
47515
扩散模型从噪声画图,训练时究竟在学什么?-未完纪

扩散模型从噪声画图,训练时究竟在学什么?

把一张照片反复混入少量随机噪声,轮廓和纹理会逐渐消失,最后接近无结构的随机数组。扩散模型把这个容易模拟的破坏过程,变成学习生成分布的入口:训练网络在不同噪声强度下预测可以用于去噪的...
彩雨伞的头像-未完纪钻石会员彩雨伞1年前
131840
句子变成向量以后,距离近究竟代表什么?-未完纪

句子变成向量以后,距离近究竟代表什么?

搜索“手机掉进水里怎么办”,资料库中的相关页面可能叫“设备进液后的处理步骤”。两者未必共享足够多的关键词。文本嵌入尝试把文字映射到一个向量空间,让经过训练的几何关系反映某种语义或任...
彩雨伞的头像-未完纪钻石会员彩雨伞1年前
109535
RLHF 怎样把“更受喜欢”变成模型的训练信号?-未完纪

RLHF 怎样把“更受喜欢”变成模型的训练信号?

语言模型可以很擅长续写,却在面对明确要求时答非所问。让它完成摘要、按指定格式回答、承认信息不足,涉及另一组行为目标。人类反馈强化学习,通常缩写为 RLHF,尝试把人对回答的比较转成可优...
彩雨伞的头像-未完纪钻石会员彩雨伞8个月前
59816
模型说自己有九成把握,怎样知道这个概率可以当真?-未完纪

模型说自己有九成把握,怎样知道这个概率可以当真?

设一个图像分类器在十次预测里都给出九成置信度,最后只有七次正确。一批十条的数据样本很小,结果可能只是偶然。如果在大量同类样本上反复出现这种差异,置信度就高估了正确频率。这类偏差会影...
彩雨伞的头像-未完纪钻石会员彩雨伞1年前
114025
模型调用工具时,怎样避免把计划当成完成?-未完纪

模型调用工具时,怎样避免把计划当成完成?

“先查天气,再比较两地温度”是一份计划。只有工具实际返回了正确地点、正确日期和一致单位的数据,系统才有条件完成比较。语言模型写出像操作记录一样的文字,并不能证明操作发生。把模型接入...
彩雨伞的头像-未完纪钻石会员彩雨伞17天前
85519
大模型转成八位以后,为什么少数通道仍需要高精度?-未完纪

大模型转成八位以后,为什么少数通道仍需要高精度?

一份模型在磁盘上变小,并不自动意味着推理更快或者答案一样好。推理要读取权重、保存中间激活,并完成大量矩阵乘法。把原来用十六位浮点数表示的数值改用八位整数,有机会减少存储和数据搬运。...
彩雨伞的头像-未完纪钻石会员彩雨伞1年前
44710