排序
MoE 参数很多,为什么每个词只动用其中一部分?
模型参数越多,通常越需要存储与计算资源。稀疏混合专家,也就是 MoE,尝试把这两项成本部分拆开:模型保存多个网络分支,每个词元只选择其中少量分支执行。于是,一个模型可以拥有很大的总参数...
模型调用工具时,怎样避免把计划当成完成?
“先查天气,再比较两地温度”是一份计划。只有工具实际返回了正确地点、正确日期和一致单位的数据,系统才有条件完成比较。语言模型写出像操作记录一样的文字,并不能证明操作发生。把模型接入...
Transformer 怎样让一个词读懂远处的另一个词?
“杯子放不进箱子,因为它太小。”读者会结合常识判断“它”更可能指箱子。如果把最后两个字换成“太大”,指代关系又会改变。文本理解因此需要在多个位置之间交换信息,而不只是为每个词查一个...
LoRA 只训练少量参数,究竟改了模型的哪里?
要让一个通用模型适应特定任务,最直接的方法是用任务数据继续训练全部权重。但全参数微调需要为大量参数保存梯度和优化器状态,多个任务还可能各自保存一份庞大模型。LoRA 冻结基础权重,在选...
RLHF 怎样把“更受喜欢”变成模型的训练信号?
语言模型可以很擅长续写,却在面对明确要求时答非所问。让它完成摘要、按指定格式回答、承认信息不足,涉及另一组行为目标。人类反馈强化学习,通常缩写为 RLHF,尝试把人对回答的比较转成可优...
大模型转成八位以后,为什么少数通道仍需要高精度?
一份模型在磁盘上变小,并不自动意味着推理更快或者答案一样好。推理要读取权重、保存中间激活,并完成大量矩阵乘法。把原来用十六位浮点数表示的数值改用八位整数,有机会减少存储和数据搬运。...
RAG 把资料交给模型以后,答案为什么仍会出错?
一份售后规定刚更新,语言模型却仍按旧条款回答。最直观的修补方式,是在生成答案前找到最新资料,把有关段落交给模型。检索增强生成,也就是 RAG,把一部分知识放在可维护的外部索引中,让资料...
扩散模型从噪声画图,训练时究竟在学什么?
把一张照片反复混入少量随机噪声,轮廓和纹理会逐渐消失,最后接近无结构的随机数组。扩散模型把这个容易模拟的破坏过程,变成学习生成分布的入口:训练网络在不同噪声强度下预测可以用于去噪的...
模型说自己有九成把握,怎样知道这个概率可以当真?
设一个图像分类器在十次预测里都给出九成置信度,最后只有七次正确。一批十条的数据样本很小,结果可能只是偶然。如果在大量同类样本上反复出现这种差异,置信度就高估了正确频率。这类偏差会影...
句子变成向量以后,距离近究竟代表什么?
搜索“手机掉进水里怎么办”,资料库中的相关页面可能叫“设备进液后的处理步骤”。两者未必共享足够多的关键词。文本嵌入尝试把文字映射到一个向量空间,让经过训练的几何关系反映某种语义或任...










