句子变成向量以后,距离近究竟代表什么?

搜索“手机掉进水里怎么办”,资料库中的相关页面可能叫“设备进液后的处理步骤”。两者未必共享足够多的关键词。文本嵌入尝试把文字映射到一个向量空间,让经过训练的几何关系反映某种语义或任务相关性。随后,检索可以转化成找近邻,聚类可以转化成比较位置,许多文字处理任务便有了共同的计算接口。

但向量距离没有脱离模型而独立存在的意义。“意思相同”“主题接近”“能够回答问题”和“逻辑相互蕴含”是不同关系。Sentence-BERT 解决的是高效获得可比较句子表示的问题,具体的距离应该怎样解释,仍取决于训练数据、目标函数和测试任务。Sentence-BERT 原论文

粉彩点描的不同色点在空间中聚成几簇
AI 生成配图 · 粉彩点描 · 未完纪

为什么要让句子分别编码

一种句对模型把两句话拼起来,同时交给 Transformer。词元之间可以充分交互,因此它适合判断这一对文本的关系;代价是每换一个候选,都要重新运行网络。对于有大量候选的检索系统,重复计算会迅速成为瓶颈。双编码器让查询和候选各自得到向量,候选的结果可以提前存入索引。

SBERT 使用共享参数的孪生或三元组结构,并通过池化从词元表示得到句子向量。池化可以是取均值等操作,但池化本身并不保证语义质量。训练需要让得到的表示适合比较,原论文研究了自然语言推断与语义相似度等监督方式。同一个底座模型,经过不同目标训练,得到的向量空间也会不同。

效率优势伴随信息交互方式的改变。候选预编码时并不知道未来的问题,因此向量必须压缩可能被多种查询使用的信息。句对模型则可以针对当前查询重新解释每个词。工程上常把两者结合:先用双编码器快速召回较多候选,再用句对模型精排少量结果。是否值得增加精排,要连同延迟与质量一起测量。

余弦相似度表达了哪种几何关系

对于两个非零向量 u、v,余弦相似度为 u·v/(‖u‖‖v‖)。它比较方向,忽略整体长度。若先把向量归一化为单位长度,余弦排序等价于按点积排序;此时平方欧氏距离为 2−2u·v,三种常见计算便建立了明确联系。但没有归一化时,点积还会受向量范数影响,不能默认它们给出相同排名。

考虑一个合成例子:查询向量为 (1,0),候选甲为 (0.8,0.6),候选乙为 (3,4)。甲的余弦相似度为 0.8,乙为 0.6,因此余弦更偏好甲;点积分别是 0.8 和 3,若直接按点积却会更偏好乙。这不是语言模型实测,而是在提醒实现者确认编码器训练时要求的相似度与索引中的计算是否一致。

向量空间也不应被直接当作人类概念地图。把高维向量降到二维后,局部与全局距离可能失真,图上的团簇会受到投影算法和参数影响。漂亮的散点图可用于探索异常,不能代替检索指标。单个坐标也通常不具备稳定的可命名含义;重新训练或对表示做保持距离的变换后,坐标含义可能变化,而任务表现仍然相近。

打开 HTML 互动演示 · 相似度高的句子,能提供问题需要的证据吗?

对比学习怎样决定谁靠近谁

训练可以把相匹配的句子对拉近,把不匹配的对推开。一个常见的对比目标,让正例得分在一组候选的 softmax 中尽量高。温度参数调整得分差异的放大程度,负例集合决定模型必须学会区分什么。若负例都是主题完全无关的句子,模型可能只学会粗粒度主题识别,遇到同主题的细节冲突仍然失灵。

SimCSE 展示了另一种构造训练信号的方式:无监督版本对同一句子使用不同 dropout 扰动形成两个表示,监督版本利用自然语言推断中的蕴含与矛盾关系。其意义在于,嵌入质量不只来自底座的参数规模,也来自哪些变化被当成保持语义、哪些差异被要求区分。SimCSE 原论文

困难负例需要认真审核。“怎样申请退款”与“退款多久到账”可能是不同意图,也可能在某个资料库里由同一份说明回答。若把实际相关候选错误标成负例,训练会惩罚正确的接近关系。批内负例同样存在这个问题:大批次增加了比较对象,也提高了多个文本碰巧互相关联的机会。数据构造应服务于真实检索目标,而不是只追求负例数量。

一个搜索系统的成本账应该怎样算

假设一个合成资料库有一百万条片段,每条使用 768 维向量,按每维四字节保存,纯向量就需要 3,072,000,000 字节,约 2.86 GiB。这个估算尚未包含索引结构、文档内容、元数据和副本。若每个查询都穷举计算全部点积,单次就涉及约 7.68 亿个维度乘积,查询量增加后需要考虑近似近邻索引。

近似检索通过减少候选比较换取速度,其召回率要相对于精确搜索单独测量。否则出现漏检时,很难知道是嵌入把正确文档排得太远,还是索引没有找到原本应进入前列的近邻。可以先在一小部分可穷举的数据上确认模型排名,再逐步增加索引规模和近似程度。

文本更新也有成本。如果只修改少数文档,可以重新编码对应片段;若换了嵌入模型,查询与候选通常都需要使用新空间,旧向量不能仅因维度相同就继续混用。版本记录至少应包含编码器、池化方式、归一化、截断长度和索引参数。向量接口看起来简单,任何一项不一致都可能悄悄改变排名。

怎样设计不会被表面相似骗过的测试

测试集可以分成同义改写、精确实体、否定关系、数值条件、长文档和跨领域六组。同义改写检验模型能否越过用词差异;困难负例则只改变日期、金额、产品版本或适用对象。让正确答案与错误候选共享大部分词,能够暴露模型是否真正保留任务所需的区分。

对有多项相关文档的问题,应预先定义相关性标准。Recall@k 关注前 k 条是否覆盖相关证据,MRR 更关注第一条正确结果的位置,带分级相关性的 nDCG 则能评价排序质量。不同指标回答不同问题,不能只挑最漂亮的一项。若资料很少有完整标注,还应抽样检查所谓“不相关”候选中是否存在漏标的有效证据。

BEIR 用多种任务与领域检验检索系统,强调了单一数据集上的好成绩不能保证跨领域可靠。对于自建系统,词法检索仍是值得保留的基线,尤其在型号、编号和罕见名称上。需要用相同语料、相同问题与相同预算比较,才能判断向量检索增加了哪些能力,又在哪些类别退化。BEIR 原始论文

距离阈值应怎样进入实际决策

相似度为 0.8 并不天然表示八成正确。不同模型、领域、文本长度和负例分布,会形成不同得分范围。若系统需要低于某个分数就拒答,应使用与线上相似的验证问题,测量阈值变化时正确召回、错误接受和拒答比例怎样变化。对无答案问题单独评估尤其重要,否则系统总能在大库里找到一个“最近”的错误候选。

还可以把向量相似度作为初筛信号,让后续模型检查证据是否真正支持结论。比如检索到“用户可以在七天内申请”后,仍要核对申请什么、七天从何时起算、是否存在例外。几何接近帮助缩小搜索范围,精确条件需要进一步阅读。阈值和精排不应相互替代,而应按错误成本共同设计。

研究记录应保存每组错误的具体来源。语义表示不足可以考虑更合适的训练数据;索引漏检可以调整近似搜索;文档缺少信息则不能靠调高相似度解决。把错误分清之后,嵌入才成为可维护的工程部件。我们最终需要的是在指定任务中可验证的相关性,而不是一个脱离问题、看上去普遍合理的向量距离。

长文本被压成一个向量时,会丢掉什么

句子嵌入模型通常有输入长度限制,超出部分可能被截断。即使一篇文档能完整放入,单个向量也需要同时概括许多主题。用户只问其中一个小条件时,全篇的主主题可能淹没这个细节。因此,长文检索不能仅凭“模型支持多少词元”决定是否整篇编码。

可以设计位置交换实验:在内容相同的文档里,把唯一能够回答问题的句子放在开头、中间和末尾,其他段落保持不变。然后分别比较整篇向量、按段落切分和标题加段落等方案。若只有末尾版本失败,应先检查是否被截断;若三个位置都难以命中,则可能是表示稀释、训练目标或候选排序的问题。

多向量表示允许一篇文档保留多个局部表示,提高细节覆盖,但索引规模和比较成本会增加。按段切分则需要解决同一文档的多个片段怎样聚合,以及标题是否应该复制到每个片段。复制标题有时提供语境,也可能让热门标题主导相似度。对这些变化,最有效的判断仍是受控测试,而非仅看向量图形的变化。

还应记录文本规范化是否改变任务所需信息。去掉所有标点、统一数字格式、删除短行,可能看起来是在清洗噪声,却会损坏版本号、数学符号或表格单位。可以保留原文与清洗后的对照样本,逐项检查检索排名。表示压缩无法恢复预处理已经删除的信息,因此数据进入编码器之前的保真程度,同样属于嵌入系统的质量范围。

参考资料

© 版权声明
THE END
喜欢就支持一下吧
点赞35