17 May 2024

相关性04：BERT模型 (Part 1) - 模型结构、线上推理

Shusen Wang

本播客探讨了两种以 BERT 为基础的搜索引擎相关性模型：交叉 BERT 模型和双塔 BERT 模型。交叉 BERT 模型虽然拥有高准确性，但计算量较大，适合在搜索引擎的下游环节（如精确排序）中使用；而双塔 BERT 模型则在准确性上稍显不足，但计算所需资源较少，适合用于上游环节（如粗略排序和信息召回）。节目深入讲解了这两种模型的结构、分词方法（字粒度与字词混合粒度，其中后者效果更佳），以及在线推理的成本优化策略，包括缓存机制、模型量化和文本摘要技术。最后，播客强调在选择模型时，需根据具体应用场景和计算资源进行合理权衡。

Takeaways

Outlines

Q & A

Preview

How to Get Rich: Every EpisodeNaval