CASTLE：在第一次真实查询之前训练自然语言搜索

📌 One-Sentence Summary

CASTLE 是一个用于生成高质量自然语言搜索训练数据的框架，它使用预订会话中的对比列表对，确保查询与真实用户行为匹配，并且相关性标签在构造上是准确的。

📝 Summary

自然语言搜索的冷启动问题需要提前生成查询与相关性标签，但在没有真实流量的情况下，这非常困难。CASTLE 通过使用匿名化的预订数据，创建包含正负样本的对比对，作为查询生成的结构化输入。这种方法确保生成的查询符合真实用户分布，并且相关性标签是正确的，无需依赖额外的 LLM 判断或人工标注。

💡 Main Points

CASTLE 基于预订数据，同时生成查询与相关性标签，解决了冷启动问题。

不同于将查询与标签分离生成的以往方法，CASTLE 利用预订会话中隐含的偏好（即选择了哪个清单），创建出一个通过实际用户行为来决定相关性标签的专用数据集。

该框架将对比锚定与种子引导相结合，以提高查询的真实性。

通过将查询生成基于特定的清单特征，并结合用户研究的少量示例，CASTLE 产出了在长度、结构和属性覆盖方面与真实用户查询无法区分的查询。

CASTLE 在查询分布对齐方面比基线方法提高了 9.2 倍。

CASTLE 生成查询与真实用户查询之间的 KL 散度仅为 1.01，而最好的基线方法为 9.33。这表明 CASTLE 成功捕捉了真实搜索流量的多样性和特征。

该方法在没有人工标注的情况下，提供了高质量的相关性标签。

由于「正面」和「负面」清单是由预订结果定义的，因此相关性标签本质上是正确的。人工评价证实，CASTLE 的分配与专家判断的准确度达到了 91-93%。

💬 Key Quotes

CASTLE 的关键洞察在于，真实的预订行为和 LLM 生成是互补的，而非相互排斥。

📊 Article Meta

AI Screening： 92

Featured： Yes

Source： The Airbnb Tech Blog

Author： Wendy Ran Wei

Category： 软件编程

Language： 英文

Read Time： 6 min

Word Count： 1347

Tags：

编程与工程 , 大语言模型 (LLM) , 自然语言搜索 , 合成数据生成 , 对比学习