项目需要根据情景信息、人设信息从课程问答库中，筛选出最符合情景、人设的问题。使用大模型，从课程问题库中筛选。这里会有两个问题
1. 问题库很多，不过滤，所有问题都扔给大模型，token会很多。大模型会抓不住重点
2. 筛选问题数量15个左右，就很慢了，15秒左右
过滤还没想好怎么处理。本来想用agent优化，一个个生成问题，不过还有问题润色。单个问题筛选，要2秒左右，润色要2秒左右，这样就要4秒左右。有点慢
组长提了个方案，先生成2个，然后在生成15个，确实不错，这个方案
我最开始想的是，用数据库保存，每次请求，创建异步任务，刷新筛选的问答对。这样做有点复杂了
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。