用中转站失忆了？可能不是模型的问题

冰蛙在测评中转站的时候提到了"缓存命中率"问题，孙哥的b.ai 和懂王家族的WorldClaw都中招了。 又是一个新概念，就去查了一下 - 简单说就是：大模型官方有个省钱机制，两次请求如果开头一样，第二次可以复用缓存，价格能便宜到原价的一成。中转站靠这个降低成本，本来是好事 但如果缓存策略没做好，为了强行提高命中率，它会把你的对话上下文悄悄截断。你以为模型记得你说过的事，它其实根本没看到 用着用着发现模型"失忆"了，很可能就是这个原因 - 好消息是，两家目前都已经修复了这个问题 坏消息是，这种事一般人根本不会主动去测，也没有AI在告诉你：你在用一个不完整的上下文 - 如何有意识地去识别这个问题？ Claude建议我用一个需要记住前文细节的多轮对话来测试： 第一轮，告诉模型你的名字和一个特定细节 中间插入几轮无关对话 再问它第一轮说的细节 能答上来就没问题，答不上来的话，要么我选择失忆，要么我承认AI也会失忆吧 #科技 #大模型 #人工智能 #AI工具 #中转站