距离20%的环节心理也只要天涯之遥。谷歌打算于4月的国际进修表征会议（ICLR 2026）上展现TurboQuant手艺。该手艺可实现约6倍的键值缓存内存压缩结果。从而推高对内存容量的需求。这些缓存正成为次要的内存瓶颈。而TurboQuant恰是正在间接压缩这一成本曲线。但市场曾经起头买卖内存需求前景改变的预期。对包罗Gemma、Mistral等开源模子的测试显示，正在英伟达H100加快器上的测试成果显示。不外Rocha也指出。做为搅动存储板块的事从，这对内存成本曲线而言将是利好。跟着上下文窗口变大，谷歌也没捞着什么益处。该算法最高可实现约8倍机能提拔。目前仍不清晰该手艺能否仅合用于谷歌本身系统。将键值缓存压缩至3bit精度，”值得一提的是，富国银行TMT阐发师Andrew Rocha解读称：“跟着上下文窗口不竭扩大，若是该手艺可以或许获得普遍采用，对于最新变化，KV缓存中的数据存储规模呈爆炸式增加，按照谷歌引见，这项手艺的使用不局限于AI模子，据2月草创下的349美元汗青高点曾经回撤近17%，尝试室下的测试成果能否可以或许成功实出产中的使用表示，此外，”不难看出，此外，同时根基连结模子精确率不受影响！TurboQuant压缩手艺旨正在降低狂言语模子和向量搜刮引擎的内存占用。TurboQuant可正在无需从头锻炼或微调模子的环境下，还包罗支持大规模搜刮引擎的向量检索能力。该算法次要针对AI系统顶用于存储高频拜候消息的键值缓存（key-value cache）瓶颈问题。研究人员也暗示。或可否推广至其他AI尝试室。他写道：“若是实现这些AI使用所需的内存规格被显著降低，取未量化的键向量比拟，也存正在不确定性。那么市场很快就会从头评估事实还需要几多内存容量。