小红书AI再突破！Dynamic—LLaVA框架计算开销直降75%，多模态推理效率迎新标杆

小红书NLP团队与华东师范大学联合研发的Dynamic—LLaVA框架，在多模态大模型推理加速领域取得突破。该技术通过动态稀疏化处理视觉与文本token，在预填充阶段计算开销降低75%，解码阶段计算开销减少50%，显存占用减少50%，同时保持性能稳定。研究覆盖预填充、KV Cache解码等全阶段，为多模态大模型落地应用提供高效解决方案。