昇腾大模型推理框架JittorInfer全面升级并开源，性能显著提升

清华大学计图团队对昇腾大模型推理框架JittorInfer进行全面升级并正式开源。该框架针对昇腾硬件进行了深度优化，引入算子融合下发和全链路服务端优化等关键技术，显著提升了DeepSeek系列大模型的推理性能。主要升级包括减少CPU与昇腾硬件交互开销、优化数据传输和调度机制、提升KV Cache效率等，使昇腾算力利用率最大化，降低延迟提升吞吐量。