知识分享

一天一个开源项目（第207篇）：AirLLM - 单卡 4GB 跑 70B 大模型

AirLLM 通过逐层流式加载技术，让任何 GPU 都能运行超大规模语言模型——无需量化、蒸馏或剪枝。4GB 显存跑 Llama 3 70B，8GB 跑 405B，12GB 跑 DeepSeek-V3 671B，3.72GB 甚至能跑 Kimi K3 2.8T。33.5k Stars，Apache 2.0。