ArchSpace: Recording, Reviewing, and Referencing LLM Architecture Research

模型架构影响LLMs的扩展行为、训练效率和推理成本，成为工业界和学术界的核心关注点。在工业界，如DeepSeek、Qwen和Kimi团队经常引入架构创新，但公开报告很少记录哪些想法成功、哪些被放弃以及原因。在学术界，受限的计算资源和不一致的基准线常限制评估为小规模、单点比较，难以判断改进是否在更大规模上有效或产生更广泛影响。