币界网消息，SemiAnalysis发布报告，系统拆解大模型推理服务的底层架构。报告认为，随着MOE模型成为主流，AI推理已从单一计算任务演变为由预填充、中间填充、解码注意力和解码专家组成的复杂流水线，不同阶段对算力、内存带宽和网络的需求存在明显差异。在多数推理场景下，内存带宽比容量更具经济价值。高带宽内存可提升token生成效率，而闲置的HBM只会增加成本。报告预计，2027年单个流水线阶段可能需要约400至500GB本地快速内存，但已完成处理的KV缓存应及时迁移至CPU DRAM及更低成本的网络存储，避免占用稀缺的HBM资源。调度层将成为AI推理基础设施的关键环节。报告还比较了聚合式和分离式两种方案，认为两种架构的取舍最终取决于未来能否出现兼具高算力和高内存带宽的全能型加速器。