推理
-
谷歌发布DiffusionGemma文本扩散模型：本地推理提速 性能与开源优势并存
与自回归模型逐个生成 token 不同，扩散模型并行处理所有 token，逐步优化整体输出质量，在本地低带宽计算环境下具有显著的推理速度优势。在单块 H100 GPU 上，DiffusionGemma 达到…
-
谷歌DiffusionGemma文本扩散模型发布：本地推理加速 性能与效率双突破
与自回归模型逐个生成 token 不同，扩散模型并行处理所有 token，逐步优化整体输出质量，在本地低带宽计算环境下具有显著的推理速度优势。在单块 H100 GPU 上，DiffusionGemma 达到…
-
谷歌发布DiffusionGemma文本扩散模型：本地推理效率飙升 数学能力表现亮眼
与自回归模型逐个生成 token 不同，扩散模型并行处理所有 token，逐步优化整体输出质量，在本地低带宽计算环境下具有显著的推理速度优势。在单块 H100 GPU 上，DiffusionGemma 达到…
-
小米MiMo-V2.5-Pro-UltraSpeed实测：1T参数模型推理破千TPS，全栈开发秒级响应
小米MiMo-V2.5-Pro-UltraSpeed实测：1T参数模型推理破千TPS，全栈开发秒级响应
-
小米MiMo-V2.5-Pro UltraSpeed模式发布：通用GPU实现1T模型超千tokens/s推理
通过模型与系统的极致协同设计（Codesign），在通用GPU上首次将万亿参数（1T）模型的生成速度突破1000tokens/s。业界追求类似速度时往往选择专用硬件（如Cerebras晶圆级集成、Groq定制…
-
大厂速度！京东云首发上线MiniMax M3 大模型，推理效率迎跨越式升级
今日，MiniMax M3模型正式面向市场发布，京东云JoyBuilder模型开发平台已同步完成接入，并在第一时间面向广大用户开放相关服务。此次技术迭代的核心在于推理性能的显著改善。在应用部署方面，平台结合了自研的推理框架，并深度融合了PD分离部署、KV Cache缓存以及投机采
-
小米MiMo-V2.5系列大揭秘：全链路优化技术细节首公开，推理成本大降
据介绍，该团队围绕 Hybrid SWA + MoE + 多模态的复合架构，系统性重构了从 KVCache管理、分级缓存、前缀缓存到调度策略与 Prefill / Decode 链路的完整推理栈，KVCa…
-
随着 AI PC 普及，本地大模型推理、多任务并行处理等场景，对内存带宽的需求呈指数级增长，DDR5 需从 6400 MT/s 向 9600 MT/s 快速演进。但传统无缓冲内存模组在高频下遭遇两大无解难题
随着 AI PC 普及，本地大模型推理、多任务并行处理等场景，对内存带宽的需求呈指数级增长，DDR5 需从 6400 MT/s 向 9600 MT/s 快速演进。但传统无缓冲内存模组在高频下遭遇两大无解难
-
突破256K超长上下文瓶颈，快手Keye-VL-2.0刷新多模态推理能力边界
近日，快手正式发布了新版多模态大模型Keye-VL-2.0-30B-A3B。作为Keye家族最新一代的30B级主力基座，Keye-VL-2.0-30B-A3B率先将DSA(DeepSeek Sparse Attention)机制引入多模态理解场景，成功解锁了256K超长上下文的深度感知，在长视频时序感知上实现了几乎无损的推理能
