LLM 推理引擎可视化:PagedAttention 到投机解码
霓漠Nimbus 用可视化串起服务侧关键机制:PagedAttention、Continuous Batching、 Chunked Prefill、PD 分离、Prefix Caching、Speculative Decoding 与分布式并行。 讲的是「一次对话背后 GPU/显存怎么被调度」,利于读懂为何算力≠吞吐。
话题
该话题下共 8 条。也可回 首页用筛选器 组合时长与文稿条件。
霓漠Nimbus 用可视化串起服务侧关键机制:PagedAttention、Continuous Batching、 Chunked Prefill、PD 分离、Prefix Caching、Speculative Decoding 与分布式并行。 讲的是「一次对话背后 GPU/显存怎么被调度」,利于读懂为何算力≠吞吐。
公开主页聚合其 LLM 服务侧科普:推理引擎、投机解码、DeepSeek 成本结构、 长上下文注意力等。本条链官方主页,便于追重大进展解读、减信息差; 打开后优先挑「为什么重要/机制是什么」,避开纯热搜跟拍。
(待核验)
从原理到复现脉络,解释 R1 类「先思考再回答」的推理轨迹如何被蒸馏到 如 Qwen2.5 的学生模型:不是换皮聊天,而是把可验证的推理行为压进更小激活。 用以对照「开源推理跃迁」为何重要;同一次 R1 发布故事只收本条。
(待核验·访谈剪辑)
田渊栋对比「纯 RL 涌现」与「LLM+RL」路线:RL 更像放大已学会的知识与推理模式, 难以凭空创造能力,故模型天花板仍主要由预训练决定。一手从业者框架, 用来校正「只要堆 RL 就能 AGI」的口号;同一访谈剪辑只收一条。
中科院物理所研究员孟胜主讲:从「实心小球」错觉走到亚原子结构与相互作用, 强调模型如何被实验改写。机构向一手科研科普,机制与科学史并重。
中科院物理所相关研究进展简述:量子涨落、长程相互作用下的新型团簇态, 以及一维有效理论如何逼近三维难题。适合看「一手研究如何被讲成可迁移框架」。
同济大学退休物理教授的抖音官方主页入口。优先挑趣味实验/机制拆解条, 避开催课软广。适合把「演示—解释—边界」当成科学方法样本反复看。
同济大学物理教授吴於人(不刷题的吴姥姥)用生活道具演示物理机制: 强调观察—提问—实验,而非刷题口号。一手教学经验,适合科学启蒙与方法框架。