上下文窗口:为何 KV Cache 不等于长期记忆
(待核验)
拆开「遗忘」三层:窗口长度截断、注意力稀释(中间迷失)、跨会话无状态; 并点明 KV Cache 只是当次推理缓存,不是跨对话长期记忆。用于读懂长上下文 营销数字与真实可靠性的落差;同主题只收本条。
话题
该话题下共 21 条。也可回 首页用筛选器 组合时长与文稿条件。
(待核验)
拆开「遗忘」三层:窗口长度截断、注意力稀释(中间迷失)、跨会话无状态; 并点明 KV Cache 只是当次推理缓存,不是跨对话长期记忆。用于读懂长上下文 营销数字与真实可靠性的落差;同主题只收本条。
(待核验)
顺着注意力家族讲清:多头 → 更省 KV/更可扩展的变体 → DeepSeek 侧混合注意力 在「质量/显存/吞吐」上的取舍。同一「DeepSeek 注意力」进展只收本条, 不叠 NSA 论文跟拍或纯热搜锐评。
(待核验)
用可核验例子说明:幻觉常不是「模型故意撒谎」,而是训练/评测规则在不确定时 仍奖励流畅作答、少奖励「我不知道」。把安全讨论从情绪口号拉回激励设计; 「幻觉/胡说八道」同主题只收本条,不叠 OpenAI 通稿跟拍。
霓漠Nimbus 用可视化串起服务侧关键机制:PagedAttention、Continuous Batching、 Chunked Prefill、PD 分离、Prefix Caching、Speculative Decoding 与分布式并行。 讲的是「一次对话背后 GPU/显存怎么被调度」,利于读懂为何算力≠吞吐。
公开主页聚合其 LLM 服务侧科普:推理引擎、投机解码、DeepSeek 成本结构、 长上下文注意力等。本条链官方主页,便于追重大进展解读、减信息差; 打开后优先挑「为什么重要/机制是什么」,避开纯热搜跟拍。
小默说AI
用自监督视角拆预训练:BERT 式掩码填空与 GPT 式下一词预测, 说明「没有人工标签老师」时模型如何从海量文本压出统计结构。 后续谈 RL/对齐时,可先回到这条看清能力上限多半在预训练。
(待核验)
从原理到复现脉络,解释 R1 类「先思考再回答」的推理轨迹如何被蒸馏到 如 Qwen2.5 的学生模型:不是换皮聊天,而是把可验证的推理行为压进更小激活。 用以对照「开源推理跃迁」为何重要;同一次 R1 发布故事只收本条。
这就是大模型(系列)
《这就是大模型》系列俯瞰单层 Transformer:自注意力「先收集关联」, 前馈网络「再独立深加工」,并点明位置编码与残差连接的真实分工。 适合建立读后续模型发布时的共同坐标系,而非只记产品名。
毕导
用海水颜色争议带出散射、吸收与人眼灵敏度:不是一句「海水蓝」口号, 而是把观测、光谱与简化模型边界讲清楚。机制密度高于跟风猎奇。
毕导
毕导从日常可见现象切入,拆开「教材简化叙事」与真实物理机制的落差: 先承认直觉为什么会错,再补上测量、近似与模型边界。适合练「别把口号当机制」。
芳斯塔芙
以二叠纪末期生物大灭绝为轴,串起地质时间尺度、环境反馈与化石证据链。 偏科学史/地球系统,而非纯猎奇「灭世故事会」。公开检索将该条关联到芳斯塔芙账号语境。
中科院物理所研究员孟胜主讲:从「实心小球」错觉走到亚原子结构与相互作用, 强调模型如何被实验改写。机构向一手科研科普,机制与科学史并重。
讲清大爆炸后「黑暗时代」到第一代恒星点亮的结构:中性氢、空间超长波探测与可检验信号。 偏前沿方法与测量,而非纯奇观叙事。
中国科学院物理研究所官方抖音(IOPCAS)主页。优先选讲座剪辑、实验演示与曹则贤等研究员出镜的机制向条, 避开纯活动预告。可观察「机构如何把前沿讲成可证伪故事」。
中科院物理所相关研究进展简述:量子涨落、长程相互作用下的新型团簇态, 以及一维有效理论如何逼近三维难题。适合看「一手研究如何被讲成可迁移框架」。
公开资料显示抖音号 713207958 为李永乐老师科普账号。本条链官方主页:请优先挑相对论/热力学/测量史等机制向, 明确避开考研课销、小初带货与限时名额主线。
vibe知识大赏
以欧拉恒等式、麦克斯韦方程组、爱因斯坦场方程等为锚,串起公式背后的思想史与适用域。 用作「框架地图」而非背诵清单;单条信息密度高时保留,鸡汤金句流则剔除。
抖音精选·统计力学讲解
从无相互作用点粒子、相空间与配分函数推到物态方程与萨克尔‑泰特洛德熵: 区分宏观热力学量与微观统计平均,并点明经典近似边界。板书/推导向,机制密度高。
抖音精选·基础物理讲解
梳理时空观冲突、时间作为物理量的特殊地位等「共同根源」线索。 目标是建立问题地图,而不是甩装「终极理论」标题党。
同济大学退休物理教授的抖音官方主页入口。优先挑趣味实验/机制拆解条, 避开催课软广。适合把「演示—解释—边界」当成科学方法样本反复看。
同济大学物理教授吴於人(不刷题的吴姥姥)用生活道具演示物理机制: 强调观察—提问—实验,而非刷题口号。一手教学经验,适合科学启蒙与方法框架。