上下文窗口:为何 KV Cache 不等于长期记忆
(待核验)
拆开「遗忘」三层:窗口长度截断、注意力稀释(中间迷失)、跨会话无状态; 并点明 KV Cache 只是当次推理缓存,不是跨对话长期记忆。用于读懂长上下文 营销数字与真实可靠性的落差;同主题只收本条。
话题
该话题下共 13 条。也可回 首页用筛选器 组合时长与文稿条件。
(待核验)
拆开「遗忘」三层:窗口长度截断、注意力稀释(中间迷失)、跨会话无状态; 并点明 KV Cache 只是当次推理缓存,不是跨对话长期记忆。用于读懂长上下文 营销数字与真实可靠性的落差;同主题只收本条。
(待核验)
顺着注意力家族讲清:多头 → 更省 KV/更可扩展的变体 → DeepSeek 侧混合注意力 在「质量/显存/吞吐」上的取舍。同一「DeepSeek 注意力」进展只收本条, 不叠 NSA 论文跟拍或纯热搜锐评。
(待核验)
用可核验例子说明:幻觉常不是「模型故意撒谎」,而是训练/评测规则在不确定时 仍奖励流畅作答、少奖励「我不知道」。把安全讨论从情绪口号拉回激励设计; 「幻觉/胡说八道」同主题只收本条,不叠 OpenAI 通稿跟拍。
小默说AI
用自监督视角拆预训练:BERT 式掩码填空与 GPT 式下一词预测, 说明「没有人工标签老师」时模型如何从海量文本压出统计结构。 后续谈 RL/对齐时,可先回到这条看清能力上限多半在预训练。
(待核验·访谈剪辑)
田渊栋对比「纯 RL 涌现」与「LLM+RL」路线:RL 更像放大已学会的知识与推理模式, 难以凭空创造能力,故模型天花板仍主要由预训练决定。一手从业者框架, 用来校正「只要堆 RL 就能 AGI」的口号;同一访谈剪辑只收一条。
这就是大模型(系列)
《这就是大模型》系列俯瞰单层 Transformer:自注意力「先收集关联」, 前馈网络「再独立深加工」,并点明位置编码与残差连接的真实分工。 适合建立读后续模型发布时的共同坐标系,而非只记产品名。
毕导
毕导从日常可见现象切入,拆开「教材简化叙事」与真实物理机制的落差: 先承认直觉为什么会错,再补上测量、近似与模型边界。适合练「别把口号当机制」。
抖音精选·机制设计讲解
对比常见拍卖与维克瑞(次高价)拍卖:激励相容如何让报价接近真实估值。 典型「制度/机制设计」样本——规则改变信息与策略,而非靠道德说教。
公开资料显示抖音号 713207958 为李永乐老师科普账号。本条链官方主页:请优先挑相对论/热力学/测量史等机制向, 明确避开考研课销、小初带货与限时名额主线。
抖音精选·博弈论讲解
把一次博弈的背叛激励与重复博弈、以牙还牙等策略对照讲清: 重点是规则与支付矩阵如何改变行为,而不是「做人要双赢」口号。
vibe知识大赏
从返航轰炸机弹孔到「沉默的证据」:说明只看成功样本如何扭曲决策。 把筛选机制讲清楚,是可迁移的底层思维,而非鸡汤金句。
抖音精选·统计力学讲解
从无相互作用点粒子、相空间与配分函数推到物态方程与萨克尔‑泰特洛德熵: 区分宏观热力学量与微观统计平均,并点明经典近似边界。板书/推导向,机制密度高。
抖音精选·基础物理讲解
梳理时空观冲突、时间作为物理量的特殊地位等「共同根源」线索。 目标是建立问题地图,而不是甩装「终极理论」标题党。