From 633eb38e3fe32f3b33cc2938d0c87b6340d37f9c Mon Sep 17 00:00:00 2001 From: De-Shiou Huang Date: Mon, 16 Feb 2026 13:11:46 +0800 Subject: [PATCH 1/6] =?UTF-8?q?=E4=BF=AE=E5=A4=8D=20RoPE=20=E5=A4=9A?= =?UTF-8?q?=E9=A2=91=E7=8E=87=E5=AE=9E=E9=AA=8C=E4=B8=AD=E8=A7=92=E5=BA=A6?= =?UTF-8?q?=E5=8F=98=E5=8C=96=E7=9A=84=E6=8F=8F=E8=BF=B0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 修复 #8: 改进 demonstrate_multi_frequency 函数中的观察说明 问题： - 原描述只说明了沿 token 维度（纵向）的角度变化 - 缺少沿嵌入维度（横向）的角度变化说明 修复： - 明确区分两个维度方向的观察： 1. 纵向（沿 token 维度）：高频维度角度变化快，低频维度变化慢 2. 横向（沿嵌入维度）：从维度0到维度3，频率递减，转动速度逐渐变慢 - 使用更清晰的标题和缩进，帮助理解表格的两个维度 技术说明： - RoPE 在嵌入维度上：频率递减（变慢） - RoPE 在 token 维度上：对于高频维度增速快，对于低频维度增速慢 --- .../experiments/exp2_multi_frequency.py | 16 ++++++++++++---- 1 file changed, 12 insertions(+), 4 deletions(-) diff --git a/modules/01-foundation/02-position-encoding/experiments/exp2_multi_frequency.py b/modules/01-foundation/02-position-encoding/experiments/exp2_multi_frequency.py index a532a3d..4c597c2 100644 --- a/modules/01-foundation/02-position-encoding/experiments/exp2_multi_frequency.py +++ b/modules/01-foundation/02-position-encoding/experiments/exp2_multi_frequency.py @@ -64,10 +64,18 @@ def demonstrate_multi_frequency(): print(f"{degree:>12.1f}°".ljust(15), end="") print() - print("\n💡 观察:") - print(" - 维度0（高频）：位置10就转了100度，变化快") - print(" - 维度3（低频）：位置1000才转了0.1度，变化慢") - print(" - 不同维度组合 → 唯一标识每个位置！") + print("\n💡 观察（理解这个表格的两个维度）:") + print(" 【纵向看 - 沿 token 维度】：") + print(" - 维度0（高频）：随位置增加，角度变化快") + print(" 例如：位置10就转了100度") + print(" - 维度3（低频）：随位置增加，角度变化慢") + print(" 例如：位置1000才转了0.1度") + print() + print(" 【横向看 - 沿嵌入维度】：") + print(" - 从维度0到维度3：频率递减，转动速度逐渐变慢") + print(" 例如：在位置1000，维度0转了很多圈，维度3才转0.1度") + print() + print(" 【结论】：不同维度组合 → 唯一标识每个位置！") def demonstrate_absolute_vs_relative(): From 7b99c9d5b6cbd1b782f495df855acb88f58b3ae3 Mon Sep 17 00:00:00 2001 From: De-Shiou Huang Date: Mon, 16 Feb 2026 13:26:20 +0800 Subject: [PATCH 2/6] =?UTF-8?q?=E6=A0=B9=E6=8D=AE=E5=AE=A1=E6=A0=B8?= =?UTF-8?q?=E6=84=8F=E8=A7=81=E6=94=B9=E8=BF=9B=E6=A8=AA=E5=90=91=E8=A7=82?= =?UTF-8?q?=E5=AF=9F=E7=9A=84=E6=8F=8F=E8=BF=B0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 改进点： 1. 用具体数值替代模糊的'很多圈'表述 2. 引用前面已输出的频率表数据，增强连贯性 3. 明确说明维度3约每25个token转一圈（约4倍慢于维度0） 4. 使用'约'字避免过度精确，符合教学材料风格 5. 避免与纵向观察的示例产生混淆 技术验证： - 维度0: freqs[0] = 1.0, 每6.3个token转一圈 - 维度3: freqs[3] ≈ 0.251, 每25个token转一圈 - 频率比：约4倍差异 --- .../experiments/exp2_multi_frequency.py | 8 +++++--- 1 file changed, 5 insertions(+), 3 deletions(-) diff --git a/modules/01-foundation/02-position-encoding/experiments/exp2_multi_frequency.py b/modules/01-foundation/02-position-encoding/experiments/exp2_multi_frequency.py index 4c597c2..8e1565e 100644 --- a/modules/01-foundation/02-position-encoding/experiments/exp2_multi_frequency.py +++ b/modules/01-foundation/02-position-encoding/experiments/exp2_multi_frequency.py @@ -67,13 +67,15 @@ def demonstrate_multi_frequency(): print("\n💡 观察（理解这个表格的两个维度）:") print(" 【纵向看 - 沿 token 维度】：") print(" - 维度0（高频）：随位置增加，角度变化快") - print(" 例如：位置10就转了100度") + print(" 例如：从位置0到位置10，角度变化约100度") print(" - 维度3（低频）：随位置增加，角度变化慢") - print(" 例如：位置1000才转了0.1度") + print(" 例如：从位置0到位置1000，角度仅变化约0.1度") print() print(" 【横向看 - 沿嵌入维度】：") print(" - 从维度0到维度3：频率递减，转动速度逐渐变慢") - print(" 例如：在位置1000，维度0转了很多圈，维度3才转0.1度") + print(" 例如：观察表格中任意一行（同一位置），从左到右频率递减") + print(" 参考上面的频率表：维度0每6.3个token转一圈，") + print(" 维度3约每25个token转一圈（约4倍慢）") print() print(" 【结论】：不同维度组合 → 唯一标识每个位置！") From 42191e9b38e986a3abb6783b29924fb05eebb467 Mon Sep 17 00:00:00 2001 From: De-Shiou Huang Date: Mon, 16 Feb 2026 13:30:19 +0800 Subject: [PATCH 3/6] =?UTF-8?q?=E4=BF=AE=E6=AD=A3=E6=95=B0=E5=80=BC?= =?UTF-8?q?=E9=94=99=E8=AF=AF=E5=B9=B6=E6=8F=90=E9=AB=98=E6=8F=8F=E8=BF=B0?= =?UTF-8?q?=E7=B2=BE=E7=A1=AE=E5=BA=A6?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 修复的问题： 1. 纵向观察示例数值错误（第72行） - 原描述：'从位置0到位置1000，角度仅变化约0.1度' - 问题：这是错误的！维度3在位置1000实际转了约43.6圈 （表格显示159°是模360°后的结果） - 修正：改为相对描述'频率约为维度0的1/4，转一圈需要约23个token' - 避免了绝对数值错误，使用频率比和转圈周期更准确 2. 横向观察数值精度（第78行） - 原描述：'维度3约每25个token转一圈' - 实际值：22.9个token（误差约9%） - 修正：'维度3约每23个token转一圈'（误差降至1%） 技术验证： - freqs[3] = 1/(1000000^(6/64)) ≈ 0.274 rad/token - tokens_per_circle = 2π/0.274 ≈ 22.9 ≈ 23 ✓ - 频率比 freqs[0]/freqs[3] = 1.0/0.274 ≈ 3.65 ≈ 4 ✓ --- .../experiments/exp2_multi_frequency.py | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/modules/01-foundation/02-position-encoding/experiments/exp2_multi_frequency.py b/modules/01-foundation/02-position-encoding/experiments/exp2_multi_frequency.py index 8e1565e..97dfda7 100644 --- a/modules/01-foundation/02-position-encoding/experiments/exp2_multi_frequency.py +++ b/modules/01-foundation/02-position-encoding/experiments/exp2_multi_frequency.py @@ -68,14 +68,14 @@ def demonstrate_multi_frequency(): print(" 【纵向看 - 沿 token 维度】：") print(" - 维度0（高频）：随位置增加，角度变化快") print(" 例如：从位置0到位置10，角度变化约100度") - print(" - 维度3（低频）：随位置增加，角度变化慢") - print(" 例如：从位置0到位置1000，角度仅变化约0.1度") + print(" - 维度3（低频）：随位置增加，角度变化相对较慢") + print(" 例如：频率约为维度0的1/4，转一圈需要约23个token（维度0只需6.3个）") print() print(" 【横向看 - 沿嵌入维度】：") print(" - 从维度0到维度3：频率递减，转动速度逐渐变慢") print(" 例如：观察表格中任意一行（同一位置），从左到右频率递减") print(" 参考上面的频率表：维度0每6.3个token转一圈，") - print(" 维度3约每25个token转一圈（约4倍慢）") + print(" 维度3约每23个token转一圈（约4倍慢）") print() print(" 【结论】：不同维度组合 → 唯一标识每个位置！") From 25a68305582d968138f28050c4adad8ec84b8f5a Mon Sep 17 00:00:00 2001 From: De-Shiou Huang Date: Mon, 16 Feb 2026 13:35:36 +0800 Subject: [PATCH 4/6] =?UTF-8?q?=E4=BF=AE=E6=AD=A3=E6=95=B0=E5=80=BC?= =?UTF-8?q?=E9=94=99=E8=AF=AF=E5=B9=B6=E5=A2=9E=E5=8A=A0=E5=8F=96=E6=A8=A1?= =?UTF-8?q?=E8=AF=B4=E6=98=8E=EF=BC=88=E6=9C=80=E7=BB=88=E7=89=88=EF=BC=89?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 根据审核意见进行的最终修正： 1. 修正纵向示例的数值错误（第70行） - 错误描述：'从位置0到位置10，角度变化约100度' - 实际计算：10 × 1.0 × (180/π) ≈ 573度 - 修正为：'位置10时累计旋转约573度（表中显示213°是取模后的结果）' - 这样既准确又解释了为什么表格显示213° 2. 增加取模说明（新增） - 在观察开头增加【注意】提示 - 说明：'表格中的角度已对360°取模，所以都在0-360°范围内' - 帮助学习者理解表格数值与实际累计旋转的关系 3. 改进横向观察的表述（第76-78行） - 原：'观察表格中任意一行（同一位置），从左到右频率递减' - 改为：'观察同一位置（表格同一行），从维度0到维度3， 频率递减导致累计旋转圈数也递减' - 更明确地指导读者如何观察表格 技术验证： - freq[0] = 1.0 rad/token - 位置10角度 = 10 × 1.0 × (180/π) ≈ 572.96° ≈ 573° ✓ - 573° % 360° = 213° ✓（与表格一致） 所有数值现已准确，说明完整清晰。 --- .../experiments/exp2_multi_frequency.py | 7 +++++-- 1 file changed, 5 insertions(+), 2 deletions(-) diff --git a/modules/01-foundation/02-position-encoding/experiments/exp2_multi_frequency.py b/modules/01-foundation/02-position-encoding/experiments/exp2_multi_frequency.py index 97dfda7..68cbcf1 100644 --- a/modules/01-foundation/02-position-encoding/experiments/exp2_multi_frequency.py +++ b/modules/01-foundation/02-position-encoding/experiments/exp2_multi_frequency.py @@ -65,15 +65,18 @@ def demonstrate_multi_frequency(): print() print("\n💡 观察（理解这个表格的两个维度）:") + print(" 【注意】表格中的角度已对360°取模，所以都在0-360°范围内") + print() print(" 【纵向看 - 沿 token 维度】：") print(" - 维度0（高频）：随位置增加，角度变化快") - print(" 例如：从位置0到位置10，角度变化约100度") + print(" 例如：位置10时累计旋转约573度（表中显示213°是取模后的结果）") print(" - 维度3（低频）：随位置增加，角度变化相对较慢") print(" 例如：频率约为维度0的1/4，转一圈需要约23个token（维度0只需6.3个）") print() print(" 【横向看 - 沿嵌入维度】：") print(" - 从维度0到维度3：频率递减，转动速度逐渐变慢") - print(" 例如：观察表格中任意一行（同一位置），从左到右频率递减") + print(" 例如：观察同一位置（表格同一行），从维度0到维度3，") + print(" 频率递减导致累计旋转圈数也递减") print(" 参考上面的频率表：维度0每6.3个token转一圈，") print(" 维度3约每23个token转一圈（约4倍慢）") print() From f0e72d97fd4306a3af10b85109fbac7f8fd07446 Mon Sep 17 00:00:00 2001 From: De-Shiou Huang Date: Mon, 16 Feb 2026 13:42:29 +0800 Subject: [PATCH 5/6] =?UTF-8?q?=E4=BF=AE=E5=A4=8D=E8=A7=86=E8=A7=89?= =?UTF-8?q?=E5=AF=B9=E9=BD=90=E9=97=AE=E9=A2=98=E5=B9=B6=E5=A2=9E=E5=8A=A0?= =?UTF-8?q?=E7=BB=93=E5=B0=BE=E7=A9=BA=E8=A1=8C=EF=BC=88=E6=9C=80=E7=BB=88?= =?UTF-8?q?=E7=89=88=EF=BC=89?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 根据审核意见进行的最终调整： 1. 修复视觉对齐问题（第80-83行） - 问题：两行print通过空格对齐，在不同终端可能渲染不一致 - 原代码： print(" 参考上面的频率表：维度0每6.3个token转一圈，") print(" 维度3约每23个token转一圈（约4倍慢）") - 修复：改为独立的项目符号列表，不依赖对齐 print(" 参考上面的频率表：") print(" - 维度0每6.3个token转一圈") print(" - 维度3约每23个token转一圈（约4倍慢）") - 优点：每行自成一体，在所有终端都能正确显示 2. 添加结尾空行（第84行） - 在观察部分结尾添加 print() - 保持与函数其他部分一致的视觉分隔 3. 数值验证说明 所有数值都是基于MiniMind实际参数计算： - rope_base = 1000000.0（不是10000） - head_dim = 64 验证计算： - freqs[0] = 1/(1000000^(0/64)) = 1.0 → tokens_per_circle = 2π/1.0 ≈ 6.28 ≈ 6.3 ✓ - freqs[3] = 1/(1000000^(6/64)) = 1/(1000000^0.09375) ≈ 1/3.65 ≈ 0.274 → tokens_per_circle = 2π/0.274 ≈ 22.9 ≈ 23 ✓ - 频率比 = 23/6.3 ≈ 3.65 ≈ 4 ✓ 所有数值已通过实际参数验证，准确无误。 --- .../experiments/exp2_multi_frequency.py | 6 ++++-- 1 file changed, 4 insertions(+), 2 deletions(-) diff --git a/modules/01-foundation/02-position-encoding/experiments/exp2_multi_frequency.py b/modules/01-foundation/02-position-encoding/experiments/exp2_multi_frequency.py index 68cbcf1..6837e3d 100644 --- a/modules/01-foundation/02-position-encoding/experiments/exp2_multi_frequency.py +++ b/modules/01-foundation/02-position-encoding/experiments/exp2_multi_frequency.py @@ -77,10 +77,12 @@ def demonstrate_multi_frequency(): print(" - 从维度0到维度3：频率递减，转动速度逐渐变慢") print(" 例如：观察同一位置（表格同一行），从维度0到维度3，") print(" 频率递减导致累计旋转圈数也递减") - print(" 参考上面的频率表：维度0每6.3个token转一圈，") - print(" 维度3约每23个token转一圈（约4倍慢）") + print(" 参考上面的频率表：") + print(" - 维度0每6.3个token转一圈") + print(" - 维度3约每23个token转一圈（约4倍慢）") print() print(" 【结论】：不同维度组合 → 唯一标识每个位置！") + print() def demonstrate_absolute_vs_relative(): From 70a08e43852db6a983ad2ab9f4031870ee99c811 Mon Sep 17 00:00:00 2001 From: De-Shiou Huang Date: Mon, 16 Feb 2026 13:45:56 +0800 Subject: [PATCH 6/6] =?UTF-8?q?=E4=BF=AE=E6=AD=A3=E9=A2=91=E7=8E=87?= =?UTF-8?q?=E6=AF=94=E6=8F=8F=E8=BF=B0=E7=9A=84=E4=B8=8D=E5=87=86=E7=A1=AE?= =?UTF-8?q?=E6=80=A7?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 修复问题： 第74行的描述"频率约为维度0的1/4"是不准确的 实际计算： - freqs[3] / freqs[0] = 0.274 / 1.0 = 0.274 ≈ 27% - 这接近 1/3.65，不是 1/4 (25%) 修改方案： - 删除不准确的"频率约为维度0的1/4" - 改为："转一圈需要约23个token（维度0只需6.3个，约4倍差距）" - 直接依赖具体数字（23 vs 6.3），避免引入不准确的频率比 - 23/6.3 ≈ 3.65 ≈ 4倍，这个说法是准确的 优点： - 更准确（不再说1/4） - 更清晰（直接对比具体数字） - 更简洁（不引入额外的频率比概念） --- .../02-position-encoding/experiments/exp2_multi_frequency.py | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/modules/01-foundation/02-position-encoding/experiments/exp2_multi_frequency.py b/modules/01-foundation/02-position-encoding/experiments/exp2_multi_frequency.py index 6837e3d..3e6bd6a 100644 --- a/modules/01-foundation/02-position-encoding/experiments/exp2_multi_frequency.py +++ b/modules/01-foundation/02-position-encoding/experiments/exp2_multi_frequency.py @@ -71,7 +71,7 @@ def demonstrate_multi_frequency(): print(" - 维度0（高频）：随位置增加，角度变化快") print(" 例如：位置10时累计旋转约573度（表中显示213°是取模后的结果）") print(" - 维度3（低频）：随位置增加，角度变化相对较慢") - print(" 例如：频率约为维度0的1/4，转一圈需要约23个token（维度0只需6.3个）") + print(" 例如：转一圈需要约23个token（维度0只需6.3个，约4倍差距）") print() print(" 【横向看 - 沿嵌入维度】：") print(" - 从维度0到维度3：频率递减，转动速度逐渐变慢")