🌸沐雪-medicago🎀 https://3bfd66bd.hugo-blog-asi.pages.dev/algolia.json Recent content from 🌸沐雪-medicago🎀 Hugo en-us medicago.19@outlook.com (medicago) medicago.19@outlook.com (medicago) All articles on this blog are licensed under the BY-NC-SA license agreement unless otherwise stated. Please indicate the source when reprinting! Mon, 23 Mar 2026 18:34:03 +0800 Hello World https://3bfd66bd.hugo-blog-asi.pages.dev/post/hello-world/ Mon, 23 Mar 2026 18:34:03 +0800 medicago.19@outlook.com (medicago) https://3bfd66bd.hugo-blog-asi.pages.dev/post/hello-world/ Hello World

Author: medicago(medicago.19@outlook.com)

test

Published on 2026-03-23 at 🌸沐雪-medicago🎀, last modified on 2026-03-23

]]> Hello World https://3bfd66bd.hugo-blog-asi.pages.dev/post/hello/ Wed, 15 Mar 2023 11:00:00 -0700 medicago.19@outlook.com (medicago) https://3bfd66bd.hugo-blog-asi.pages.dev/post/hello/ Hello World

Author: medicago(medicago.19@outlook.com)

💘 博麗 霊夢 💘

Published on 2023-03-15 at 🌸沐雪-medicago🎀, last modified on 2023-03-15

]]> 中文測試 https://3bfd66bd.hugo-blog-asi.pages.dev/post/chinese/ Thu, 09 Jun 2022 20:12:52 +0800 medicago.19@outlook.com (medicago) https://3bfd66bd.hugo-blog-asi.pages.dev/post/chinese/ 中文測試

Author: medicago(medicago.19@outlook.com)

This is a Chinese test post.

善我王上魚、產生資西員合兒臉趣論。畫衣生這著爸毛親可時，安程幾？合學作。觀經而作建。都非子作這！法如言子你關！手師也。

以也座論頭室業放。要車時地變此親不老高小是統習直麼調未，行年香一？

就竟在，是我童示讓利分和異種百路關母信過明驗有個歷洋中前合著區亮風值新底車有正結，進快保的行戰從：弟除文辦條國備當來際年每小腳識世可的的外的廣下歌洲保輪市果底天影；全氣具些回童但倒影發狀在示，數上學大法很，如要我……月品大供這起服滿老？應學傳者國：山式排只不之然清同關；細車是！停屋常間又，資畫領生，相們制在？公別的人寫教資夠。資再我我！只臉夫藝量不路政吃息緊回力之；兒足灣電空時局我怎初安。意今一子區首者微陸現際安除發連由子由而走學體區園我車當會，經時取頭，嚴了新科同？很夫營動通打，出和導一樂，查旅他。坐是收外子發物北看蘭戰坐車身做可來。道就學務。

國新故。

工步他始能詩的，裝進分星海演意學值例道……於財型目古香亮自和這乎？化經溫詩。只賽嚴大一主價世哥受的沒有中年即病行金拉麼河。主小路了種就小為廣不？

From 亂數假文產生器 - Chinese Lorem Ipsum

Published on 2022-06-09 at 🌸沐雪-medicago🎀, last modified on 2022-06-09

]]> Markdown Basic Elements https://3bfd66bd.hugo-blog-asi.pages.dev/post/main/ Thu, 09 Jun 2022 20:12:52 +0800 medicago.19@outlook.com (medicago) https://3bfd66bd.hugo-blog-asi.pages.dev/post/main/ Markdown Basic Elements

Author: medicago(medicago.19@outlook.com)

Markdown 基本元素

标题

H1

H2

H3

H4

H5
H6

强调

Emphasis, aka italics, with asterisks or underscores.

Strong emphasis, aka bold, with asterisks or underscores.

Combined emphasis with asterisks and underscores.

Strikethrough uses two tildes. Scratch this.

列表

Definition List (dl)

Ordered List (ol)

  1. List Item 1
  2. List Item 2
  3. List Item 3

Unordered List (ul)

  • List Item 1
  • List Item 2
  • List Item 3

段落

Lorem ipsum dolor sit amet, test link consectetur adipiscing elit. Strong text pellentesque ligula commodo viverra vehicula. Italic text at ullamcorper enim. Morbi a euismod nibh. Underline text non elit nisl. Deleted text tristique, sem id condimentum tempus, metus lectus venenatis mauris, sit amet semper lorem felis a eros. Fusce egestas nibh at sagittis auctor. Sed ultricies ac arcu quis molestie. Donec dapibus nunc in nibh egestas, vitae volutpat sem iaculis. Curabitur sem tellus, elementum nec quam id, fermentum laoreet mi. Ut mollis ullamcorper turpis, vitae facilisis velit ultricies sit amet. Etiam laoreet dui odio, id tempus justo tincidunt id. Phasellus scelerisque nunc sed nunc ultricies accumsan.

Published on 2022-06-09 at 🌸沐雪-medicago🎀, last modified on 2022-06-09

]]> test BitNet（1.58‑bit）体系 https://3bfd66bd.hugo-blog-asi.pages.dev/post/llm_bitnet/ Thu, 09 Jun 2022 20:12:52 +0800 medicago.19@outlook.com (medicago) https://3bfd66bd.hugo-blog-asi.pages.dev/post/llm_bitnet/ BitNet（1.58‑bit）体系

Author: medicago(medicago.19@outlook.com)

# 1. BitNet（1.58‑bit）体系

Q1：BitNet 是什么？为什么叫 1.58‑bit？

✔ BitNet 权重只有 3 个值：

$$ {-1,\ 0,\ +1} $$

✔ 表示 3 个状态所需的最小信息量：

$$ \log_2(3) = 1.58496 $$

所以叫 1.58‑bit（理论值）。
实际存储用 2-bit + 压缩 达到平均 1.58-bit。

Q2：BitNet 的激活是什么格式？

激活也是 ternary（−1, 0, +1）。

Q3：BitNet 的训练方式是什么？

必须使用：

  • FP32 shadow weights
  • ternary quantization
  • STE（Straight‑Through Estimator）
  • 特殊初始化
  • 特殊正则（鼓励权重靠近 −1/0/+1）
  • 特殊优化器
  • 特殊激活函数

不能直接量化 FP16 模型得到 BitNet。

Q4：BitNet 的推理框架（bitnet.cpp）能训练吗？

不能。
bitnet.cpp 只负责推理，不包含训练代码。

Q5：BitNet 的优点是什么？

  • 推理速度极快（CPU 上可达 2–6×）
  • 能耗降低 55–82%
  • 权重和激活都可用查表 / bitwise 实现
  • 理论上可在 CPU 上跑超大模型（100B）

Q6：BitNet 的缺点是什么？

  • 训练极难
  • 表达能力弱
  • 需要大量工程技巧
  • 目前没有高质量的大模型（7B/13B/70B）成功训练
  • 第三方模型质量明显低于 FP16

# 2. STE（Straight‑Through Estimator）

Q1：为什么量化需要 STE？

量化函数是分段常数：

Published on 2022-06-09 at 🌸沐雪-medicago🎀, last modified on 2022-06-09

]]> test