Qwen と Gemma の最先端 — 技術的バックグラウンドと性能（2026-10 時点）¶
作成日: 2026-10-17
出典 / きっかけ: 「Qwen・Gemma を勉強したい。最先端がどんな技術背景でどんな性能を出しているか」。Qwen 公式モデルカード（HF）、Qwen3.8-Next 技術報告（arXiv:2608.30320）、Gemma 4 の HF ブログ・公式モデルカード・Google ブログで裏取り
関連: llm学習_並列化戦略5次元_整理 / llm_gateway_製品比較_oss_有償_機能_aws構成_整理 / 知識グラフとllm_研究動向と実務2024-2026_整理
0. 要点（3行）¶
- 一言で: Qwen は「注意の大半を線形注意に置き換え、巨大 MoE で計算を間引く」ことで規模（〜2.4T）と長文脈を取りに行く路線。Gemma は「注意を近所見（sliding window）中心にし、埋め込みを外に逃がす」ことで 31B 以下・端末上での「パラメータあたりの賢さ」を取りに行く路線。
- 性能: Qwen3.8-27B（2026-08、Apache 2.0）は GPQA 89.2 / LiveCodeBench v6 90.3 / SWE-bench Pro 61.7 と、数か月前のクローズドフロンティア（Opus 4.6 Max）と同等以上を自己申告。Gemma 4 31B（2026-04、Apache 2.0）は GPQA 84.3 / LCB 80.0 で、Gemma 3 27B から AIME 20.8→89.2 と世代内で桁違いに伸びた。
- 勘所: 両者の共通テーマは「KV キャッシュと活性パラメータをどう削るか」。Qwen は線形注意 3:1 ＋ 512 エキスパート MoE ＋ MTP、Gemma は sliding window ＋ KV 共有 ＋ PLE（Per-Layer Embeddings）。ベンチは全てベンダー自己申告で、ハーネス（Claude Code 等）や時期が揃っていない点に注意。
1. 系譜（どこから来て、いまどこか）¶
Qwen 系（Alibaba Qwen Team）
Qwen3 (2025-04, 素の Transformer + MoE)
└─ Qwen3-Next-80B-A3B (2025-09, ハイブリッド注意の実験機) ※記憶ベース・要確認
└─ Qwen3.5-397B-A17B (2026-02) ← ハイブリッドが本線化、ネイティブ多モーダル
└─ 3.6 → 3.7 → Qwen3.8 (2026-08)
├─ Qwen3.8-Max 2.4T-A95B（重みも公開・独自ライセンス）
├─ Qwen3.8-27B dense（Apache 2.0）
└─ Qwen3.8-Flash-Next 125B-A6B + n-gram 51B（次世代アーキの先行版）
└─ Qwen 4（2026-09 に「学習中」と発表。仕様未公表・二次情報）
Gemma 系（Google DeepMind）
Gemma 1 (2024-02) → Gemma 2 (2024-06) → Gemma 3 (2025-03)
└─ Gemma 3n (2025-06, 端末向け: PLE を導入)
└─ Gemma 4 (2026-04-02) E2B / E4B / 26B A4B (MoE) / 31B dense
└─ Gemma 4 12B Unified (2026-06-03, エンコーダレス多モーダル)
└─ MedGemma 新版 (2026-10 報道, Gemma 3 ベース) ※一次資料未確認
ポイント: Qwen は「Next」と名の付く実験機で新アーキを試し、次のメジャーで本線化するサイクルを回している（Qwen3-Next → Qwen3.5、Qwen3.8-Flash-Next → Qwen 4 と目される）。Gemma は「Gemini の研究成果を小さく蒸す」位置づけで、Google ブログは "Built from the same world-class research and technology as Gemini 3" と述べる。リリース 3 か月後の 2026-07 に技術報告（arXiv:2607.02770）が出て、アーキテクチャと学習インフラが明らかになった（学習トークン数は本文に明記なし）。
2. Qwen の技術的バックグラウンド¶
2-1. 骨格: 「線形注意 3 層 + 普通の注意 1 層」の繰り返し¶
Qwen3.5 以降の全モデルカードに同じ形の hidden layout が書かれている。
[ Gated DeltaNet → MoE/FFN ] ×3 ← 線形注意（状態が固定サイズ。KV キャッシュが伸びない）
[ Gated Attention → MoE/FFN ] ×1 ← 通常の softmax 注意（正確な検索・コピーを担保）
× N ブロック
| モデル | 層数 | layout | hidden | 総 / 活性 | 文脈 |
|---|---|---|---|---|---|
| Qwen3.5-397B-A17B | 60 | 15 × (3 GDN + 1 GA) | 4096 | 397B / 17B | 262K（YaRN で 1.01M） |
| Qwen3.8-Max | 92 | 23 × (3 GDN + 1 GA) | 8192 | 2.4T / 95B | 262K（同 1.01M） |
| Qwen3.8-27B | 64 | 16 × (3 GDN + 1 GA)、FFN は dense | 5120 | 27B / 27B | 262K（同 1M） |
| Qwen3.8-Flash-Next | 48 | 12 × (3 GDN + 1 QSA) | 2560 | 125B / 6B（+n-gram 51B） | 262K（同 1M） |
Gated DeltaNet（GDN）の直感: 「過去のトークンを全部メモしておく（KV キャッシュ）」代わりに、固定サイズのメモ帳（状態行列）を、予測が外れた分だけ書き換える（delta rule）。さらにゲートで「古いメモを忘れる量」を調整する。トークン数 n に対してメモリが O(1)、計算が O(n) なので長文脈で効く。弱点は「正確な位置の情報を丸ごと引く」タスク（needle 系）で、これを 4 層に 1 層の通常注意で補う、というのが 3:1 の意味。
Gated Attention の直感: 注意の出力にシグモイドのゲートを掛けるだけ。これで「意味のない先頭トークンに注意が溜まる attention sink」が消え、学習が安定し長文脈外挿もしやすくなる（Qwen チームの論文、NeurIPS 2025）。KV ヘッドは 2〜4 本と極端に少ない GQA で、残る full attention 層の KV キャッシュもさらに削っている。
2-2. 超スパース MoE¶
MoE（Mixture of Experts）とは — 一言で¶
「全員参加の会議をやめ、議題ごとに詳しい人を数人だけ呼ぶ」。モデル全体は巨大でも、1 トークンの処理で実際に動くのはごく一部。
Transformer の各層にある FFN（全結合層）を、dense では 1 個を全トークンが通る。MoE ではこれを「専門家（expert）」として何百個も並べ、手前のルーター（router）がトークンごとに担当を選ぶ。
- ルーター: トークンごとに「どの専門家が向いているか」をスコア化し上位 k 個を選ぶ（token-choice top-k）。ルーター自体も学習で決まる。逆に「専門家がトークンを選ぶ」Expert Choice 方式もある（Zhou et al. 2022）。
- 共通専門家（shared expert）: 全トークンが必ず通る専門家。どの分野でも使う汎用知識を引き受け、他の専門家を専門特化させる（DeepSeekMoE が導入）。
- 細粒度化（fine-grained）: 「大きい専門家を少数」より「小さい専門家を大量」に分けると組み合わせ数が増え、専門化が進む。初期の Mixtral は 8 個中 2 個、Qwen3.5 以降は 512 個中 10+1 個。
何が嬉しいか — 知識容量と計算量の分離¶
| モデル | 総パラメータ（知識容量） | 活性パラメータ（1 トークンの計算） | 活性率 |
|---|---|---|---|
| Qwen3.5-397B-A17B | 397B | 17B | 約 4.3% |
| Qwen3.8-Max | 2.4T | 95B | 約 4.0% |
| Qwen3.8-Flash-Next | 125B | 6B | 約 4.8% |
| Gemma 4 26B A4B | 25.2B | 3.8B | 約 15% |
| Qwen3.8-27B（dense） | 27B | 27B | 100% |
名前の「A17B」は Active 17B。397B 分の知識を持ちながら、推論の計算量は 17B dense 並み。
代償・難所¶
| 論点 | 中身 | 対処の系譜 |
|---|---|---|
| メモリは減らない | 全専門家を GPU に常駐させる必要がある。計算は 17B 相当でもメモリは 397B 分 | 専門家並列（GShard）、量子化、オフロード |
| 負荷の偏り（load imbalance） | ルーターが一部の専門家ばかり選ぶと他が育たず、分散学習で特定 GPU が詰まる | 補助損失（Shazeer 2017 / Switch）→ 補助損失なしのバイアス調整（DeepSeek-V3）→ グローバルバッチでの均衡化（Qwen, Qiu et al. 2025） |
| 学習の不安定さ | ルーターのロジットが発散しやすい | router z-loss（ST-MoE） |
| 難問では活性量が効く | Gemma 4 26B A4B は AIME で 31B dense とほぼ同点（88.3 vs 89.2）だが、HLE（8.7 vs 19.5）・長文脈 MRCR（44.1 vs 66.4）で大きく劣る | 活性パラメータを増やす / dense と使い分け |
- 対照的に Qwen3.8-27B は dense。単一 GPU（4bit で 24GB 級）に載せる用途を優先した「配りやすい」モデル。
2-3. その他の共通部品¶
| 部品 | 中身 | 何が嬉しいか |
|---|---|---|
| MTP（Multi-Token Prediction） | 複数ステップ先を予測するヘッドを学習 | 推測デコード（speculative decoding）のドラフトに使え、生成が速くなる |
| 語彙 248,320 | 201 言語・方言をカバー（3.5 以降） | 多言語でのトークン効率 |
| ネイティブ多モーダル | 3.5 から early fusion。「テキストのみ学習に対しほぼ 100% の学習効率」と主張 | VL を後付けせず最初から混ぜる |
| RL のスケール | 「百万規模のエージェント環境」で非同期 RL（3.5 モデルカード） | エージェント系ベンチ（SWE / Terminal / OSWorld）の伸びの源泉 |
| thinking 制御 | reasoning_effort（xhigh / medium / low）、preserve_thinking（過去ターンの思考を保持） |
3.8 で API 的な推論量制御が入った |
2-4. 次世代: Qwen3.8-Flash-Next（＝Qwen 4 の先行版と目される）¶
技術報告 "On the Design of Qwen3.8-Next Architecture"（arXiv:2608.30320、2026-08-31、36 名）の 4 つの変更点:
| 変更 | 中身 | 直感 |
|---|---|---|
| QSA（Qwen Sparse Attention） | 継続事前学習の途中で full attention 層を置換。軽量インデクサ（MQA 4Q/1K）がマイクロブロック単位で文脈をスコアし、上位 512 ブロック（2048 トークン）だけに注意 | 「全部読む」をやめ、目次を引いてから該当ページだけ読む。DeepSeek の sparse attention 系と同じ発想 |
| N-gram embedding | 層 2 に 1 枚。bigram/trigram 2,000 万エントリ、51B パラメータ。テーブルはホストメモリに置き、計算と並行して非同期プリフェッチ | 「よく出る語の並び」は計算せず辞書引きで済ます。GPU メモリを食わずに容量を足す |
| Gated Residual | 残差ストリームを 4 本に広げ、要素ごとのゲートで読み出す（bottleneck rank 320） | 層間の情報の通り道を太くする（hyper-connections 系） |
| Muon オプティマイザ | 上記と組み合わせると最適学習率・バッチサイズが上にずれ、バッチサイズ warmup が不要になり、ストレステストで安定性が大きく改善 | 大規模学習の「発散しないための儀式」を減らす |
効率の主張（論文 abstract）: 397B-A17B の前任と比べて 活性パラメータ 1/3、学習トークン 1/3、学習 FLOPs 約 1/9 で、事前学習ベンチ 14 本中 8 本で上回り、残りも最大 2.6pt 差。n-gram 語彙を増やすと loss は単調に下がるが、下流精度は飽和する（＝辞書を大きくすれば無限に賢くなるわけではない）。
3. Gemma の技術的バックグラウンド¶
3-1. ラインナップと「E（Effective）」の意味¶
| モデル | 種別 | 層 | 文脈 | sliding window | モダリティ | パラメータ |
|---|---|---|---|---|---|---|
| E2B | dense | 35 | 128K | 512 | テキスト・画像・音声・動画 | 実効 2.3B（埋め込み込み 5.1B） |
| E4B | dense | 42 | 128K | 512 | 同上 | 実効 4.5B（同 8B） |
| 12B Unified | dense・エンコーダレス | 48 | 256K | 1024 | テキスト・画像・音声 | 11.95B |
| 26B A4B | MoE（128 専門家、8 + 1 shared） | 30 | 256K | 1024 | テキスト・画像・動画 | 25.2B / 3.8B 活性 |
| 31B | dense | 60 | 256K | 1024 | テキスト・画像・動画 | 31B |
語彙は全モデル共通 262K、学習データは 140 言語超（すぐ使えるのは 35+ 言語）、知識カットオフ 2025-01、ライセンスは Gemma 4 から Apache 2.0（Gemma 3 までは独自の Gemma Terms）。
3-2. 注意: 「近所だけ見る層」と「全体を見る層」の交互¶
- KV キャッシュの大半を「直近 512/1024 トークン分」で頭打ちにでき、長文脈でもメモリが膨らみにくい。Gemma 2 から続く Google の定番手法。比率は Gemma 3 と同じ local:global = 5:1（E2B のみ 4:1）（Gemma 4 技術報告）。
- Dual RoPE: local 層は通常の RoPE（周波数 10k）、global 層は p-RoPE（p = 0.25、周波数 1M）で長文脈に強くする。
- K = V（global 層）: global 注意層ではキーをそのまま値として再利用する（E2B/E4B を除く）。p-RoPE と合わせて global KV キャッシュを 37.5% 削減。
- Shared KV cache: 最後の数層は自前の K/V を持たず、同じ注意タイプの直前の層の K/V を使い回す。共有比は E2B で 20/35 層、E4B で 18/42 層。
- その他: pre-norm と post-norm の両方に RMSNorm、QK-Norm を採用。
Qwen との対比で言うと、Qwen は「メモ帳を固定長に圧縮」（線形注意）、Gemma は「見る範囲を固定長に制限」（sliding window）。どちらも「全層が全文脈を見る」のをやめて KV を削っている点は同じ。
3-3. PLE（Per-Layer Embeddings）— 端末に載せるための技¶
- Gemma 3n で導入。各デコーダ層に、トークンごとの低次元埋め込みを別経路で注入する。
- この埋め込みテーブルはアクセラレータに常駐させなくてよい（CPU/ストレージから引ける）ので、「実効パラメータ」は 2.3B だが、知識容量は 5.1B 分という分離が成立する。E2B/E4B の「E」はこれ。
- Qwen Flash-Next の N-gram embedding（ホストメモリに置く辞書）と発想が完全に同じ。2026 年の両陣営が「埋め込み＝辞書引きは GPU の外へ」に収束しているのは興味深い。
3-4. 多モーダルの作り¶
- 画像: 学習可能な 2D 位置 ＋ 多次元 RoPE。アスペクト比を保持し、画像トークン予算を 70 / 140 / 280 / 560 / 1120 から選べる（＝速度と精度のつまみ）。
- 音声（E2B/E4B）: USM 系 conformer エンコーダ。音楽・環境音は学習していない。
- 12B Unified: 視覚・音声エンコーダを持たず、生パッチと波形を線形射影でそのままデコーダに入れる（6 月追加の新方式）。
- Gemma 3n にあった AltUp は「複雑で効果が決定的でない」として不採用。
3-5. 学習レシピ（Gemma 4 技術報告 arXiv:2607.02770 より）¶
| 項目 | 内容 |
|---|---|
| 事前学習 | 「Gemma 3 と同様の事前学習」。データは Web 文書・コード・画像・音声（E2B/E4B/12B のみ）、カットオフ 2025-01。ベンチ汚染除去・安全性・暗唱リスクでフィルタ |
| 学習トークン数・蒸留 | 本文 1〜8 ページでは明記なし（付録は未確認）。Gemma 3 は蒸留を使っていたので同系統と推測されるが未確認 |
| トークナイザ | Gemini と同じ SentencePiece（数字分割・空白保持・バイトフォールバック）、語彙 262k |
| 計算資源 | E2B: TPU v6e 4,096 枚 / E4B: v6e 6,144 / 12B: v4 12,288 / 26B-A4B: v6e 6,144 / 31B: v6e 10,240。JAX + Pathways、ZeRO-3 相当のオプティマイザ状態分割 |
| 事後学習 | 「Gemma 3 と同様」＋ thinking モードの追加。帰属・ヘッジ・拒否の例を混ぜるとハルシネーションが減る、と記述 |
| エンコーダ | 学習中は視覚（150M / 550M）・音声（305M）エンコーダを凍結。音声エンコーダは Gemma 3n の 680M から 305M へ 55% 削減 |
| 12B Unified | 画像は 48×48×3 パッチを 35M パラメータの行列 1 枚で埋め込みへ射影、音声は 16kHz・40ms チャンク（640 次元）をそのまま射影 |
| MTP ドラフタ | 本体の最終層活性と埋め込みを入力にする 4 層の小型 Transformer。本体の KV を cross-attend する。推測デコード用 |
| QAT | 量子化を意識した学習。モバイル向け（int2/int4 混在 + int8 活性）と Q4_0 の 2 系統を配布 |
メモリ実測（テキストのみ、32k 文脈）: 31B は bf16 で 64.0GB、Q4_0 で 19.2GB（KV +1.10GB）。26B-A4B は 52.0GB → 16.2GB。12B は 24.0GB → 7.65GB。E2B はモバイル量子化で 0.8GB。
長文脈（RULER 128k）: 31B 96.4 / 26B-A4B 89.8 / 12B 91.2 / E4B 86.6 / E2B 70.4。Gemma 3 27B は 66.0 なので、5:1 構成のまま大きく改善している。
4. 性能（すべてベンダー自己申告）¶
4-1. Gemma 4（instruction-tuned、2026-04）¶
| ベンチ | 31B | 26B A4B | 12B Unified | E4B | E2B | Gemma 3 27B |
|---|---|---|---|---|---|---|
| MMLU Pro | 85.2 | 82.6 | 77.2 | 69.4 | 60.0 | 67.6 |
| AIME 2026（ツールなし） | 89.2 | 88.3 | 77.5 | 42.5 | 37.5 | 20.8 |
| GPQA Diamond | 84.3 | 82.3 | 78.8 | 58.6 | 43.4 | 42.4 |
| LiveCodeBench v6 | 80.0 | 77.1 | 72.0 | 52.0 | 44.0 | 29.1 |
| Codeforces ELO | 2150 | 1718 | 1659 | 940 | 633 | 110 |
| Tau2（平均） | 76.9 | 68.2 | 69.0 | 42.2 | 24.5 | 16.2 |
| HLE（ツールなし） | 19.5 | 8.7 | 5.2 | — | — | — |
| MMMU Pro | 76.9 | 73.8 | 69.1 | 52.6 | 44.2 | 49.7 |
| MRCR v2 8-needle 128K | 66.4 | 44.1 | 43.4 | 25.4 | 19.1 | 13.5 |
- LMArena テキスト: 31B ≈ 1452（公開時オープンモデル 3 位）、26B A4B ≈ 1441（同 6 位）。「26B が約 20 倍のサイズのモデルに勝つ」と Google は主張。
- 技術報告（2026-06-19 時点）では 31B が総合 43 位・1451、26B-A4B が 61 位・1438。同じ表で Qwen3.5-397B-A17B は 57 位・1444。dense のオープンモデルでは 31B が首位。上位は GLM・Kimi・DeepSeek V4 など 744B〜1.6T 級の MoE が占める。
- 26B A4B は活性 3.8B で 31B dense に肉薄（AIME 88.3 vs 89.2）。ただし HLE（8.7 vs 19.5）と長文脈 MRCR（44.1 vs 66.4）は明確に落ちる＝「難問の知識」と「長文脈の正確な検索」は活性パラメータ・層数に効く。
- bf16 の 26B/31B は H100 80GB 1 枚に載る。E2B/E4B はスマホ・Raspberry Pi・Jetson Orin Nano でオフライン動作を想定。
4-2. Qwen3.5-397B-A17B（2026-02、Apache 2.0）— 当時のクローズド勢と比較¶
| ベンチ | GPT-5.2 | Claude 4.5 Opus | Gemini-3 Pro | Qwen3.5 |
|---|---|---|---|---|
| MMLU-Pro | 87.4 | 89.5 | 89.8 | 87.8 |
| GPQA | 92.4 | 87.0 | 91.9 | 88.4 |
| HLE | 35.5 | 30.8 | 37.5 | 28.7 |
| SWE-bench Verified | 80.0 | 80.9 | 76.2 | 76.4 |
| LiveCodeBench v6 | 87.7 | 84.8 | 90.7 | 83.6 |
| TAU2-Bench | 87.1 | 91.6 | 85.4 | 86.7 |
| OCRBench | 80.7 | 85.8 | 90.4 | 93.1 |
| OSWorld-Verified | 38.2 | 66.3 | — | 62.2 |
→ 当時の時点で「総合ではクローズドに半歩遅れ、OCR・文書・VL では上回る」位置。
4-3. Qwen3.8 世代（2026-08）¶
Qwen3.8-27B（dense、Apache 2.0） — 同サイズ前世代との差が大きい:
| ベンチ | Qwen3.8-27B | Qwen3.6-27B | Opus 4.6 Max |
|---|---|---|---|
| Terminal Bench 2.1 | 73.0 | 63.4 | 78.2 |
| SWE-bench Pro | 61.7 | 53.5 | 53.4 |
| GPQA Diamond | 89.2 | 87.8 | 91.3 |
| HLE | 30.8 | 24.0 | 40.0 |
| LiveCodeBench v6 | 90.3 | 83.9 | 88.8 |
| OSWorld-Verified | 84.3 | 63.9 | 72.7 |
| IFBench | 79.5 | 69.1 | 62.5 |
Qwen3.8-Flash-Next（活性 6B）: SWE-bench Pro 62.5、LCB v6 91.9、GPQA 91.7、HLE 35.9。活性 6B で 27B dense をほぼ全項目で上回るのが新アーキの効き目の主張。DeepSeek-V4-Flash（284B-A13B）とも互角以上。ライセンスは qwen-community-1.0（Apache ではない）。
Qwen3.8-Max（2.4T-A95B、重み公開、ライセンス "qwen3.8-max"） — 2026-08 時点のクローズドフロンティアとの比較:
| ベンチ | Opus 4.8 | Fable 5 | GPT 5.6 Sol (max) | Qwen3.8-Max |
|---|---|---|---|---|
| Terminal Bench 2.1 | 84.6 | 84.6 | 88.8 | 86.6 |
| SWE-bench Pro | 69.2 | 80.0 | 64.6 | 67.7 |
| GPQA Diamond | 92.0 | 92.6 | 94.1 | 92.6 |
| HLE | 45.7 | 53.3 | 47.2 | 43.6 |
| IFBench | 62.2 | 63.5 | 72.7 | 82.8 |
| MRCR v2 256K | 83.2 | — | 93.8 | 92.9 |
→ 「エージェント・指示追従・長文脈では並ぶか上回る、HLE（難問知識）と一部 SWE ではまだ差」。重み公開版はテキストのみ・thinking 常時オン。
4-4. 同サイズ帯の横比較（参考）¶
| ベンチ | Gemma 4 31B（2026-04） | Qwen3.8-27B（2026-08） |
|---|---|---|
| GPQA Diamond | 84.3 | 89.2 |
| LiveCodeBench v6 | 80.0 | 90.3 |
| HLE（ツールなし） | 19.5 | 30.8 |
数字上は Qwen が上だが、4 か月の時期差があり、評価ハーネス・thinking 設定・推論予算も揃っていない。公平な比較には同条件で自分で回す必要がある（後述）。
5. 両者を貫く設計思想の対比¶
| 観点 | Qwen | Gemma |
|---|---|---|
| 狙い | フロンティア性能をオープンで取りに行く（〜2.4T まで） | 31B 以下・単一 GPU / 端末での賢さ密度 |
| KV 削減の手段 | 線形注意（GDN）3:1 ＋ 少数 KV ヘッド ＋（次世代）QSA | sliding window ＋ 末尾層の KV 共有 ＋ Dual RoPE |
| 計算削減 | 512 専門家の超スパース MoE（活性 4〜5%） | 128 専門家 MoE は 26B のみ。主力は dense |
| 埋め込みの外出し | N-gram embedding（ホストメモリ、Flash-Next） | PLE（E2B/E4B） |
| 多モーダル | early fusion で最初から混ぜる | 画像エンコーダ ＋ 音声 conformer、12B はエンコーダレス |
| 学習情報の開示 | モデルカードに layout を詳細に公開。ただし 3.5〜3.8 本体の総合技術報告はなく、設計論文（Flash-Next）と Omni 報告で補う | 技術報告でアーキ・TPU 構成・QAT まで公開。学習トークン数は本文に明記なし |
| 強み領域 | コーディングエージェント・GUI 操作・OCR/文書・指示追従 | 端末実行・多言語・Arena での人間評価 |
| ライセンス | モデルごとに異なる（Apache / community / max） | 全モデル Apache 2.0 |
6. 学ぶ順番（おすすめ読書パス）¶
- Gated DeltaNet 論文（Yang et al., ICLR 2025）→ 線形注意と delta rule の直感を掴む
- Gated Attention 論文（Qwen チーム、NeurIPS 2025）→ 出力ゲートで attention sink が消える理由
- Qwen3.5-397B-A17B のモデルカード → 上記 2 つが実機でどう組まれたか（hidden layout を読む）
- arXiv:2608.30320（Qwen3.8-Next 技術報告） → QSA・N-gram・Gated Residual・Muon。「次の標準」の候補
- Gemma 4 技術報告（arXiv:2607.02770、本文 8 ページ） → sliding window 5:1・p-RoPE・K=V・KV 共有・MTP ドラフタ・QAT。HF ブログは導入用
- Gemma 3n の PLE 解説 → 「実効パラメータ」の考え方。N-gram embedding と並べて読むと効く
- 手を動かす:
local_llm_studyで Gemma 4 26B A4B と Qwen3.8-27B（4bit, 24GB 級 GPU）を同一プロンプト・同一推論予算で比較する。自分のタスク（金融ニュースからの五つ組抽出など）で測るのが最も信頼できるベンチ
7. 論文マップ（arXiv 番号はすべて本体ページで確認済み）¶
7-1. MoE の系譜¶
1991 Jacobs+ 「Adaptive Mixtures of Local Experts」（MoE の原点、ニューラルネット以前の発想）
└─ 2017 Shazeer+ Sparsely-Gated MoE ……… 「top-k で一部だけ動かす」を LSTM で実証
└─ 2020 GShard ……………………… Transformer に入れて 600B へ、専門家並列
└─ 2021 Switch Transformer …… top-1 に単純化し 1.6T へ
├─ 2022 ST-MoE ………… 安定化（router z-loss）
└─ 2022 Expert Choice … 専門家側がトークンを選ぶ
└─ 2024 Mixtral 8x7B … オープン MoE の普及
└─ 2024 DeepSeekMoE …… 細粒度化 + 共通専門家 ← 今の Qwen の直系の祖先
├─ 2024 補助損失なし負荷分散 → DeepSeek-V3 で採用
└─ 2025 Qwen「Demons in the Detail」…… グローバルバッチで均衡化
| 年 | 論文 | 何を変えたか | arXiv |
|---|---|---|---|
| 2017 | Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer（Shazeer+） | 疎ゲートで「一部の専門家だけ動かす」を実用化。補助損失で負荷分散 | 1701.06538 |
| 2020 | GShard（Lepikhin+） | Transformer への MoE 導入と自動シャーディング、top-2 | 2006.16668 |
| 2021 | Switch Transformers（Fedus+） | top-1 ルーティングで単純化し兆パラメータへ | 2101.03961 |
| 2022 | ST-MoE（Zoph+） | 学習安定化（router z-loss）と転移性能 | 2202.08906 |
| 2022 | Mixture-of-Experts with Expert Choice Routing（Zhou+, NeurIPS） | 専門家がトークンを選ぶ逆向きルーティング | 2202.09368 |
| 2024 | Mixtral of Experts（Jiang+） | 8 専門家中 2 個のオープン MoE | 2401.04088 |
| 2024 | DeepSeekMoE（Dai+, ACL） | 細粒度専門家 + 共通専門家。現在の主流設計 | 2401.06066 |
| 2024 | Scaling Laws for Fine-Grained MoE（Krajewski+） | 細粒度化の度合いを含めたスケーリング則 | 2402.07871 |
| 2024 | Auxiliary-Loss-Free Load Balancing（Wang+） | 補助損失なしで、専門家ごとのバイアスで負荷を均す | 2408.15664 |
| 2024 | OLMoE（Muennighoff+） | データ・コード・ログまで完全公開の MoE。中身を追う教材に最適 | 2409.02060 |
| 2024 | DeepSeek-V3 Technical Report | 671B MoE で上記の手法を統合した実機 | 2412.19437 |
| 2025 | Demons in the Detail（Qiu+, Qwen チーム） | 負荷分散損失をグローバルバッチで計算し専門化を促す | 2501.11873 |
| 2024 | A Survey on Mixture of Experts in LLMs（Cai+） | 全体の地図。最初に眺める用 | 2407.06204 |
7-2. 注意機構・その他（Qwen / Gemma の部品）¶
| 部品 | 論文 | arXiv |
|---|---|---|
| Gated DeltaNet（Qwen の線形注意） | Gated Delta Networks: Improving Mamba2 with Delta Rule（Yang+, ICLR 2025） | 2412.06464 |
| Gated Attention（Qwen の通常注意） | Gated Attention for LLMs: Non-linearity, Sparsity, and Attention-Sink-Free（Qiu+, NeurIPS 2025） | 2505.06708 |
| QSA の発想元 | Native Sparse Attention（Yuan+, DeepSeek, ACL 2025） | 2502.11089 |
| N-gram embedding の発想元 | Conditional Memory via Scalable Lookup: A New Axis of Sparsity for LLMs（Cheng+, 2026-01） | 2601.07372 |
| Gated Residual の発想元 | Hyper-Connections（Zhu+） | 2409.19606 |
| Muon オプティマイザ | Muon is Scalable for LLM Training（Liu+, Moonshot） | 2502.16982 |
| Qwen 本体 | Qwen3 Technical Report（Yang+） | 2505.09388 |
| Qwen 次世代 | On the Design of Qwen3.8-Next Architecture | 2608.30320 |
| Gemma 本体 | Gemma 4 Technical Report（7-3 参照） | 2607.02770 |
※「発想元」は Qwen 側が明示的に引用したかを確認したものではなく、設計の類似から筆者が対応づけたもの。
7-3. Qwen / Gemma の技術報告（公式）¶
Qwen
| 報告 | 時期 | 中身 | arXiv |
|---|---|---|---|
| Qwen Technical Report | 2023-09 | 初代 Qwen | 2309.16609 |
| Qwen2 Technical Report | 2024-07 | Qwen2 | 2407.10671 |
| Qwen2.5 Technical Report | 2024-12 | Qwen2.5 | 2412.15115 |
| Qwen3 Technical Report | 2025-05 | thinking と非 thinking の統合、MoE（235B-A22B）。素の Transformer 世代の最終形 | 2505.09388 |
| Qwen3-Omni Technical Report | 2025-09 | Thinker-Talker 構成の全モダリティモデル | 2509.17765 |
| Qwen3-VL Technical Report | 2025-11 | 視覚言語。DeepStack、interleaved-MRoPE、256K | 2511.21631 |
| Qwen3.5-Omni Technical Report | 2026-04 | ハイブリッド注意 MoE を報告書で読める唯一の 3.5 系資料 | 2604.15804 |
| On the Design of Qwen3.8-Next Architecture | 2026-08 | Flash-Next の設計（QSA・N-gram・Gated Residual・Muon） | 2608.30320 |
- Qwen3.5〜3.8 本体（テキスト）の総合技術報告は見つからない（2026-10-18 時点の検索）。本体の情報源はブログと HF モデルカード。ハイブリッド注意の中身は Qwen3.5-Omni 報告と Qwen3.8-Next 設計論文で補う。
Gemma
| 報告 | 時期 | 中身 | arXiv |
|---|---|---|---|
| Gemma: Open Models Based on Gemini Research and Technology | 2024-03 | Gemma 1 | 2403.08295 |
| Gemma 2: Improving Open Language Models at a Practical Size | 2024-07 | local/global 交互注意、知識蒸留を導入 | 2408.00118 |
| Gemma 3 Technical Report | 2025-03 | local:global 5:1、多モーダル化、128K | 2503.19786 |
| Gemma 4 Technical Report | 2026-07（v2: 07-24） | 3-2〜3-5 に反映済み。K=V、p-RoPE、MTP ドラフタ、QAT、エンコーダレス 12B | 2607.02770 |
7-4. 読む順番（MoE 編）¶
- Survey（2407.06204）で全体の地図を掴む
- Switch Transformer → 「top-k で一部だけ動かす」「負荷分散損失」の基本
- DeepSeekMoE → 細粒度 + 共通専門家（今の Qwen の直接の祖先）
- OLMoE → 完全公開なので、ルーティングの偏りを実際のログで確かめられる
- Auxiliary-Loss-Free → Demons in the Detail → 負荷分散の最前線
8. まとめ — 一言で / いつどちらを使うか¶
一言で: 2026 年のオープンモデルは「全文脈を全層で見る Transformer をやめ、記憶（KV・埋め込み）を圧縮・外出しする競争」。Qwen はそれを規模の天井まで押し上げ、Gemma は手のひらに収める方向で押し進めている。
| 状況 | 推奨 |
|---|---|
| ローカル 1 GPU でコーディング / エージェント性能を最大化 | Qwen3.8-27B（Apache 2.0） |
| 活性パラメータを極小にしてスループット重視（サーバ） | Qwen3.8-Flash-Next（ライセンス要確認）/ Gemma 4 26B A4B |
| スマホ・エッジ・オフライン、音声入力も | Gemma 4 E2B / E4B |
| ライセンスを Apache で統一したい（商用・再配布） | Gemma 4 全般、Qwen は 27B / 3.5 系のみ |
| 長文脈（128K〜）で正確な検索が要る | Qwen 系（MRCR が高い）。Gemma なら 31B（26B A4B は弱い） |
| アーキテクチャ研究の題材 | Qwen（技術報告と layout が詳細に公開） |
注意: ここの数値は全てベンダー自己申告。Qwen3.8 系は独立検証がまだ少ない（二次情報でも「independent evaluation pending」とされている）。
参考リンク¶
Qwen¶
- Qwen3.5-397B-A17B モデルカード: https://huggingface.co/Qwen/Qwen3.5-397B-A17B
- Qwen3.8-27B モデルカード: https://huggingface.co/Qwen/Qwen3.8-27B
- Qwen3.8-Max（2.4T-A95B）モデルカード: https://huggingface.co/Qwen/Qwen3.8-2.4T-A95B
- Qwen3.8-Flash-Next モデルカード: https://huggingface.co/Qwen/Qwen3.8-Flash-Next
- On the Design of Qwen3.8-Next Architecture（arXiv:2608.30320）: https://arxiv.org/abs/2608.30320
- Qwen ブログ（Flash-Next）: https://qwen.ai/blog?id=qwen3.8-flash-next
- Qwen3.5-Omni Technical Report: https://arxiv.org/html/2604.15804v1
- Gated Delta Networks（arXiv:2412.06464）: https://arxiv.org/abs/2412.06464
- Gated Attention for Large Language Models（arXiv:2505.06708）: https://arxiv.org/abs/2505.06708
- Qwen 4 の発表に関する二次情報（未確認）: https://www.yottalabs.ai/post/qwen-4-release-date-what-is-known-how-to-prepare-2026
Gemma¶
- Gemma 4 Technical Report（arXiv:2607.02770）: https://arxiv.org/abs/2607.02770
- Welcome Gemma 4（Hugging Face ブログ）: https://huggingface.co/blog/gemma4
- Gemma 4 公式モデルカード: https://ai.google.dev/gemma/docs/core/model_card_4
- Gemma 4: Byte for byte, the most capable open models（Google ブログ）: https://blog.google/innovation-and-ai/technology/developers-tools/gemma-4/
- Gemma 4: Expanding the Gemmaverse with Apache 2.0: https://opensource.googleblog.com/2026/03/gemma-4-expanding-the-gemmaverse-with-apache-20.html
- PyImageSearch による Gemma 4 解説（二次）: https://pyimagesearch.com/2026/06/22/google-deepminds-gemma-4-moe-efficiency-tricks-and-benchmarks/
作成: 2026-10-17 ／ 最終更新: 2026-10-18