DiffLlama-1B

DiffLlama-1Bは、フルスクラッチで約100Bトークン事前学習を行った約1Bパラメータの大規模言語モデルです。このモデルは、従来のTransformerアーキテクチャに対する改良として提案された「Differential Transformer」の概念を取り入れています。特に、Differential AttentionメカニズムをLlamaモデルに適用することで、注意力の焦点を関連性の高いコンテキストに向け、ノイズを低減する設計となっています。

モデルの特徴

• アーキテクチャ: LlamaモデルにDifferential Attentionメカニズムを統合。
• パラメータ数: 10億（1B）パラメータ。
• Patch-level Training: 学習コスト削減技術Patch-level Trainingを使用。
• Muon Optimizer: AdamWより収束が早いOptimizerを使うことで学習効率を2倍に(つまり実質200Bトークン学習している)。実装はこちら

学習データ

DiffLlama-1Bは以下のデータセットを用いて、合計約1000億（100B）トークンで1エポックの学習を行いました。

• hotchpotch/fineweb-2-edu-japanese: 約900億（90B）トークン。
• HuggingFaceFW/fineweb-edu: 約100億（10B）トークン。

使用方法

以下のコードスニペットは、DiffLlama-1Bモデルを使用してテキスト生成を行う方法を示しています。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline, set_seed

model = AutoModelForCausalLM.from_pretrained("kajuma/DiffLlama-1B", torch_dtype=torch.bfloat16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("kajuma/DiffLlama-1B")
generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
set_seed(123)

text = generator(
    "おはようございます、今日の天気は",
    max_length=30,
    do_sample=True,
    pad_token_id=tokenizer.pad_token_id,
    num_return_sequences=3,
)
for t in text:
    print(t)

ライセンス

このモデルはApache License 2.0の下で提供されています。

謝辞

本モデルの開発にあたり、株式会社ZEALSが提供する『生成AIエンジニア向けGPU無償提供プログラム』の支援を受けました。