大規模言語モデル (93件)

カテゴリ一覧へ戻る

アテンション (Attention)

文章のどこに注目するかを決める仕組みです。

アテンションヘッド (Attention Head)

アテンション機構を複数並列に走らせる、その1本1本のことです。

AlpacaEval (AlpacaEval)

LLMの「会話のうまさ」をAIに判定させる定番ベンチマークです。

ARC-AGI (ARC-AGI)

「本当の知能」に近いかを測ろうとしている、いまもAIが苦戦中のベンチマークです。

RLHF (Reinforcement Learning from Human Feedback)

人間がAIに「この答え好き、こっちはダメ」と評価して躾ける手法です。

RLAIF (Reinforcement Learning from AI Feedback)

人間の代わりにAIがフィードバックを返す、RLHFのAI版です。

位置エンコーディング (Positional Encoding)

単語の「順番」をTransformerに教えるための小細工です。

SFT (Supervised Fine-tuning)

「お手本のQ&A」を見せながらLLMを躾ける、ファインチューニングの基本形です。

SWE-Bench (SWE-Bench)

実際のGitHubのバグを直せるかでLLMの「ソフトウェアエンジニア力」を測るベンチマークです。

MMLU (Massive Multitask Language Understanding)

LLMの「総合学力」を測るための定番ベンチマークです。

MoE (Mixture of Experts)

「専門家ネットワークを必要なものだけ動かす」効率化テクのことです。

MQA (Multi-Query Attention)

アテンションの Key/Value を1セットに統合して計算量を減らす技法です。

MT-Bench (MT-Bench)

LLMの対話能力を「強力なAIに採点させる」方式で評価する、定番ベンチマークです。

LMSYS Arena (LMSYS Chatbot Arena)

人間がブラインドで2つのLLMを比較投票するベンチマークサイトです。

LLM-as-a-judge (LLM-as-a-judge)

LLMの出力を別のLLMに採点させる評価手法のことです。

エンベディング (Embedding)

言葉や画像を「数字の並び」に変換することです。

AIME (American Invitational Mathematics Examination)

アメリカの高校数学コンテスト、LLMの数学力ベンチマークとしても使われます。

AI Overviews (AI Overviews)

Google検索の結果ページの一番上に表示される、AIによる要約回答のことです。

温度 (Temperature)

AIの答えの「お固さ/お遊びぐあい」を調整する設定です。

核サンプリング(Top-p) (Nucleus Sampling)

次の単語候補のうち「累積確率がpになるまで」を対象にして選ぶ手法です。

機械翻訳 (Machine Translation)

コンピュータに言語間の翻訳をさせる技術のことです。

Kimi (Kimi (Moonshot AI))

中国の Moonshot AI が提供する、超長コンテキストが得意なLLMです。

QLoRA (QLoRA)

量子化とLoRAを組み合わせて、ノートPCでもLLMを微調整できるようにした手法です。

Qwen (Qwen (通義千問))

中国 Alibaba が出している、オープンウェイトのLLMシリーズです。

Claude (Claude)

Anthropic社が作っているLLMの名前です。

グラフRAG (GraphRAG)

知識をグラフ構造で表現してから検索するRAGの発展形です。

GLUE / SuperGLUE (General Language Understanding Evaluation / SuperGLUE)

言語モデルの文章理解力を、9〜10種類のタスクで総合採点するベンチマーク群です。

Grok (Grok)

イーロン・マスクのxAIが作っているLLMです。

憲法AI (Constitutional AI)

AnthropicがClaudeに使っている、原則(憲法)ベースのアラインメント手法です。

KVキャッシュ (KV Cache)

LLMの推論を高速化するための、内部のメモ書き保存領域です。

固有表現抽出 (Named Entity Recognition (NER))

文章の中から「人名・地名・組織名・日付」などを自動で抜き出す技術です。

コンテキストウィンドウ (Context Window)

AIが一度に読める文章の長さの上限のことです。

サイコファンシー / 迎合 (Sycophancy)

ユーザーに気に入られたいあまり、AIが事実より「お世辞」や「同調」を優先してしまう傾向のことです。

The Pile (The Pile)

825GBの学術系テキストを集めた、初期LLM学習データの古典的存在です。

小規模言語モデル (Small Language Model (SLM))

パラメータ数を絞った、スマホやPCでも動かせる小型の言語モデルです。

SimpleBench (SimpleBench)

「人間なら当たり前にできるのにLLMが意外と落とす」問題を集めた変わり種ベンチマークです。

自己アテンション (Self-Attention)

文章内の単語同士で「お互いを見比べる」アテンションのことです。

蒸留 (Distillation)

大きい賢いモデルの「中身のエッセンス」を小さいモデルに移す技法です。

GRPO (Group Relative Policy Optimization)

PPOから「価値関数」をなくして、グループ内の相対比較で報酬を計算する、軽量化された強化学習手法です。

GQA (Grouped-Query Attention)

アテンションの計算を効率化するための、改良されたアテンション方式です。

GGUF (GGUF)

ローカルLLM配布の標準になっている、量子化済みモデルのファイル形式です。

GPQA (Graduate-level Google-Proof Q&A)

「Googleで検索しても解けない」博士レベルの難問ベンチマークです。

GPT (Generative Pre-trained Transformer)

OpenAIが作っているLLMシリーズの名前です。

推論サーバ (Inference Server)

AIモデルを大量のユーザーに効率よく配るためのサーバソフトです。

推論モデル (Reasoning Model)

答える前にじっくり「考える」工程を持つLLMのことです。

スケーリング則 (Scaling Laws)

モデル・データ・計算量を増やすと性能が予測どおりに伸びる、という法則です。

ストリーミング (Streaming)

AIの答えが少しずつ出てくる表示の仕方のことです。

Spud (Spud)

OpenAIのLLM「GPT-5.5」の開発コードネームです。

大規模言語モデル (Large Language Model (LLM))

大量の文章を学習した、文章を続けるのが得意な巨大AIです。

ChatGPT (ChatGPT)

2022年末にAIブームの引き金を引いたチャットサービスです。

ツール利用 (Tool Use)

LLMが外部ツール(関数、API、検索など)を「自分で呼んで」使う仕組みです。

テスト時計算 (Test-time Compute)

推論時に長く考えさせることで精度を上げる、最近の主流アプローチです。

DPO (Direct Preference Optimization)

RLHFをもっとシンプルにした、選好データから直接学ぶ手法です。

投機的デコード (Speculative Decoding)

小さいモデルが先に予測して、大きいモデルが確認する高速化手法です。

Top-p / Top-k (Top-p / Top-k Sampling)

AIが次の単語を選ぶときの「候補の絞り方」の設定です。

Transformer (Transformer)

現代のLLMの土台になっているAIの基本構造です。

トークナイザー (Tokenizer)

文章をトークンに刻む装置のことです。

トークン (Token)

AIが文章を区切って数える最小単位のことです。

DoRA (Weight-Decomposed Low-Rank Adaptation)

LoRAの精度をさらに上げた、重み分解型のファインチューニング技法です。

ハルシネーション (Hallucination)

AIが自信満々で嘘をつくことです。

BERT (BERT)

2018年にGoogleが出した、Transformer革命を本格化させた言語モデルです。

パラメータ (Parameter)

モデルの中身を構成する、調整可能な数字たちのことです。

HumanEval (HumanEval)

LLMの「プログラミング能力」を測る定番ベンチマークです。

BIG-bench (Beyond the Imitation Game)

200種類以上のタスクでLLMを試す巨大ベンチマーク群です。

1ビットLLM / BitNet (1-bit LLM / BitNet)

重みを「-1, 0, 1」の3値だけで表現する、超軽量化を狙ったLLMです。

BPE (Byte-Pair Encoding)

単語を「よく一緒に出る部品」に切り分ける、トークナイザーの定番アルゴリズムです。

ビームサーチ (Beam Search)

確率の高い候補を「k本ずつ枝分かれさせて」進める古典的な生成手法です。

PPO (Proximal Policy Optimization)

強化学習の代表手法、ChatGPTのRLHFでも使われた重要アルゴリズムです。

ファインチューニング (Fine-tuning)

学習済みモデルを、特定用途向けにちょっと追加学習させる工程です。

Fable 5 (Claude Fable 5)

Anthropicが2026年6月に出した、Claudeシリーズの最上位AIモデルです。

Flash Attention (Flash Attention)

GPUメモリの動かし方を工夫してアテンション計算を爆速化する技です。

VLM (Vision-Language Model)

画像と言語を同時に理解できる、マルチモーダルLLMの総称です。

vLLM (vLLM)

オープンソースLLMの推論を爆速で動かすためのライブラリです。

BLEU (BLEU)

機械翻訳の出力を「お手本訳とどれくらい似てるか」で点数化する古典的指標です。

HELM (Holistic Evaluation of Language Models)

LLMを多面的に評価するスタンフォード発の評価フレームワークです。

ベクトル (Vector)

「数字をいくつか並べたもの」のことです。

ベースモデル / インストラクトモデル (Base Model / Instruct Model)

「素のままのモデル」と「指示に従うように躾けたモデル」の対比です。

干し草の山から針を探すテスト (Needle in a Haystack)

超長文の途中に紛れ込ませた「針」をLLMが見つけられるか、を試す評価方法です。

マルチヘッドアテンション (Multi-Head Attention)

アテンションを複数並列で走らせる、Transformer の基本構造です。

マルチモーダル (Multimodal)

テキスト・画像・音声などを同時に扱えるAIの呼び名です。

Mamba (Mamba (Selective State Space Model))

Transformerに挑戦する、より高速な新世代のシーケンス処理アーキテクチャです。

Mistral (Mistral)

フランス発の、欧州を代表するオープンソースLLMです。

Mythos 5 (Claude Mythos 5)

最上位モデルFable 5から安全の検問を外した、審査制・限定アクセスの双子です。

要約 (Summarization)

長い文章を短くまとめる、LLMが得意とする定番タスクです。

Llama (Llama)

Metaが公開しているオープンソースLLMの代表格です。

llama.cpp (llama.cpp)

LLMをC/C++で「ノートPCでも動く」よう超軽量化したオープンソース実装です。

LLaVA (Large Language and Vision Assistant)

オープンソースで動かせる、画像も理解するマルチモーダルLLMです。

量子化 (Quantization)

モデル内の数字を「ざっくり」表現して、サイズと計算量を減らす技です。

ROUGE (ROUGE)

要約や翻訳の出来を「お手本との単語かぶり」で点数化する指標です。

LoRA (Low-Rank Adaptation)

大きいモデルの一部だけを軽く調整するファインチューニング手法です。

ローカルLLM (Local LLM)

自分のPCやサーバーで動かすLLMのことです。

Word2Vec (Word2Vec)

2013年に登場した、単語をベクトルに変換する記念碑的な手法です。

ワールドモデル (World Model)

AIが「世界はこう動く」という内部モデルを持って、未来をシミュレートできる仕組みです。