ディープラーニング (47件)

カテゴリ一覧へ戻る

アテンション (Attention)

文章のどこに注目するかを決める仕組みです。

アテンションヘッド (Attention Head)

アテンション機構を複数並列に走らせる、その1本1本のことです。

位置エンコーディング (Positional Encoding)

単語の「順番」をTransformerに教えるための小細工です。

MoE (Mixture of Experts)

「専門家ネットワークを必要なものだけ動かす」効率化テクのことです。

MQA (Multi-Query Attention)

アテンションの Key/Value を1セットに統合して計算量を減らす技法です。

LSTM (Long Short-Term Memory)

長い系列でも昔の情報を覚えていられるように改良された、RNNの後継アーキテクチャです。

エンベディング (Embedding)

言葉や画像を「数字の並び」に変換することです。

オートエンコーダ (Autoencoder)

入力を一度ぎゅっと圧縮して、また元に戻す訓練を通じて、データの本質を学ぶニューラルネットです。

拡散モデル (Diffusion Model)

ノイズから少しずつ画像を浮かび上がらせるタイプの生成AIです。

隠れ層 (Hidden Layer)

ニューラルネットの入口と出口の間にある、中間の層のことです。

活性化関数 (Activation Function)

ニューラルネットの中で「次の層にどう信号を渡すか」を決める関数です。

KAN (Kolmogorov-Arnold Network)

2024年に発表された、Transformer以来のNN代替候補と話題になった新型構造です。

Gaussian Splatting (Gaussian Splatting)

NeRFの後継、写真から超リアルな3Dシーンを高速で作る手法です。

CLIP (Contrastive Language-Image Pretraining)

画像と文章を「同じ意味空間に並べる」ように学習させた、画像生成AIの土台です。

KVキャッシュ (KV Cache)

LLMの推論を高速化するための、内部のメモ書き保存領域です。

勾配消失問題 (Vanishing Gradient Problem)

深いネットワークで学習信号が層を伝わるうちに消えてしまう古典的問題です。

勾配爆発問題 (Exploding Gradient Problem)

勾配が学習中にどんどん巨大化して、モデルが発散してしまう現象です。

再帰型ニューラルネットワーク (Recurrent Neural Network (RNN))

順番のあるデータ向けの、ちょっと昔のニューラルネット構造です。

残差接続 / ResNet (ResNet / Residual Network)

2015年、深いネットワークの学習を可能にした記念碑的アーキテクチャです。

シグモイド関数 (Sigmoid Function)

数字を0〜1の範囲に押し込める、古典的な活性化関数です。

GeLU (Gaussian Error Linear Unit)

TransformerやLLMの中で標準的に使われている活性化関数です。

自己アテンション (Self-Attention)

文章内の単語同士で「お互いを見比べる」アテンションのことです。

GAN (Generative Adversarial Network)

「贋作師」と「鑑定士」を競わせて画像を作らせる仕組みです。

GQA (Grouped-Query Attention)

アテンションの計算を効率化するための、改良されたアテンション方式です。

推論サーバ (Inference Server)

AIモデルを大量のユーザーに効率よく配るためのサーバソフトです。

スキップ接続 (Skip Connection)

層をすっ飛ばして信号を後ろに渡す、深いNNを学習可能にする工夫です。

潜在空間 (Latent Space)

AIが内部で「意味」を表現している多次元の数字の海のことです。

ソフトマックス関数 (Softmax Function)

数字の並びを「合計1の確率」に変換する関数です。

畳み込みニューラルネットワーク (Convolutional Neural Network (CNN))

画像を扱うのが得意なニューラルネットの構造です。

DeepSeek (DeepSeek)

中国発の、コスト効率の高いオープンソースLLMです。

ディープラーニング (Deep Learning)

何層も重ねたニューラルネットワークで学習する手法のことです。

投機的デコード (Speculative Decoding)

小さいモデルが先に予測して、大きいモデルが確認する高速化手法です。

Transformer (Transformer)

現代のLLMの土台になっているAIの基本構造です。

ドロップアウト (Dropout)

学習中にランダムにニューロンを「サボらせる」過学習対策です。

NeRF (Neural Radiance Fields)

数枚の写真から3Dシーンを再構築する、革新的な手法です。

ニューラルネットワーク (Neural Network)

脳の神経をマネしたと言われる、AIの基本パーツです。

バックプロパゲーション (Backpropagation)

損失をネット全体に逆向きに伝えて、各パラメータを調整する手法です。

BatchNorm (Batch Normalization)

各層の出力を「ミニバッチごとに正規化する」、学習を安定させる工夫です。

Vision Transformer (Vision Transformer (ViT))

画像認識にTransformerを持ち込んだ、新世代のビジョンモデルです。

1ビットLLM / BitNet (1-bit LLM / BitNet)

重みを「-1, 0, 1」の3値だけで表現する、超軽量化を狙ったLLMです。

Flash Attention (Flash Attention)

GPUメモリの動かし方を工夫してアテンション計算を爆速化する技です。

BLIP (BLIP / BLIP-2)

画像を見て文章で説明できる、Salesforce発のマルチモーダルモデルです。

マルチヘッドアテンション (Multi-Head Attention)

アテンションを複数並列で走らせる、Transformer の基本構造です。

Mamba (Mamba (Selective State Space Model))

Transformerに挑戦する、より高速な新世代のシーケンス処理アーキテクチャです。

U-Net (U-Net)

画像のどこに何があるかを画素単位で塗り分ける、セグメンテーションの定番アーキテクチャです。

LayerNorm (Layer Normalization)

各サンプル単位で出力を正規化する、Transformer御用達の手法です。

ReLU (Rectified Linear Unit)

「マイナスを0、プラスはそのまま」、ディープラーニングの定番活性化関数です。