How a Decoder LLM Works

An interactive companion to the talk. We trace one sentence — "the dog ran" — up the decoder, block by block.

Click a block to open it (or page through with ← / →).

講演のためのインタラクティブな副教材です。1つの文——「the dog ran」——がデコーダーをブロックごとに上っていく様子を追います。

ブロックをクリックすると開きます（または ← / → でページ送り）。

Read bottom → top: tokens become vectors (Embedding), each token mixes in context from earlier tokens (Attention), then is processed on its own (FFN) — repeated over N layers — to predict the next token.

下から上へ読みます：トークンがベクトルになり（Embedding）、各トークンが前のトークンから文脈を取り込み（Attention）、その後それぞれ単独で処理されます（FFN）——これを N 層くり返して、次のトークンを予測します。

Built one weight-block at a time, the same way the talk grows the diagram.

講演で図を育てていくのと同じように、重みブロックを1つずつ組み上げていきます。