01
土台
モデル・パラメータ・学習・推論
モデルは入力から予測を作る計算の仕組み。パラメータはその仕方を調整する内部の数値です。
どう働き、論文のどこで使う？
- 過去の実例からパラメータを調整するのが学習。調整後のモデルで新しい予測を出すのが推論です。
- 両論文の大枠。学習では正解と比べますが、実際の予測時には次の取引の正解は使えません。
履歴が「次の行動の予測」になるまで
14の概念を、材料・部品・設計・学習の関係としてつかむ。株式のTFTと、決済のTREASUREを、同じ地図で読み解きます。
01 ｜ まず、共通する流れと分かれ道を見る
2本とも、履歴を数値化し、関係を処理して、次の行動を予測します。
違うのは、主に「履歴処理の部品の組み方」と「答えの形式」。Transformerと次の行動予測は、同じ意味の言葉ではありません。
実線：計算・検証へ進む関係破線：学習時の正解比較・調整
原論文の設計を整理した教育用模式図。番号は下の定義と対応し、箱を押すと関連説明へ移動します。TFTの複数の静的条件付けやゲートは、図ではまとめています。左右の高さは概念上の対応であり、層数や計算量の一致を意味しません。横に収まらない場合は図の中だけスクロールできます。
推論で使うのは、入力から⑫までの計算。⑬の「正解との比較」は学習時に行います。⑭は、予測モデルが本当に役立つかを確かめる別の役割です。
02 ｜ Attentionは部品、Transformerは設計
「含む」という関係と、「計算が進む」という関係は別です。次の入れ子は部品の包含関係であり、時間の順番ではありません。
モデルの設計
⑧ 標準的なTransformer
⑦ Multi-Head Self-Attention
⑥ Attentionの参照計算を、複数組行う
⑤ 情報を加工する層
＋ 残差接続・正規化など
＋ 残差接続・正規化など
TREASUREはこの系統。⑨の因果マスクで参照先を制限します。通常のdecoder-only構成には、別入力を読むcross-attentionは必須ではありません。
複数の部品を融合するモデル
株式論文のTFT
⑪ 変数選択・静的特徴による条件付け
⑩ LSTM：状態を順番に受け渡す
⑥⑦ Attention：過去の位置を参照する
LSTMもAttentionも含みます。「Transformerという名前だから、LSTMは使わない」とは読めません。
標準的なTransformer ⇒ Attentionを使う
Attentionを使う ⇒ Transformerである、とは限らない
Attentionを使う ⇒ Transformerである、とは限らない
Transformerの何が新しかったのか、ここに結びつける
Attention自体は先にありました。元のTransformerの大きな設計上の変化は、系列に沿ったRNNの状態受け渡しを必須とせず、Attention中心の処理で高い翻訳性能を示したことです。
情報処理の経路がすべて消えたのではなく、遠くの情報へ届くために「途中を一つずつ経由する」制約を外しました。これが学習時の位置間の並列計算にもつながります。設計の変更と大規模学習のしやすさは、片方だけでなく組み合わさった貢献です。
ただしTFT全体はLSTMを含むため、この説明をそのまま当てはめません。また、学習を並列化できることと、未来の行動を全部一度に生成できることは別です。
原論文：Attention Is All You Need §1–403 ｜ Attentionは、情報を「選ぶ」だけでなく混ぜる
たとえば過去の3取引を参照するとします。以下の重み・数値は仕組みを説明するための仮の例で、どちらの論文の実測値でもありません。
過去の取引A
取り込む値：10参照の重み：20%
取り込む値：10参照の重み：20%
過去の取引B
取り込む値：20参照の重み：30%
取り込む値：20参照の重み：30%
過去の取引C
取り込む値：30参照の重み：50%
取り込む値：30参照の重み：50%
取り込んだ情報 ＝ 0.2 × 10 ＋ 0.3 × 20 ＋ 0.5 × 30 ＝ 23
最大の重みを持つCだけを選ぶのではなく、A・Bの情報も入ります。実際には一つの数ではなくValueベクトル全体を混ぜ、重みも入力に応じて計算します。
Query・Key・Valueは、どこに入る？
- Query：今の位置から、参照先と照合するためのベクトル。
- Key：各参照先が持つ、照合されるためのベクトル。
- QueryとKeyの対応を採点し、softmaxで合計1になる重みへ変える。
- Value：実際に取り込むベクトル。上の例では、この重みでValueを混ぜます。
Self-Attentionでは、同じ系列の表現からそれぞれの役割のベクトルを作ります。「検索語・見出し・内容」というたとえに近いですが、人が言葉で指定するのではなく、内部の数値計算です。
重みが大きい取引があっても、それだけで「本人がその取引を意識した」「それが行動の原因だった」とは言えません。
04 ｜ 14概念を、役割と一緒に確認する
14は学習しやすい粒度に分けた概念群の数です。厳密に独立した14技術という意味ではありません。各項目の下を開くと、処理と論文での使い方を読めます。
02
材料
特徴量・系列・予測対象
特徴量は予測材料となる項目。系列は取引などを時間順に並べたもの。予測対象は当てたい答えです。
どう働き、論文のどこで使う？
- 利用者の属性、過去の銘柄、金額、利用行動などを入力にし、次の取引を正解として学びます。
- 株式は「次に買う銘柄の表現」。TREASUREは「次の取引属性」と「現在の決済のネットワーク信号」。材料と答えは区別します。
03
表現
ベクトル・Embedding（埋め込み）
ベクトルは数値の並び。Embeddingは銘柄や加盟店などを学習したベクトルで表すことです。
どう働き、論文のどこで使う？
- 識別番号をそのまま数量として扱わず、計算に使える数値表現へ変換します。何が近くなるかは学習目的に依存します。
- 株式では銘柄を16次元で表し、予測の答えにもします。TREASUREではカテゴリ別のEmbedding表を入力と出力候補の採点に利用します。16次元＝人間が名付けた16属性、ではありません。
04
表現を学ぶ方法
Autoencoder（自己符号化器）
元情報を小さな表現へ圧縮し、その表現から元情報を復元するモデルです。
どう働き、論文のどこで使う？
- 復元の誤差を小さくするように学び、復元に必要な特徴を圧縮側へ残します。
- 株式論文では2024年の銘柄データで別途学習し、銘柄のEmbeddingを作ります。その変換を2025年の銘柄データに適用します。TFTそのものではなく、Embeddingを作る唯一の方法でもありません。
05
計算と中間結果
層・隠れ表現
層は数値を組み合わせ、加工する計算のまとまり。隠れ表現はモデルの途中でできる数値ベクトルです。
どう働き、論文のどこで使う？
- 線形変換や活性化などを重ね、入力を予測に使いやすい形へ加工します。
- 銘柄ごとのEmbeddingと、履歴を読んだ後の隠れ表現は別物。同じ銘柄でも、それを含む履歴や文脈によって後者は変わります。
06
部品
Attention
参照可能な情報から、どれくらいずつ取り込むかを計算する仕組みです。
どう働き、論文のどこで使う？
- Query（照合する側）とKey（照合される側）で参照の重みを作り、その重みでValue（取り込む情報）を混ぜます。
- 両論文の履歴処理に登場。重みはモデル内の参照配分であり、本人の注意・意図や原因の証明ではありません。
07
部品の使い方
Self-Attention・Multi-Head
Selfは同じ系列内を参照すること。Multi-Headは複数組の参照計算を並行して行うことです。
どう働き、論文のどこで使う？
- 過去の各取引の表現を、同じ履歴の他の取引も使って作り直します。複数の参照の仕方は学習で調整されます。
- TFTもTREASUREも時間方向のAttentionを使います。各Headに「セクター担当」などの人間的な役割が保証されるわけではありません。
08
モデルの設計
Transformer
Attentionを中心に、情報を加工する層や接続を組み合わせたモデル構成です。
どう働き、論文のどこで使う？
- 位置間の情報交換をAttentionで行い、各位置でさらに加工する処理を積み重ねます。残差接続は元情報の足し戻し、正規化は数値のスケールを整える処理です。
- TREASUREの履歴処理の中心。標準的なTransformerはAttentionを含みますが、Attentionを使うすべてのモデルがTransformerではありません。TFTはLSTMも含むハイブリッドです。
09
参照の制約
因果マスク・順序
因果マスクは、ある位置から未来の位置を見られないようにする制限です。
どう働き、論文のどこで使う？
- 次の取引を当てる際に、その答えやそれ以降の情報を参照できないようにします。ここでの「因果」は原因分析ではありません。
- TREASUREはdecoder-only構成で、静的表現を先頭に置きます。原論文§3.2は、因果マスク等を利用し明示的位置符号化を省くと説明しています。「全Transformerが位置情報を別途加える」わけではありません。
10
系列処理の部品
RNN・LSTM
RNNは前の時点の内部状態を次の入力で更新するモデル。LSTMは何を残し、忘れ、出力するかを調整する仕組みを持ちます。
どう働き、論文のどこで使う？
- 過去から現在へ、状態を順番に受け渡して履歴を処理します。
- 株式論文のTFTにはLSTMがあります。したがって「Transformerは順番の受け渡しを不要にした」という説明を、TFT全体にそのまま当てはめることはできません。TREASUREではLSTM／GRUへの置換が比較対象です。
11
選択と接続の部品
変数選択・ゲート・融合
変数選択はどの入力項目をどれくらい使うか、ゲートは加工情報をどれくらい通すか、融合は情報を組み合わせることです。
どう働き、論文のどこで使う？
- TFTでは利用者の静的特徴と取引系列を、変数選択やGated Residual Networkなどで組み合わせます。
- 「どの項目を使うか」と、時間方向のAttentionの「どの取引を参照するか」は別の軸です。静的特徴は履歴処理への条件付けにも使われるため、最後に足すだけではありません。
12
答えを出す部分
予測ヘッド・回帰・分類・分布予測
ヘッドは内部表現を欲しい答えへ変換する末端。回帰は数値、分類はカテゴリ、分布予測は値の不確実性も出すことです。
どう働き、論文のどこで使う？
- 株式は16次元ベクトルを出し、近い銘柄を探して解釈・評価。TREASUREはカテゴリのスコアと、対数スケールの平均・標準偏差を出します。
- TREASUREの数値出力は対数正規分布に対応します。現在の信号と次の属性には別のヘッドを使います。株式論文の一般TFT紹介図のQuantile Outputを、この研究固有の出力と混同しないでください。
13
学習の仕方
損失関数・最適化・複数タスク学習
損失は予測と正解のずれを数値化する採点方法。最適化は損失を下げるようパラメータを調整することです。
どう働き、論文のどこで使う？
- 誤差逆伝播で各パラメータの調整方向を計算します。複数の答えを同時に学ぶのが複数タスク学習です。
- TREASUREは数値に負の対数尤度、少数カテゴリに交差エントロピー、多数カテゴリにInfoNCEと負例サンプリングを使います。異常フラグの損失を基準に他の損失を調整します。株式はベクトルの誤差を評価しますが、本解説では報告されたvalidation lossを特定の式だと推定しません。
14
性能を確かめる
検証・Baseline・Ablation
検証は学習に使わないデータで性能を見ること。Baselineは比較相手、Ablationは部品や入力を外す比較です。
どう働き、論文のどこで使う？
- 単に複雑なモデルが動くだけでなく、単純予測より良いか、何が役立ったかを調べます。
- 株式：XGBoost、直前の購入を繰り返す予測、長期特徴なしTFT。TREASURE：単一タスクやLSTM／GRUへの置換。検証データによるモデル選択と、さらに独立した最終テストは区別します。株式の§3.7ではvalidationで調整・比較、TREASUREの§4.1ではtrain／validation／testを時系列で分けています。
05 ｜ この地図を持って、論文へ戻る
株式論文で追う順番
- §3.4：何を入力し、何を当てるか。
- §3.5.3.2・図3.1：銘柄表現を先に作る工程。
- §2.1：LSTM・変数選択・Attentionの組み合わせ。
- §3.7 → §4.1・表4.2：何と比べ、何が良かったか。
Sam Taheri Hajivand／2025年6月19日。距離の改善とセクター一致率の改善は同じではなく、単純な直前購入の反復がセクター一致率では上回ります。
TREASUREで追う順番
- §3.1：入力と2系統の予測対象。
- §3.2・図3：入力 → Transformer → 出力。
- §3.3–3.4：数値化と予測ヘッド。
- §3.5 → §4.1–4.3：学習目的、評価、部品の比較。
Yehほか／arXiv v3。次回決済予測だけでなく、現在のネットワーク信号の予測とEmbeddingの他用途提供も含む研究です。
結局、2本は同じ構成なのか？
「履歴から次の行動を学んで予測する」という大枠では同じ。ただしTFTはLSTMも使い、銘柄ベクトルを予測。TREASUREはTransformer中心で、次の属性と現在の信号を複数ヘッドで予測します。この違いを、同じ流れのどこが違うかとして読むのが狙いです。