TFM-Tokenizer · EEG 离散化

单通道 EEG 转为时间—频率离散 token 并接入 Transformer 的概念方法图。

单通道 EEG 转为时间—频率离散 token 并接入 Transformer 的概念方法图。
从这段提示词开始

单通道 EEG 转为时间—频率离散 token 并接入 Transformer 的概念方法图。

设计一下
制作一张 16:9 横版 TFM-Tokenizer 概念方法图,说明单通道 EEG 如何转化为时间—频率离散 token 并接入 Transformer。

标题「TFM-Tokenizer:EEG 时间—频率离散化|概念示例」。

EEG 波形依次经过 STFT 和重叠 Patching;时间遮挡输入 Temporal Encoder,频带遮挡输入 Localized Spectral Window Encoder,两路结果汇入 Gated Patchwise Aggregation;随后经 Quantization 形成 Token Vocabulary 与 EEG-Tokens,并用 Masked Reconstruction 复原频谱;右侧展示 learned EEG tokens → Masking → Transformer Encoder → Token Prediction Head → Masked Token Prediction。

紫色表示频谱,蓝色表示时间路径,橙色表示词表与 token,灰色斜线表示遮挡,白底配清楚箭头和模块框。

保留 model-agnostic、适配 foundation models 和多通道设置的定性说明。
加损失标注

在 Masked Reconstruction 复原频谱的分支上标注重建损失,其余流程不变。

设计一下
制作一张 16:9 横版 TFM-Tokenizer 概念方法图,说明单通道 EEG 如何转化为时间—频率离散 token 并接入 Transformer。

标题「TFM-Tokenizer:EEG 时间—频率离散化|概念示例」。

EEG 波形依次经过 STFT 和重叠 Patching;时间遮挡输入 Temporal Encoder,频带遮挡输入 Localized Spectral Window Encoder,两路结果汇入 Gated Patchwise Aggregation;随后经 Quantization 形成 Token Vocabulary 与 EEG-Tokens,并用 Masked Reconstruction 复原频谱;右侧展示 learned EEG tokens → Masking → Transformer Encoder → Token Prediction Head → Masked Token Prediction。

紫色表示频谱,蓝色表示时间路径,橙色表示词表与 token,灰色斜线表示遮挡,白底配清楚箭头和模块框。

保留 model-agnostic、适配 foundation models 和多通道设置的定性说明。
换靛青配色

频谱、时间路径、词表与 token 的配色换成靛蓝、青色与橙红,模块结构不变。

设计一下
制作一张 16:9 横版 TFM-Tokenizer 概念方法图,说明单通道 EEG 如何转化为时间—频率离散 token 并接入 Transformer。

标题「TFM-Tokenizer:EEG 时间—频率离散化|概念示例」。

EEG 波形依次经过 STFT 和重叠 Patching;时间遮挡输入 Temporal Encoder,频带遮挡输入 Localized Spectral Window Encoder,两路结果汇入 Gated Patchwise Aggregation;随后经 Quantization 形成 Token Vocabulary 与 EEG-Tokens,并用 Masked Reconstruction 复原频谱;右侧展示 learned EEG tokens → Masking → Transformer Encoder → Token Prediction Head → Masked Token Prediction。

紫色表示频谱,蓝色表示时间路径,橙色表示词表与 token,灰色斜线表示遮挡,白底配清楚箭头和模块框。

保留 model-agnostic、适配 foundation models 和多通道设置的定性说明。
加多通道示意

在定性说明旁补一个多通道扩展的小示意,展示单通道到多通道的接法。

设计一下
制作一张 16:9 横版 TFM-Tokenizer 概念方法图,说明单通道 EEG 如何转化为时间—频率离散 token 并接入 Transformer。

标题「TFM-Tokenizer:EEG 时间—频率离散化|概念示例」。

EEG 波形依次经过 STFT 和重叠 Patching;时间遮挡输入 Temporal Encoder,频带遮挡输入 Localized Spectral Window Encoder,两路结果汇入 Gated Patchwise Aggregation;随后经 Quantization 形成 Token Vocabulary 与 EEG-Tokens,并用 Masked Reconstruction 复原频谱;右侧展示 learned EEG tokens → Masking → Transformer Encoder → Token Prediction Head → Masked Token Prediction。

紫色表示频谱,蓝色表示时间路径,橙色表示词表与 token,灰色斜线表示遮挡,白底配清楚箭头和模块框。

保留 model-agnostic、适配 foundation models 和多通道设置的定性说明