頻域預測破解「重複運算」瓶頸
Diffusion Transformer (DiT, 一種用於生成高保真影像與影片的 AI 架構) 的核心痛點在於推論成本。為了生成一張圖或一段影片，模型需要在多個去噪步驟中反覆執行 Transformer 評估，這導致了巨大的計算負擔。現有的特徵快取 (Feature Caching) 技術試圖透過重用特徵來降低成本，而較新的預測方法則嘗試外推特徵以跳過部分步驟。然而，這些方法存在一個根本缺陷：它們假設特徵在所有空間頻率成分上的變化是均勻的，且去噪過程是線性的。事實上，不同頻段的變化速率差異巨大，且去噪進度並非均勻分佈。這種錯配導致跳過的步驟越多，預測誤差越大，最終限制了加速的潛力。
每個頻段擁有自己的「時鐘」
SpecKCast 提出了一種免訓練 (Training-free) 的解決方案，核心思想是在頻域進行預測。該方法對模型輸出應用二維離散餘弦變換 (2D DCT, 一種將空間訊號轉換為頻率係數的數學方法)，並為每個頻率帶建立輕量級的卡爾曼濾波器 (Kalman Filter, 一種用於追蹤動態系統狀態的演算法)。關鍵創新在於，每個濾波器都沿著一個基於雜訊排程 (Noise Schedule) 的「頻帶特定時間座標」進行追蹤。這意味著高頻與低頻成分不再被強制同步更新，而是根據它們各自的變化速率獨立預測。濾波器同時追蹤係數的值與變化率，只有當預測不確定性超過特定閾值時，才會觸發 Transformer 的實際評估。
實測數據：6 倍加速與極低記憶體負擔
在 FLUX.1-dev、Qwen-Image、Wan2.1-14B 和 HunyuanVideo 等主流模型上的實驗顯示，SpecKCast 在加速比與生成保真度之間取得了優於現有快取與預測方法的平衡。具體數據顯示，該方法可實現最高 6 倍的推論速度提升，而額外佔用的記憶體不到 0.05 GiB。這一結果證明了頻域預測不僅能顯著降低計算開銷，還能將資源佔用控制在極低水平，使其在硬體資源受限的環境中具備高度的實用性。
魔法報紙怎麼看
真正的突破,是承認每個頻段有自己的節奏
我認為 SpecKCast 的價值不在「快 6 倍」這個數字,而在它點破了一個盲點:過去的加速法都假設去噪過程在時間上是均勻的,用同一把尺去量所有頻段。現有快取技術一跳步就崩,正是因為這把尺量錯了;SpecKCast 讓高頻、低頻各走各的時鐘,是更貼近實際的建模方式。
免訓練換來的是普及,不是上限
反過來看,「免訓練」也代表它沒辦法針對單一模型做深度調校,極限表現未必贏過端到端訓練的方法。但對開發者來說,即插即用、記憶體只多 0.05 GiB,意思是不必重新訓練、不必調參數就能塞進現有的生產流程,中小團隊也吃得到加速的紅利。這個取捨,我認為划算。
該盯的是官方推理引擎會不會預設開啟
接下來該看的訊號是:各大模型廠商(如 Stability AI 或阿里通義)會不會在官方推理引擎裡整合類似的頻域預測。主流框架一旦預設啟用這種「自適應跳步」,Diffusion 模型的部署成本會出現斷層式下降,影像生成服務的定價與市場格局都得跟著重算。
誰先把它設成預設值,誰就有本錢重寫 AI 影像生成的價格表。
以上為魔法報紙編輯部觀點,不代表原報導立場。