根據 OpenAI 官方消息，OpenAI 正計劃推出一項名為預測輸出（ Predicted Outputs）的功能，將大幅降低ChatGPT 的延遲。

OpenAI 表示，該功能通過提供參考字符串來加快處理速度，大幅降低GPT-4o 和 GPT-4o-mini 的延遲。

該功能核心在於能夠預測出可能的內容，並將其作為模型的起始點，從而跳過已經明確的部分。

通過減少計算量，這種推測解碼方法可以將響應時間縮短多達五倍，使 GPT-4o 更適合用於即時任務，例如文檔更新、程式碼編輯和其他需要反覆生成文本的活動。

本文為品玩授權刊登，原文標題為「OpenAI 公佈預測輸出功能，可大幅降低回答延遲」