跳至主要內容
POWER DECISION LABPowerEC 電力決策實驗室
導覽選單

P2 · 方法

漂亮的 RMSE 為什麼可能誤導你?

RMSE 有用,但可能掩蓋資料外洩、高風險時段失敗與錯誤成本不對稱。

本文使用公開概念與合成案例說明方法,不含真實機組、成本、場域或營運資料。

問題與決策情境

RMSE 是常見的預測誤差指標。它把誤差平方後平均,再開根號,因此對大誤差特別敏感。這很有價值,因為很多決策確實害怕大錯。但漂亮的 RMSE 不代表模型一定可用。尤其在時間序列、設備監測與再生能源預測中,錯誤發生在哪裡,常常比平均錯多少更重要。

四種常見誤導

第一,資料切分錯誤。若把未來資料混進訓練,RMSE 會看起來很好,但上線後立刻失真。第二,高風險時段被平均掉。模型在大部分平穩時段表現很好,卻在風速快速變化、尖峰負載或設備轉態時失敗,平均 RMSE 仍可能漂亮。第三,錯誤成本不對稱。低估備援與高估備援的成本不同;漏報異常與誤報異常的代價也不同。第四,基準太弱。若沒有和 persistence、昨日同時段、簡單回歸等基準比較,漂亮分數可能只是資料本身容易預測。

最簡單的基準方法

每個預測任務至少要報告一個 naive baseline。時間序列可用 persistence 或 seasonal naive;設備資料可用固定門檻或同工況分位數;功率預測可用簡單功率曲線。

更好的評估方式

除了 RMSE,還可以加入 MAE、MAPE 或 pinball loss,但更重要的是切片分析。依時間長度、工況、季節、負載區間、告警狀態分開看,通常比多加一個總分更有用。

工程覆核

模型指標應回答決策問題:這個模型是否讓調度更穩、警報更少、工程師更快定位問題、備援配置更合理?如果指標和行動沒有關係,模型再漂亮也只是展示品。

失敗情境

常見失敗是把隨機切分用在時間序列、在清理資料時不小心使用未來資訊、只呈現最佳月份結果,或只挑一個對模型有利的指標。本站不使用虛假成效數字或保證準確的宣稱。

用互動模型建立直覺

改變參數並比較基準,觀察限制與假設如何影響結果。工具只供教育展示,不代表真實系統。

資料來源與延伸閱讀

查看全部文章 →