當可讀性與原文保留度背離:AI 翻譯中的評估缺口研究

arXiv - Human-Computer InteractionChenchen Mao, Hanjing Shi, Haiyan Jia, Emily Wegrzyn, Dominic DiFranzo

研究發現 AI 翻譯的高可讀性可能掩蓋原文內容的流失,導致使用者在評估翻譯品質時產生認知偏差。

AI 幫你先抓重點

AI 重點 1

警惕「流暢度陷阱」:高可讀性不等於高品質翻譯

滑鼠懸停看 AI 判斷理由
這項洞察提醒開發者與使用者,AI 生成的流暢文本可能是一種「偽裝」,它讓使用者誤以為資訊完整,實則可能遺失了關鍵的原文細節,這在學術或法律翻譯中極具風險。
AI 重點 2

區分「評估能力」與「數據信任」的差異

滑鼠懸停看 AI 判斷理由
研究指出,使用者對翻譯品質的判斷力,與他們願意將個人資料交給系統的意願是兩回事。這意味著我們不能僅透過提升 AI 的表現來換取使用者的信任,必須建立更透明的數據處理機制。

核心研究發現

  1. 1

    研究顯示,追求可讀性的 AI 輸出雖然易讀,但在保留原文細節(Source Retention)方面明顯遜於追求忠實度的輸出。

  2. 2

    在處理簡單敘事時,使用者傾向給予忠實度高的翻譯較高評價;但在處理複雜文學哲學文本時,使用者無法有效辨識出翻譯品質的差異。

  3. 3

    任務執行信任度(Task-performance trust)是決定使用者是否願意向系統揭露個人文本資訊的最直接預測因子。

  4. 4

    即便同時提供原文與譯文,使用者在面對複雜文本時,仍無法透過整體品質評分來準確反映譯文對原文內容的保留程度。

對教育工作者的啟發

對於教育科技開發者,設計 AI 語言學習或翻譯工具時,不應僅追求「聽起來順耳」的輸出,應加入「忠實度檢測」機制,讓學習者能辨識 AI 是否遺漏了原文重點。在教學設計上,應訓練學生具備「批判性評估」能力,教導他們如何對比原文與 AI 譯文,而非僅依賴直覺式的流暢度判斷,以避免因 AI 的高可讀性而產生的認知偏差。

原始文獻資訊

英文標題:
When Readability and Source Retention Diverge: An Evaluability Gap in AI Translation
作者:
Chenchen Mao, Hanjing Shi, Haiyan Jia, Emily Wegrzyn, Dominic DiFranzo
來源:
arXiv - Human-Computer Interaction
AI 摘要模型:
/models/gemma-4-26B-A4B-it
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。