aiedtechassessmentlearning designcultural technology

計算詮釋學：將生成式 AI 視為文化技術進行評估

arXiv - Computers and SocietyCody Kommers, Ruth Ahnert, Maria Antoniak, Emmanouil Benetos, Steve Benford, Mercedes Bunz, Baptiste Caramiaux, Shauna Concannon, Martin Disley, James Dobson, Yali Du, Edgar Du\'e\~nez-Guzm\'an, Kerry Francksen, Evelyn Gius, Jonathan W. Y. Gray, Ryan Heuser, Sarah Immel, Richard Jean So, Sang Leigh, Dalaki Livingston, Hoyt Long, Meredith Martin, Georgia Meyer, Daniela Mihai, Ashley Noel-Hirst, Kirsten Ostherr, Deven Parker, Yipeng Qin, Jessica Ratcliff, Emily Robinson, Karina Rodriguez, Adam Sobey, Ted Underwood, Aditya Vashistha, Matthew Wilkens, Youyou Wu, Yuan Zheng, Drew Hemment

本文提出「計算詮釋學」框架，主張將生成式 AI 視為處理情境、多元性與歧義的文化技術，而非僅是準確度工具。

AI 幫你先抓重點

AI 重點 1

從「準確度」評估轉向「意義」評估的範式轉移

滑鼠懸停看 AI 判斷理由
這改變了我們衡量 AI 成功與否的標準。過去我們追求標準化答案的正確性，但面對文化技術時，理解 AI 如何在特定脈絡下產生意義，比單純的數據準確度更能反映其真實效能。
AI 重點 2

將文化視為系統的核心運作邏輯而非外部變數

滑鼠懸停看 AI 判斷理由
這對於開發者與教育者至關重要。若將文化僅視為干擾變數，AI 將無法處理複雜的人類社會互動；唯有將其視為系統內建的運作機制，才能設計出真正具備文化敏感度的 AI 工具。

核心研究發現

  1. 1

    生成式 AI 應被視為「情境機器」，必須處理意義的在地性、詮釋的多元性以及解釋間的歧義性。

  2. 2

    現有的 AI 評估框架過於關注單一變數的測量，忽略了文化作為系統運作核心要素的重要性。

  3. 3

    提出三項詮釋性評估原則：基準測試應具備迭代性、應納入人類參與、且應測量文化情境而非僅輸出結果。

對教育工作者的啟發

對於教育工作者而言，這提醒我們在將 AI 導入教學（如 PBL 或自主學習）時，不應僅測試 AI 給出的答案是否「正確」，而應評估 AI 是否能與學生的文化背景、特定學習情境產生有意義的對話。在設計 AI 輔助學習工具時，應鼓勵學生進行迭代式的對話，並將 AI 視為引發多元觀點與辯證思考的媒介，而非單純的知識檢索工具。評估 AI 教學成效時，應納入學生與教師的質性詮釋，而非僅依賴自動化評分。

原始文獻資訊

英文標題：
Computational Hermeneutics: Evaluating generative AI as a cultural technology
作者：
Cody Kommers, Ruth Ahnert, Maria Antoniak, Emmanouil Benetos, Steve Benford, Mercedes Bunz, Baptiste Caramiaux, Shauna Concannon, Martin Disley, James Dobson, Yali Du, Edgar Du\'e\~nez-Guzm\'an, Kerry Francksen, Evelyn Gius, Jonathan W. Y. Gray, Ryan Heuser, Sarah Immel, Richard Jean So, Sang Leigh, Dalaki Livingston, Hoyt Long, Meredith Martin, Georgia Meyer, Daniela Mihai, Ashley Noel-Hirst, Kirsten Ostherr, Deven Parker, Yipeng Qin, Jessica Ratcliff, Emily Robinson, Karina Rodriguez, Adam Sobey, Ted Underwood, Aditya Vashistha, Matthew Wilkens, Youyou Wu, Yuan Zheng, Drew Hemment
來源：
arXiv - Computers and Society
AI 摘要模型：
/models/gemma-4-26B-A4B-it
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。