人機協作如何改變科學文本的複雜度指標

arXiv - Computers and SocietyR. Alexander Bentley, Blai Vidiella, Damian J. Ruck, Senjuti Dutta, Kai Li, Sergi Valverde

研究發現 LLM 的普及正悄然改變科學文本的語言特性,特別是詞彙更迭率與複雜度指標間的關聯性。

AI 幫你先抓重點

AI 重點 1

語言複雜度的演變正從「結構性變化」轉向「統計特性變化」。

滑鼠懸停看 AI 判斷理由
研究顯示 Zipf's law 等核心定律的指數變化微小,但詞彙更迭率卻大幅改變,這提醒我們評估 AI 影響時,不應僅看宏觀統計,更需關注微觀的詞彙動態。
AI 重點 2

人類與 AI 共同構建的「混合語言生態系統」正在形成。

滑鼠懸停看 AI 判斷理由
這項發現挑戰了「AI 僅是工具」的觀點,指出 AI 正在改變語言的湧現屬性,這對於未來如何定義「原創性」與「學術寫作標準」具有深遠影響。

核心研究發現

  1. 1

    2023 年後,與 LLM 相關的風格指數出現急劇上升,顯示科學文本中 LLM 參與的痕跡明顯增加。

  2. 2

    高頻詞彙的更迭率(turnover)在 2023 年後大幅提升,顯示文本中的詞彙使用模式發生變化。

  3. 3

    LLM 風格指數與詞彙量、Heaps' law 及 Zipf's law 指數之間的正相關性在 2022 年後變得更加平緩。

對教育工作者的啟發

對於教育工作者而言,這項研究警示我們,傳統的語言複雜度檢測工具可能無法有效區分人類與 AI 的寫作差異。在課程設計中,應從「關注最終文本產出」轉向「關注思考與構思的過程」。建議在學術寫作教學中,引入對「詞彙選擇動機」與「邏輯結構演進」的評估,而非僅依賴詞彙量或句式複雜度等指標,以應對 AI 介入後語言特性的趨同化現象。

原始文獻資訊

英文標題:
Human--LLM Collaboration Is Transforming Complexity Metrics in Scientific Texts
作者:
R. Alexander Bentley, Blai Vidiella, Damian J. Ruck, Senjuti Dutta, Kai Li, Sergi Valverde
來源:
arXiv - Computers and Society
AI 摘要模型:
/models/gemma-4-26B-A4B-it
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。