無變異的突變:LLM 驅動程式演化的收斂動態研究

arXiv - Artificial IntelligenceCan Gurkan, Forrest Stonedahl, Uri Wilensky

研究發現 LLM 在驅動程式演化時會出現結構性收斂,導致變異陷入重複的模式而非持續探索新形式。

AI 幫你先抓重點

AI 重點 1

LLM 的語義理解能力是一把雙面刃

滑鼠懸停看 AI 判斷理由
LLM 雖然能進行具備語義意識的程式轉換,但這種能力同時帶來了結構同質性的偏誤,這提醒開發者在設計自動化學習或程式生成系統時,必須意識到模型內建的收斂傾向。
AI 重點 2

警惕「偽演化」現象

滑鼠懸停看 AI 判斷理由
當我們利用 AI 進行知識建構或程式演化時,表面上的變異可能只是在重複舊有的結構模板,這會導致系統陷入局部最優解,無法實現真正的開放式探索與創新。

核心研究發現

  1. 1

    LLM 驅動的突變鏈會持續收斂至程式空間中的受限吸引子區域,而非進行開放式探索。

  2. 2

    在 87% 的突變鏈中,超過 93% 的突變會重複出現已見過的結構形式,變異僅侷限於模板內的終端替換。

  3. 3

    這種收斂現象在不同提示詞設計與模型家族中皆具備魯棒性,且與傳統遺傳演算法的突變機制明顯不同。

  4. 4

    循環分析顯示,突變過程由短循環與自我迴圈主導,顯示其演化路徑缺乏多樣性。

對教育工作者的啟發

對於開發基於 AI 的程式學習工具或自動化教學系統的設計者而言,此研究提供了重要的警示:若僅依賴 LLM 的原生突變能力,系統可能會陷入「原地踏步」的循環。建議在設計如程式自動生成、程式碼重構練習或知識建構工具時,應引入非 LLM 的機制(如傳統遺傳演算法的算子或結構擾動機制),以打破 LLM 的結構同質性偏誤,確保學習者或系統能進行真正的開放式探索與多樣化學習。

原始文獻資訊

英文標題:
Mutation Without Variation: Convergence Dynamics in LLM-Driven Program Evolution
作者:
Can Gurkan, Forrest Stonedahl, Uri Wilensky
來源:
arXiv - Artificial Intelligence
AI 摘要模型:
/models/gemma-4-26B-A4B-it
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。