工程師用了 GitHub 的 Copilot AI程式助手三個月後，研究發現既沒有提高程式開發效率也沒有減少錯誤率

開發人員本應是生成式人工智慧發展的最大受益者之一，因為特殊工具可以讓程式碼編寫變得更快、更容易。但根據程式指標分析公司 Uplevel 最近的一項研究卻顛覆了這個看法：採用了AI程式助手的工程師們，似乎並沒有真的提高了他們的生產力。

這項研究追蹤了約 800 名開發人員，比較了他們在三個月內使用和不使用GitHub 的 Copilot程式助手時的產出。結果，在比較一些開發程式的關鍵指標時，Uplevel 發現使用 Copilot 的開發者並沒有獲得有意義的改進。

Uplevel 的資料分析師馬特-霍夫曼（Matt Hoffman）向CIO雜誌解釋，他們的團隊在進行研究之初認為，由於開發人員在提交程式碼之前使用了人工智慧工具來幫助稽核程式碼，因此開發人員將能夠編寫更多程式碼，缺陷率也可能會下降。但他們的研究結果卻把他們的假設狠狠打了臉。

事實上，研究發現，使用 Copilot 的開發人員在程式碼中引入的錯誤多出了 41%。 Uplevel 也沒有發現任何證據表明人工智慧助手有助於防止開發人員倦怠。

這一消息反駁了 Copilot 的製造商 GitHub 和其他人工智慧程式工具支持者關於大幅提高工作效率的說法。早些時候，GitHub 讚助的一項研究稱，在 Copilot 的幫助下，開發人員編寫程式碼的速度提高了 55%。

鑑於 Copilot 早期的一份報告顯示近30% 的新程式碼涉及人工智慧輔助，開發人員確實看到了積極的成果，而這一數字很可能還在增長。

不過，使用量增加背後的另一種可能是程式員產生了依賴性，變得懶惰。

在實際工作中，人工智慧程式助手的使用體驗迄今為止好壞參半。在定製軟體公司 Gehtsoft USA，首席執行長 Ivan Gekht 表示，他們發現人工智慧生成的程式碼在理解和偵錯方面有時會產生似是而非的結果，人類難以理解或偵錯，因此有時不如從頭開始重寫會更有效率。

去年的一項研究顯示，ChatGPT 答錯了一半以上的程式問題，這似乎印證了他的看法，儘管自那以後，聊天機器人經過多次更新後已經有了很大改進。

Gekht 補充說，軟體開發工作中有 90% 是人類大腦的功能--理解需求、設計系統、考慮限制和約束，而將所有這些轉化為程式碼則是工作中較為簡單的部分。

不過，其實這些看法也並非絕對。因為另一個由雲端運算提供商 Innovative Solutions的首席技術長 Travis Rehl 的報告指出，由於使用了 Claude Dev 和 Copilot 等工具，開發人員的工作效率提高了三倍。

這些相互矛盾的說法凸顯出，我們可能仍處於人工智慧程式助手的早期階段。但隨著工具的快速發展，誰知道它們的未來會走向何方呢？