輕量版ChatGPT訓練方法開源圍繞LLaMA打造，號稱訓練速度比OpenAI快15倍

Meta宣布推出LLaMA才三天，業界就出現了把它打造成ChatGPT的開源訓練方法，號稱比ChatGPT訓練速度最高快15倍。 

LLaMA是Meta推出的超快超小型GPT-3，參數量只有後者的10%，只需要單張GPU就能執行。 

把它變成ChatGPT的方法名叫ChatLLaMA，基於RLHF（基於人類回饋的強化學習）進行訓練，在網上很快掀起了一陣熱度。 

ChatLLaMA - an open-source implementation of LLaMA based on RLHF.

Claims a 15x faster training process than ChatGPT. It allows users to fine-tune personalized ChatLLaMA assistants.https://t.co/puc3BF1JSU pic.twitter.com/bpZBbxoOfV

— elvis (@omarsar0) February 27, 2023

所以，Meta的開源版ChatGPT真的要來了嗎？

事情倒也沒那麼簡單。 

把LLaMA訓練成ChatGPT的「開源方法」

點進ChatLLaMA專案主頁來看，會發現它實際上整合了四個部分—— 

DeepSpeed、RLHF方法、LLaMA和基於LangChain agent產生的資料集。 

其中，DeepSpeed是一個開源深度學習訓練最佳化庫，包含名叫Zero的現存最佳化技術，用於提升大模型訓練能力，具體指幫模型提升訓練速度、降低成本、提升模型可用性等。 

RLHF則會採用獎勵模型來對預訓練模型進行微調。獎勵模型即先用多個模型產生問題問答，再依靠人工對問答進行排序，讓它學會評分；隨後，基於獎勵學習給模型產生的回答進行評分，透過強化學習的方式增強模型能力。 

LangChain是一個大語言模型應用開發庫，希望將各種大語言模型整合起來，結合其他知識來源或運算能力創建一個實用的應用程式。LangChain agent則會像思維鏈一樣放出GPT-3思考的全過程，將操作記錄下來。 

這時候你會發現，最關鍵的依舊是LLaMA的模型權重。它從哪裡來？ 

嘿嘿，自己去找Meta申請吧，ChatLLaMA並不提供。（雖然Meta聲稱開源LLaMA，但依舊需要申請）

所以本質上來說，ChatLLaMA並不是一個開源ChatGPT專案，而只是一種基於LLaMA的訓練方法，其庫內整合的幾個專案原本也都是開源的。 

實際上，ChatLLaMA也並非由Meta打造，而是來自一個叫做Nebuly AI的初創AI企業。 

Nebuly AI做了一個叫做Nebullvm的開源庫，裡面整合了一系列隨插即用的最佳化模組，用於提升AI系統性能。

例如這是Nebullvm目前包含的一些模組，包括基於DeepMind開源的AlphaTensor演算法打造的OpenAlphaTensor、自動感知硬體並對其進行加速的最佳化模組……

ChatLLaMA也在這一系列模組中，但要注意的是它的開源license也是不可商用的。 

看完這個專案後，有網友表示，要是有人真搞到LLaMA的模型權重（程式碼）就好了……

但也有網友指出，「比ChatGPT訓練方法快15倍」這種說法是一個純純的誤導： 

所謂的快15倍只是因為LLaMA模型本身很小，甚至能在單個GPU上運行，但應該不是因為這個專案所做的任何事情吧？

 

這位網友還推薦了一個比庫中效果更好的RLHF訓練方法，名叫trlx，訓練速度要比通常的RLHF方法快上3~4倍：

For a signficiantly faster RLHF implementation, check out trlX. https://t.co/YG7eXE0OZB Its usually 3x-4x faster than competing implementations. Including this one.

— Louis Castricato (@lcastricato) February 27, 2023

你拿到LLaMA的程式碼了嗎？覺得這個訓練方法如何？ 

ChatLLaMA地址：

• https://github.com/nebuly-ai/nebullvm/tree/main/apps/accelerate/chatllama