研究人員發現大型AI通用的資料集中有1000多張虐待兒童的圖片， Stable Diffusion可能有危險

史丹佛大學Internet觀察站（Stanford Internet Observatory）的一份新報告發現，一個用於建構流行人工智慧圖像生成器的大規模公共資料集至少包含 1008 例兒童性虐待材料。

我們都知道，一個AI模型要成功，背後用什麼資料來訓練就變得很重要。比方說，如果你有用金庸小說訓練過AI，那麼他就有可能能夠回答金庸武俠小說中角色的相關問題。但如果你問他古龍小說的問題，他由於沒有受過訓練，可能就只好亂答了。

不過，我們在使用AI聊天機器人的同時，很少去注意到，它背後到底是受過哪些訓練，回答的是否準確。

報告稱，LAION-5B 包含來自Internet的 50 多億張圖片和相關說明，其中可能還包括數千份疑似兒童性虐待材料或 CSAM。報告警告說，將 CSAM 納入資料集可能會使建立在這些資料基礎上的人工智慧產品--包括像 Stable Diffusion 這樣的圖像生成工具--能夠建立新的、可能逼真的虐待兒童內容。

功能日益強大的人工智慧工具的興起引起了人們的警惕，部分原因是這些服務是利用大量線上資料（包括 LAION-5B 等公共資料集）建構的，而這些資料集可能包含受版權保護或有害的內容。人工智慧圖片生成器尤其依賴於包含成對圖片和文字描述的資料集來確定各種概念，並根據使用者的提示建立圖片。

該資料集背後的德國非營利組織 LAION 的發言人在一份聲明中說，該組織對非法內容採取"零容忍政策"，並暫時從Internet上刪除 LAION 資料集，"以確保在重新發佈這些資料集之前它們是安全的"。

該發言人說，在發佈資料集之前，LAION 建立並行布了過濾器，用於發現並刪除其中的非法內容。LAION 的創始人克里斯托夫-舒曼（Christoph Schuhmann）此前告訴彭博新聞社，他不知道資料集中有任何兒童裸體內容，但他承認自己沒有深入審查資料。他說，如果接到有關此類內容的通知，他會立即刪除相關連結。

Stable Diffusion也有可能有危險

資助並推廣 Stable Diffusion 的英國人工智慧初創公司 Stability AI 的發言人表示，該公司致力於防止濫用人工智慧，禁止將其圖像模型用於非法活動，包括試圖編輯或建立 CSAM。發言人在一份聲明中說："這份報告重點關注整個 LAION-5B 資料集。Stability AI 模型是在該資料集的過濾子集上進行訓練的。此外，我們還對這些模型進行了微調，以減少殘餘行為。"

LAION-5B 或其子集已被用於建構多個版本的 Stable Diffusion。該軟體的最新版本 Stable Diffusion 2.0 在資料集上進行了訓練，大大過濾了資料集中的"不安全"材料，使使用者更難生成明確的圖像。但 Stable Diffusion 1.5 確實能生成色情內容，而且在Internet的某些角落仍在使用。該發言人說，Stable Diffusion 1.5 並不是由 Stability AI 發佈的，而是由 Runway 發佈的，Runway 是一家人工智慧視訊初創公司，幫助建立了 Stable Diffusion 的原始版本。Runway 表示，它是與 Stability AI 合作發佈的。

Stability AI 發言人補充說："當使用者在我們的平台上與模型互動時，我們已經實施了過濾器來攔截不安全的提示或不安全的輸出。我們還對內容標籤功能進行了投資，以幫助識別我們平台上生成的圖像。這些層層緩解措施讓不良行為者更難濫用人工智慧。"

LAION-5B 於 2022 年發佈，依靠加州一家非營利組織收集的原始 HTML 程式碼來定位網路上的圖片，並將其與描述性文字關聯起來。幾個月來，關於該資料集包含非法圖片的傳言一直在論壇和社群媒體上流傳。"據我們所知，這是第一次嘗試真正量化和驗證人們的擔憂，"史丹佛Internet觀察站的首席技術專家大衛-蒂爾（David Thiel）在接受彭博新聞社採訪時說。

在報告中，史丹佛Internet觀察站的研究人員通過尋找此類圖像的不同雜湊值或數位指紋來檢測 CSAM 材料。然後，研究人員使用專用於尋找和刪除已知剝削兒童圖像的 API，並通過搜尋資料集中的類似圖像，對其進行了驗證。

報告稱，史丹佛Internet觀察站發現的大部分疑似 CSAM 內容都經過了加拿大兒童保護中心等第三方的驗證，並通過微軟公司開發的一款名為 PhotoDNA 的工具進行了驗證。報告說，鑑於史丹佛Internet觀察站的研究人員只能處理有限的一部分高風險內容，資料集中可能還存在更多的濫用內容。

雖然資料集中存在的 CSAM 數量並不表明非法內容會"極大地"影響人工智慧工具生成的圖像，但蒂爾表示，這很可能仍然會產生影響。他說："這些模型非常擅長從少量圖像中學習概念。我們知道，這些圖像中有一些是重複出現的，有可能在資料集中重複出現數十次。"

史丹佛Internet天文台之前的研究發現，生成式人工智慧圖像模型可以生成 CSAM，但這項工作假定人工智慧系統能夠通過結合兩個"概念"（如兒童和性活動）來做到這一點。蒂爾說，新的研究表明，這些模型之所以能生成此類非法圖像，是因為它們所依據的一些基礎資料。報告建議，基於 Stable Diffusion 1.5 的模型"應在可行的情況下廢棄並停止分發"。