在英國，有一個被稱為「最嚴重暴力」（簡稱MSV，即Most Serious Violence）的預測系統，這個預測系統歸屬於國家資料分析解決方案（NDAS）專案。

過去兩年，內政部為NDAS提供了至少1000萬英鎊的資金，目的是創建可以在英格蘭和威爾士使用的機器學習系統。

MSV工具的設計目的是預測人們在未來兩年內是否會使用槍或者刀進行第一次暴力犯罪。西密德蘭茲警察和西約克郡警察參與開發該工具，已與這兩個警察隊伍接觸過的人都獲得了風險評分。分數越高，他們越有可能犯下其中一種罪行。

該系統的開發，使用了來自西密德蘭茲郡資料庫的約240萬人的歷史資料和來自西約克郡的110萬人的歷史資料，這些資料是從犯罪和羈押記錄、情報報告和「國家警察」電腦資料庫中提取的。

警方承認，一款旨在提前預測槍支和刀具暴力事件的旗艦人工智慧系統存在嚴重缺陷，致使其無法使用。該錯誤導致準確性大幅降低，並且該系統最終被所有審核其倫理問題的專家所拒絕。

當NDAS今年早些時候開始「運行」該系統時，問題出現了。

西密德蘭茲郡的警察倫理委員會負責審查DNAS的工作以及警察自身的技術發展，該委員會公佈的文件顯示，該系統存在程式碼「缺陷」，無法準確預測暴力事件。NDAS在3月發表的簡報中說：「在訓練資料集的定義中發現了編碼錯誤，這使得MSV當前的問題陳述不可行。」

NDAS的發言人表示，該錯誤是在開發過程中發現的資料錄入問題。目前還沒有更多關於該缺陷的具體訊息被披露。

NDAS的簡報文件稱：「根據現有資料，在一個人用槍或刀進行第一次MSV犯罪前，以任何精度來確定干預點都是不可行的。」

由於MSV的失敗，警方已經停止開發目前形式的預測系統。它從來沒有被用於警務行動，也沒有達到可以使用它的階段。但是，也有人質疑這一工具可能會偏向少數群體，以及它是否對維持治安有用。

準確度問題

在發現錯誤之前，NDAS聲稱其系統的準確率或精度水準，高達75%。

在西密德蘭茲郡，在被認為極有可能使用槍支或刀具進行嚴重暴力的100人中，預計有54人會實施其中一種罪行。在西約克郡，預計100人中有74人使用槍支或刀實施嚴重暴力行為。

NDAS在7月表示：「我們現在知道實際的精度水準要低得多。」

薩里大學（the University of Surrey）法律和刑事司法的讀者Melissa Hamilton說：「罕見事件要比普通事件難預測得多，」她目前主要關注警方使用的風險預測工具。Hamilton對出現準確性問題並不感到驚訝。

「儘管我們知道風險工具在不同的司法管轄區的表現不盡相同，但我從未見過差異幅度這麼大的，尤其是在談論同一個國家的時候。」Hamilton補充說，根據她所見過的其他系統，最初的估計似乎太高了。由於該缺陷，NDAS重新設計了其暴力預測系統，結果顯示其預測精度顯著下降。

對於使用槍或刀的嚴重暴力行為，西密德蘭茲郡警方的精度降至14%到19%，西約克郡的精度降到9%到18%。無論這個人之前是否有過嚴重暴力行為，或者這是他們的第一次，這些比率也是相似的。NDAS發現，當刪除其最初為系統定義的所有初始標準（首次犯罪、武器類型和武器使用）時，其重新設計的系統是最準確的。

簡而言之，原始表現被誇大了。

偏見問題

但是，許多看過NDAS發佈的簡報和倫理委員會對暴力預測系統的審查的人說，準確性問題只是其中一個值得關注的領域。他們表示，所使用的資料類型最終可能會導致預測出現偏差，他們對預測警務技術的正常化表示擔憂，並指出此類工具缺乏有效性的證據。

倫理委員會向負責預測系統的NDAS工作人員提出了許多問題，其中重申了許多觀點。國際隱私（Privacy International）的技術專家Nuno Guerreiro de Sousa表示：「該程式的核心問題已超出了準確性，把不準確性作為我們的論點是有問題的，因為技術缺陷是可以透過時間來解決的。」

「即使演算法被設定為100%精確，這個系統仍然會存在偏差。」

暴力預測系統確定了「超過20個」指標，這些指標被認為可以用來判斷一個人未來行為的危險程度，其中包括年齡、初次犯罪距今時間、所用資料中與他人的聯繫、這些犯罪的嚴重程度以及與這些犯罪相關的情報報告中提到「刀」的最大次數（不包括地點和種族資料）。

報告稱，其中許多因素都經過了加權，以使最新資料更具普遍性。Rashida Richardson說，「許多指標已被證明在刑事司法系統的其他資料分析領域會導致不平等的結果。」他是羅格斯大學法學院（Rutgers Law School）的訪問學者，他研究了預測警務中的資料問題。

「在一個系統中，由於年齡只是使用的指標之一，你更有可能將一群更年輕的人納入其中，當你使用年齡時，通常會扭曲大多數預測或結果。」漢密爾頓對此表示贊同。她解釋說，犯罪歷史因素本身往往是有偏見的，這意味著，如果沒有人類的干預，任何基於這些因素的演算法都會包含同樣的問題。

NDAS專案負責人Dale說:「我們監測偏見，不會主動採用包含偏見的模型。我們致力於確保任何此類模式的干預都是積極的，旨在減少犯罪和增加生活機會，而不是強制性或刑事司法結果。」

然而，用於決策的人工智慧系統中存在偏見和潛在種族主義問題並不新鮮。就在本週，內政部暫停了其簽證申請決策系統，該系統使用一個人的國籍作為其中一條訊息，以決定移民狀況，之前有人指控該系統包含「根深蒂固的種族主義」。

上月，在全球「黑人的命也是命」（Black Lives Matter）抗議活動爆發後，1400多名數學家簽署了一封公開信，稱該領域應停止開發預測性警務演算法。Richardson說:「你看看大多數刑事司法部門使用預測分析的司法管轄區，我們沒有證據表明這些類型的系統起作用，但它們的使用正在激增。」

提議遭否決

警方提出的推行這一系統的建議被一致拒絕。

倫理委員會在7月份拒絕了進一步開發該系統的提議後總結說：「關於這種模式如何改善當前防止青少年嚴重暴力的決策情況，目前尚無足夠的訊息。」該委員會是一個自願組織，由來自不同領域的專家組成。

該委員會表示，它不理解為什麼修正後的準確率有足夠的份量，並對該預測系統將如何使用表示擔憂。該組織在會議紀要中表示：「雖沒有明確指出，委員會之前曾多次表達過這些擔憂，因此，就該專案目前的情況而言，委員會建議該專案終止。」

與這篇報導接洽的委員會成員說，他們無權公開談論這項工作。NDAS專案負責人Nick Dale說，該專案背後的人確實「同意該模型不能以目前的形式進行」，並指出到目前為止它還處於試驗階段。「假設我們確實能夠創建一個合適的模型，但現在我們不能肯定地說，最終的模型會是什麼樣子。我們所有的工作都將受到倫理委員會的審查，其審議結果將予以公佈。」

這些問題在暴力預測工具的開發中得到了強調。倫理委員會的文件顯示，該委員會一名未披露姓名的成員表示，編碼失敗是對在警務內部使用人工智慧和技術風險的「鮮明提醒」。

他們說，「在最壞的情況下，沒有合理依據的預測犯罪，不準確的模型可能導致對人們的強制或其他制裁，儘管有明確的警告，這仍然可能損害年輕人或任何人的生活。但是，看到團隊評估自己的工作並確定缺陷以重新開始，是一件好事。」

閃光點

儘管暴力預測系統存在缺陷，但審查過該系統的人表示，該系統的設置比其他預測性警務的發展更加透明。

「委員會的建議是透明的，穩健的和有力的。」Tom McNeil說，他是西密德蘭茲郡警察和犯罪專員的戰略顧問。倫理委員會目前詢問一些緊迫的問題並得到答案，這在警務人工智慧系統的開發中基本上是聞所未聞的。大部分開發工作通常是完全祕密進行的，問題只有在現實生活中影響到人們時才會出現。

Dale補充道:「MSV的主要價值在於測試開發這些警務技術的可能性，在這過程中，我們難以避免會因各種原因進行嘗試，但我們有信心，隨著我們的進步，我們正在開發的資料科學技術將為我們所有的社區帶來更高效的警務和更好的結果。」

目前NDAS的看法是，在調查有可能實施嚴重暴力行為的人時，預測性暴力工具可以用來「擴充」警務人員所使用的現有決策程序。暴力預測工具只是NDAS正在研究的其中一個工具，它還使用機器學習來檢測現代奴隸制、槍支的移動和各種有組織犯罪。倫敦大都會警察局局長Cressida Dick之前曾表示，警方應該考慮使用「增強型情報」，而不是完全依賴人工智慧系統。

「某些事情可以透過計算來完成，並不一定意味著這樣就是最好的做法，或者應該這樣做。」溫徹斯特大學（University of Winchester）訊息權利中心（Centre for Information Rights）的聯合主任Christine Rinik表示，「這就是為什麼我認為對這些步驟提出質疑的程式如此有用。」