AI 決策模型如何重塑內容審核的未來

目錄

• 你可能會想知道
• 主題
• 重點摘要表
• 後續展望……

你可能會想知道

• 內容審核模型能否依循平台的書面規則，而不必在規則每次變更時重新訓練？
• 快速又靈活的決策模型，如何與人類對線上內容的監督相輔相成？

主題

人工智慧日益被用於協助線上平台理解並管理使用者分享的大量內容。多數社群平台仰賴分類系統，判斷訊息是否符合特定類別。這些系統運作迅速，但當平台規則變更，或政策必須考量複雜情境時，可能難以調整。Musubi 提出另一種做法：一種專為即時內容審核設計的輕量級決策模型。

週二，Musubi 宣布推出 PolicyLM-1.7B，這款內容審核模型以開放權重形式釋出。該公司表示，這個模型能將以通俗英文撰寫的政策轉化為實際的分類判斷。根據公告，模型的設計目標是在 50 毫秒內評估訊息。速度是產品設計的核心，因為內容審核系統通常必須處理大量內容，同時避免造成明顯延遲。

Musubi 的核心主張是，PolicyLM-1.7B 結合了傳統 AI 分類器的成本與速度，以及現代大型語言模型的部分適應能力。傳統分類器可能需要針對特定的一組範例和類別進行訓練；相較之下，靈活的語言模型則能理解以自然語言表達的指示。Musubi 表示，該模型無須針對每項政策進行特別訓練，就能套用複雜的書面政策。

當平台修訂規則時，這項差異可能就很重要。平台可能因應新型態的濫用行為、社群期待的變化，或產品團隊決定更精確地界定類別，而調整政策。如果每次變更都需要重新訓練模型，更新可能耗時，也會需要額外的技術資源。Musubi 的做法旨在讓政策制定者更新書面指示，並套用修訂後的規則，而不必重新訓練模型。核心主張是，政策可以變更，而不必重新訓練模型。

這種彈性也可能影響平台調查自身服務的方式。Musubi 共同創辦人暨首席 AI 長 Filip Jankovic 表示，產品團隊希望更清楚掌握平台上發生的情況，尤其是內容量快速增加之際。能大規模套用明確政策的模型，或許可以協助團隊主動標註內容，而非只依賴檢舉，或等問題發生後才檢視個別範例。

主動標註不一定代表自動化模型應做出所有最終執法決定。相反地，這些標籤可協助團隊找出趨勢、定位可能需要人工審查的內容，或了解政策是否以意料之外的方式被觸發。Jankovic 認為，可擴展且可自訂的標註方式，對需要研究平台整體活動的產品團隊很有用。實際上，這類系統的價值取決於其輸出如何納入更廣泛的流程，包括人工審查者扮演的角色，以及評估模型所採用的標準。

自 TypeSafe AI 於 9 月推出 Jev 以來，決策模型在 AI 產業受到更多關注。OpenAI 和 Amazon 隨後也推出了競爭性的決策模型。與主要用來生成段落文字的模型不同，決策模型會輸出結果機率或受限的決策。就 PolicyLM-1.7B 所述的用途而言，結果是二元判斷：內容屬於指定類別，或不屬於該類別。

將輸出限制在預先設定的選項，可讓模型比生成開放式回應的大型語言模型運作得更快、成本更低。同時，決策模型仍保有 Transformer 架構所帶來的彈性。其吸引力在於結合相對聚焦的輸出，以及回應指示和細緻定義的能力。用於內容審核時，這種組合或可在僵化的分類器與通用語言模型之間，提供一種實用的折衷方案。

決策模型也被視為約束 AI 代理不當行為的一種方式。將類似技術應用於人類生成的內容，是這個概念自然的延伸，不過兩種情境並不相同。審核人類言論涉及不斷變化的社會規範、含義模糊的表達，以及對情境的不同解讀。模型能依循書面政策，本身並不能解決該政策是否公平、清楚或始終如一地執行等問題。

Jankovic 表示，他對決策模型的興趣早於 Jev 成為知名案例之前。他將其源頭追溯至 2024 年的一項名為 GLiNER（Generalist Model for Named Entity Recognition）的計畫，該計畫使用了許多相同技術。這段背景顯示，Musubi 認為 PolicyLM-1.7B 不只是對產業新趨勢的回應，也是公司早已探索的概念之一種應用。

儘管如此，Musubi 不介意將產品與近期的決策模型討論並列。公司公告將 PolicyLM-1.7B 描述為與 Jev 屬於相同大類的模型，但專為內容審核訓練，並開放使用者自行執行。開放權重的發布方式，可能吸引希望更能掌控部署與設定的組織，也可能讓潛在使用者更容易評估模型在自家內容審核流程中的表現。

任何考慮採用此方法的平台，都還有重要問題需要面對。模型可能很快，但速度本身並不保證判斷準確或一致。書面政策可能包含模糊用語，模型對邊界案例的解讀也可能不同於規則制定者。平台需要以相關範例測試模型判斷、監控錯誤，並考量某些群體或表達類型是否受到不成比例的影響。此外，平台也需要明確說明模型標籤是供參考，還是會直接連結到執法措施。

政策更新也帶來自身的治理挑戰。無須重新訓練即可修訂指示，或許能讓反覆調整更容易，但這也意味著政策措辭成為系統中特別重要的一環。團隊必須了解變更如何影響分類，並記錄特定決策作出時適用的規則。完善的文件紀錄與審查，有助於確保快速調整不會損害一致性或問責性。

PolicyLM-1.7B 的設計目標是在 50 毫秒內套用書面內容政策，且政策變更時不必重新訓練。這些功能描述的是 Musubi 對模型的預期用途；實際表現則取決於平台如何部署、測試與監督。它更廣泛的意義或許不在於取代現有的內容審核系統，而在於為團隊提供另一種工具，將不斷演變的政策轉化為可大規模使用的內容標籤。

重點摘要表

後續展望……

決策模型或可讓線上平台更直接地將書面規則轉化為大規模的內容標籤。受限的輸出方式可能有助於管理速度與成本，而自然語言指示則可能讓政策變更更容易落實。這種組合是否有用，不只取決於技術表現：平台還需要檢驗分類品質、確保政策變更可追溯，並界定人類判斷在流程中的定位。

隨著組織探索 PolicyLM-1.7B 等工具，更廣泛的問題在於，如何運用自動化來支援內容審核，而不把模型輸出視為不容置疑的決定。經過審慎評估的模型，或可協助團隊看見新興趨勢並更有效率地修訂政策。人類監督、清楚的規則與持續評估，仍是確保這項能力負責任且有效運用的關鍵。