OpenAI

OpenAI 開源 Privacy Filter:1.5B 參數的 PII 偵測過濾模型

OpenAI 以 Apache 2.0 釋出 Privacy Filter:總參數 1.5B、每 token 僅啟動 50M 的稀疏 MoE 分類器,單次前向標記 8 類個資並以受限 Viterbi 解碼,連瀏覽器 WebGPU 都跑得動的資料最小化工具。

OpenAI 開源 Privacy Filter:1.5B 參數的 PII 偵測過濾模型 — 文章封面
本頁內容7 個段落
  1. 什麼是 Privacy Filter
  2. 1.5B 參數、50M 啟動的稀疏 MoE
  3. 單次前向、Viterbi 解碼的標籤體系
  4. 在哪裡跑:從瀏覽器到 SageMaker
  5. 定位與限制:輔助而非保證
  6. 對工程團隊的意義
  7. 參考來源

2026 年 4 月 22 日,OpenAI 發表 Privacy Filter,並以 Apache 2.0 授權把權重放上 Hugging Face。這是一個偵測並遮蔽文字中個人識別資訊(PII)的 token 分類模型,鎖定高吞吐量的本地端資料清理場景,GitHub 上的推論與部署程式碼同步開源。

為什麼重要:把敏感資料送進外部 API 之前先在本機過濾,是許多企業採用 LLM 的硬性前置條件。過去這個位置多由規則運算式或通用 NER 模型佔據,OpenAI 直接給了一個能跑在自己機房、甚至跑在瀏覽器裡的開源選項,而且把定位講清楚——它是輔助工具,不是合規保證。

什麼是 Privacy Filter

模型是一個雙向 token 分類器:輸入原始文字,輸出每個 token 在 33 個類別上的 logits——8 個個資類別(帳號、私人地址、私人信箱、人名、電話、私人網址、日期、密鑰)各配 BIOES 標記,外加一個背景類。整條序列只做一次前向傳播就完成標記,之後用帶轉移偏置的受限 Viterbi 解碼,把離散標籤整理成合理且連續的區段;執行期參數還能讓使用者在精確率與召回率之間、以及區段長度上自行取捨。

1.5B 參數、50M 啟動的稀疏 MoE

架構選擇頗有巧思。底座先以自回歸方式預訓練(結構近似小型 gpt-oss),再轉換成雙向分類器做監督式後訓練。規格:總參數 1.5B,但每個 token 只啟動 50M——稀疏 MoE 設計,128 個專家中每 token 取 4 個;d_model 為 640、8 層 transformer、14 個 query head 搭 2 個 KV head(group size 7)、旋轉位置編碼;注意力採帶狀設計(band 128,含自身有效視窗 257 token);上下文長度 128K。權重以 safetensors 發佈,約 2.8 GB,另有社群量化版本。

單次前向、Viterbi 解碼的標籤體系

計設上最值得留意的是「標記」與「決策」被拆成兩層。模型只負責輸出每 token 的類別分佈, span 的成形交給 Viterbi 解碼器:背景持續偏置、區段進入與結束偏置、邊界交接偏置共同約束輸出,避免出現不合法的標籤序列。這讓同一個模型可以依場景調整行為——召回優先的粗篩管線、精確優先的自動遮蔽,用的是同一份權重。

在哪裡跑:從瀏覽器到 SageMaker

部署面非常寬。Transformers 一行 pipeline 即可載入;Transformers.js 支援直接在瀏覽器以 WebGPU 搭 q4 量化執行——官方示範把 Harry Potter 標為 private_person(信心約 0.999996)、把信箱位址標為 private_email(約 0.999999);另外支援 ONNX與 SageMaker 部署。Hugging Face 上也提供了線上 demo Space,可以直接貼文字試效果。

定位與限制:輔助而非保證

模型卡在限制上寫得相當誠實:它是「redaction 與資料最小化的輔助,不是匿名化、合規或安全保證」。標籤政策是靜態的——想改標記範圍要微調,不是改設定。已知失敗模式包括漏抓罕見姓名與各地書寫慣例、以及過度遮蔽公共實體或無害的高亂度字串。醫療、法律、財務、人資、教育與政府場景被明確要求保留人工覆核。

對工程團隊的意義

三個實際結論。第一,PII 過濾有了可自託管的開源基準選項,資料出境前的第一道閘門可以落地在自己的機房或使用者的瀏覽器裡。第二,50M 啟動參數的推理成本夠低,適合放進管線的熱路徑做高吞吐掃描。第三,它的介面設計值得借鏡——把偵測與決策拆開、用解碼參數調整行為,這種工程模式比「一個模型解決全部」更經得起真實資料管線的折騰。

參考來源

本文由 AI 協助自上述來源整理,經人工審核後發布。

這篇內容對你有幫助嗎?

支持本站繼續整理實用的 AI 文章、教學與開發筆記。

請我喝杯咖啡
分享X電郵