公開 AI 聊天室的投毒攻擊
與多層防禦體系

摘要：大型語言模型（LLM）驅動的公開 AI 聊天室已成為面向公眾的常態服務形態。用戶可自由與 AI 對話，而對話內容會經由後台的「記憶管道」（memory pipeline）被自動提煉為長期記憶，最終寫入知識庫，供 AI 日後調用。這種設計帶來了前所未有的數據安全風險：任何訪客都能夠通過「說一句話」，向 AI 的長期記憶中寫入內容。當寫入者懷有惡意時，便構成「投毒攻擊」（data poisoning attack）——攻擊者無需攻破任何防火牆，只需陳述虛構事實，便可嘗試污染 AI 的記憶、人格與知識庫。

本文揭示一種被嚴重忽視的 AI 安全威脅：即使前線 AI 防禦表現完美，攻擊者仍可經由後台記憶提煉管道，實現投毒攻擊。