結論

人間だと思え

本文

Prompt Injection対策において、リスクを機密情報の流出と考えることが多い(ほんとか?)が、そもそも機密情報をLLMに渡すべきではない。それだけの話。

LLMへの入力も、LLMの出力も、一切信用せずにユーザの入力同様バリデーションを行うべきだろう。

発展

上はチャットボットみたいなアプリケーションの話で、 LLMをアプリケーションのより深い部分に組み込んだ場合の対策についてはは以下の記事が面白かったです。

Prompt経由のSQL Injection攻撃について

「生成AI」はバズワード化していて、情報は玉石混交だが、高江洲さんは以前からこういったAI関連のセキュリティについて研究しているので、個人的には信用できます。

おわりに

この記事はn01e0 Advent Calendar 2023の2日目の記事です。

明日はあるかわかりません

また、IPFactory OB Advent Calendar 2023の2日目の記事も兼ねています。