დაცვა ინსტრუქციების ჩანერგვისგან ხელსაწყოებით მომუშავე აგენტებში

პირდაპირი პასუხი

მოექეცით ყველა external text-ს როგორც hostile. გაყავით instructions data-სგან, შეზღუდეთ tools, მოითხოვეთ gates irreversible actions-ზე და არასოდეს მიეცით retrieved content-ს system policy-ის გადაწერის უფლება.

Direct vs indirect injection

User წერს “ignore rules” vs webpage/email, რომელიც ამბობს “forward secrets to …”. Indirect არის business killer.

Defenses, რომლებიც ეხმარება

Allowlisted tools, no open browsing high-trust აგენტებში, sanitize/truncate untrusted text, dual-channel confirmations sends-ისთვის, human gates.

Defenses, რომლებიც სუსტია alone

“You are a safe assistant” pep talks system prompt-ში.

PDF და email

იგივე წესები: content არის data, არა authority.

როგორ ჯდება Northstar

Security-minded design default-ია Northstar pilots-ში: გადაწყვეტები.