საგანგაშო სიგნალები AI-აგენტების კომპანიის დაქირავებისას
საგანგაშო სიგნალები AI-აგენტების გაყიდვებში: დემოზე ორიენტირებული წარმოდგენა, გამოტოვებული საკონტროლო წერტილები, ფიქტიური მეტრიკები, პლატფორმაზე მიბმა და გადაცემის არარსებობა.
Northstar
Northstar არის AI agent systems სტუდია. ალექსი - engineering/product, ჯორდანი - operations/workflow fit. Production აგენტები არსებულ tools-ში.
Alex Morgan · LinkedIn · Northstar
უარი თქვით თანამშრომლობაზე, თუ ვენდორი ვერ გიჩვენებთ რეალურ სამუშაო პროცესს, სისტემის გაჩერების მკაფიო წესსა და სრულფასოვან გადაცემას. ეს ყველაზე მოკლე უსაფრთხო პასუხია. OpenAI აგენტურ სისტემებს მხოლოდ ჩატის სისტემებისგან ინსტრუმენტების გამოყენებითა და დამცავი შეზღუდვებით განასხვავებს. IBM დანერგვას რეალურ სამუშაო გარემოში გადასვლად განიხილავს. Dataiku ამბობს, რომ რეალურ გარემოში მუშაობას სჭირდება მინიმალური საჭირო წვდომის პრინციპი, აუდიტირებადობა, ადამიანის მიერ შემოწმება, ავარიული გამორთვა და ხარჯების მონიტორინგი. NIST და OWASP ამ პასუხის შესაფასებლად რისკების მართვის ჩარჩოს გვაძლევს.
თუ ვენდორს ამ ნაწილების ახსნა არ შეუძლია, მისი შეთავაზება ხელმოსაწერად მზად არ არის.
გადამწყვეტი საგანგაშო სიგნალები ერთი შეხედვით
| საგანგაშო სიგნალი | რატომ აქვს მნიშვნელობა | როგორ გამოიყურება სანდო პასუხი |
|---|---|---|
| დემო არასოდეს ეხება რეალურ სამუშაო პროცესს | რეალურ გარემოში ქცევას გაპრიალებული ეკრანიდან ვერ შეაფასებთ. | ვენდორი სისტემას თქვენს რეალურ ინსტრუმენტებზე, მონაცემებსა და გამონაკლისებზე აჩვენებს. |
| გაჩერების ან უკან დაბრუნების გეგმა არ არის | სისტემა, რომლის უსაფრთხოდ შეჩერებაც შეუძლებელია, დაუშვებელ რისკს ქმნის. | ვენდორს შეუძლია ახსნას, როგორ შეწყდება ახალი მოქმედებები დაკავშირებული სისტემების დაზიანების გარეშე. |
| ფართო წვდომა სამუშაოს მოცულობის გარკვევამდე | მინიმალური პრივილეგიების პრინციპი აკლია. | წვდომა მხოლოდ იმ ერთ სამუშაო პროცესზეა შეზღუდული, რომელიც განხილვის ქვეშაა. |
| ჟურნალები ან განხილვის ციკლი არ არის | ჩავარდნის მიზეზის აღდგენა შეუძლებელია. | ვენდორი აჩვენებს, სად ინახება შესრულების კვალი და როგორ მოწმდება შერჩეული შემთხვევები. |
| გამონაკლისებისთვის დასახელებული პასუხისმგებელი არ არის | გაშვების შემდეგ რთულ შემთხვევებზე პასუხისმგებლობა გაურკვეველი რჩება. | ერთი ადამიანი მართავს რიგს და ესკალაციის ერთი მკაფიო გზა არსებობს. |
| შეუქცევადი მოქმედებები უყურადღებოდ არის მოპყრობილი | თანხის დაბრუნებებს, წაშლებს და გაგზავნებს უფრო მკაცრი კონტროლი სჭირდება. | ვენდორი ჩამოთვლის, რომელი მოქმედებები საჭიროებს დამტკიცებას. |
| წარმატების შესახებ განცხადებები რეალურ მონაცემებს არ ეყრდნობა | ტესტის მეთოდის გარეშე მეტრიკები არაფერს ამტკიცებს. | ვენდორი აჩვენებს შეფასების ნაკრებს, გავლის ზღვარსა და შემოწმების მეთოდს. |
| გადაცემა ბუნდოვანია | ვენდორის სისტემაში შეიძლება ჩაიკეტოთ. | იღებთ დოკუმენტაციას, ექსპლუატაციის რეგლამენტებს და მომსახურების მოდელს. |
თუ ერთ ზარზე რამდენიმე საგანგაშო სიგნალი გამოჩნდა, პროცესი შეაჩერეთ და გაგრძელებამდე სამუშაოს ფარგლები ხელახლა შეამოწმეთ.
დემოთი შთაბეჭდილების მოხდენა
პირველი ცუდი ნიშანია დემო, რომელიც მხოლოდ ვენდორის სატესტო გარემოში მუშაობს. ასეთი პრეზენტაცია ხშირად შთამბეჭდავად გამოიყურება, რადგან რეალური პროცესის რთულ ნაწილებს გვერდს უვლის. დემოს შეუძლია კითხვებს უპასუხოს და ინტერფეისი აჩვენოს, მაგრამ რეალურ გარემოში სისტემის ქცევაზე მაინც არაფერი გითხრათ.
სასარგებლო ტესტი მარტივია. სთხოვეთ ვენდორს, სამუშაო პროცესი რეალური ინსტრუმენტით, რეალური გამონაკლისითა და გადაცემის რეალური პირობებით გაჩვენოთ. თუ მხოლოდ წინასწარ მომზადებულ მოთხოვნებს ან გაპრიალებულ ჩატის ინტერფეისს აჩვენებს, ხედავთ მხოლოდ გარე ფენას და არა სრულ სისტემას.
OpenAI-ის სახელმძღვანელო აქ მკაფიო საწყის ორიენტირს გვაძლევს.
ლამაზი საუბრის ფენა სამუშაო პროცესის აგენტის საკმარისი მტკიცებულება არ არის.
მაინც უნდა ნახოთ ინსტრუმენტების გამოყენება, კონტროლები და საოპერაციო ლოგიკა რეალური დავალების შესრულებისას.
უსაფრთხოების თავიდან აცილება
მეორე ცუდი ნიშანია ვენდორი, რომელიც ავტონომიაზე საუბრობს, მაგრამ მის უსაფრთხო გამოყენებას საჭირო კონტროლებს გვერდს უვლის. თუ მინიმალური საჭირო წვდომის პრინციპზე, დამტკიცების წერტილებზე, ჟურნალირებაზე ან უკან დაბრუნებაზე საუბარი არ შეუძლია, ვენდორი გთხოვთ, დაუგეგმავი რისკი აიღოთ.
Dataiku ამ წერტილზე პირდაპირია. რეალურ გარემოში მომუშავე აგენტებს სჭირდება წვდომის შეზღუდვა, აუდიტირებადობა, დამცავი წესები, ადამიანის მიერ შემოწმება, ავარიული გამორთვა და ხარჯების აღრიცხვა. ეს სასურველი, მაგრამ არასავალდებულო ჩამონათვალი არ არის. ეს რეალურ გარემოში მომუშავე სისტემის მინიმალური მოთხოვნებია.
შეხვედრაზე ეს კითხვები დასვით:
- რომელი მოქმედებები საჭიროებს ადამიანის დამტკიცებას?
- როგორ ხდება უკან დაბრუნება, თუ სისტემა არასწორად იქცევა?
- სად ინახება ჟურნალები?
- ვინ განიხილავს ტრასირებების ნიმუშს?
- რა არის მინიმალური პრივილეგიებით წვდომის გეგმა?
- რა ხდება, როცა სამუშაო პროცესი კიდურა შემთხვევას ხვდება?
თუ ვენდორი თავდაჯერებით, მაგრამ დეტალების გარეშე პასუხობს, დამაზუსტებელი კითხვები დაუსვით. თავდაჯერებულობა მტკიცებულება არ არის.
მფლობელობა და გადაცემა
მესამე ცუდი ნიშანია ვენდორი, რომელიც სისტემას აშენებს, მაგრამ მისი მართვის მოდელს არ გადმოგცემთ. ეს სრულფასოვანი გადაცემა არ არის. ეს მომწოდებელზე დამოკიდებულებაა.
უნდა მოელოდეთ, რომ ვენდორი ახსნის, ვინ ფლობს გამონაკლისებს, ვინ იღებს გაფრთხილებას, ვის შეუძლია სისტემის შეჩერება და რას იღებს მყიდველის გუნდი ბოლოს. თუ პასუხი არის „ყველაფერს ჩვენ ვმართავთ“, იკითხეთ, რას ნიშნავს ეს პირველი თვის შემდეგ.
IBM ამბობს, რომ დანერგვა განვითარების იდენტური არ არის. სისტემა ბიზნეს ინსტრუმენტებთან არის ინტეგრირებული და შედეგიანობა დროთა განმავლობაში იმართება. ეს გულისხმობს პასუხისმგებელ პირს მყიდველის გუნდშიც და არა მხოლოდ ვენდორის მხარეს შემქმნელს.
ყურადღება მიაქციეთ პასუხისმგებლობის განაწილების ამ ხარვეზებს:
- დასახელებული ბიზნეს მფლობელი არ არის.
- ექსპლუატაციის რეგლამენტი არ არის.
- ესკალაციის გზა არ არის.
- მხარდაჭერის რიგის დოკუმენტაცია არ არის.
- პასუხი არ არის იმაზე, ვინ ცვლის სამუშაო პროცესს გაშვების შემდეგ.
თუ ვენდორი საკმარის კონტექსტს არ გადმოგცემთ, რომ თქვენმა გუნდმა სისტემა მართოს, გარიგება დასრულებული არ არის.
პლატფორმაზე მიბმა
პლატფორმაზე მიბმა მხოლოდ ფასს არ ეხება.
მთავარი კითხვაა, შეძლებთ თუ არა თანამშრომლობის დასრულებას სამუშაო პროცესის დაკარგვის გარეშე.
ვენდორს სთხოვეთ ყველა შემდეგი აჩვენოს.
- როგორ ექსპორტდება მონაცემები, ჟურნალები, მოთხოვნები და კონფიგურაციები.
- ვინ ფლობს წვდომის მონაცემებს და როგორ გადაეცემა.
- რა ემართება შეფასების აქტივებს, თუ თანამშრომლობა მთავრდება.
- იღებს თუ არა მყიდველი ინტელექტუალურ საკუთრებასა და საოპერაციო დოკუმენტაციას, რომლებიც გაშვების გასაგრძელებლად სჭირდება.
- როგორ გამოიყურება შეწყვეტის მხარდაჭერა, თუ სხვა გუნდზე გადადიხართ.
თუ პასუხია „ამის გამოყენება მხოლოდ ჩვენს პლატფორმაზე შეგიძლიათ“, ეს პლატფორმაზე მიბმის საგანგაშო სიგნალად ჩათვალეთ და არა უპირატესობად.
სამუშაოს მოცულობის გაბერვა
მეოთხე ცუდი ნიშანია დაპირება, რომ ყველაფერს ავტომატიზებენ, სანამ ერთი სამუშაო პროცესიც კი არ არის აღწერილი. ეს ჩვეულებრივ ნიშნავს, რომ ვენდორი ფართო დაპირებას ყიდის და არა კონკრეტულ შედეგს.
უფრო უსაფრთხო ტესტი არის ერთი სამუშაო პროცესი, ერთი მიღების ტესტი, ერთი საკონტროლო წერტილების ნაკრები. ფარგლების გაფართოება მხოლოდ პირველი პროცესის გამართვის შემდეგ უნდა განიხილოთ.
NIST აქ სასარგებლოა, რადგან AI რისკის მართვა სისტემატურ კონტროლზეა და არა აჟიოტაჟზე. OWASP სასარგებლოა, რადგან სამუშაოს ფარგლების კონტროლის გარეშე გაფართოებასთან ერთად აგენტური სისტემის რისკებიც სწრაფად იზრდება.
ვენდორს სთხოვეთ ზუსტად დაასახელოს ის სამუშაო პროცესი, რომელსაც პირველად გაუშვებდა. თუ მოცულობის შევიწროებაზე უარს ამბობს, სამუშაოს ფასის დასადგენად მზად არ არის.
რა იკითხოთ ხელმოწერამდე
ეს კითხვები ხელმოწერამდე საბოლოო შემოწმებად გამოიყენეთ.
- მაჩვენეთ რეალური სამუშაო პროცესი და არა წინასწარ მომზადებული დემო.
- მაჩვენეთ გაჩერების წესი და უკან დაბრუნების გეგმა.
- მაჩვენეთ მინიმალური პრივილეგიებით წვდომის გეგმა.
- მაჩვენეთ ჟურნალები და განხილვის ციკლი.
- მაჩვენეთ, ვინ ფლობს გამონაკლისებს გაშვების შემდეგ.
- მაჩვენეთ, რომელი მოქმედებები გადის დამტკიცების წერტილებს.
- მაჩვენეთ გადაცემის პაკეტი.
- მაჩვენეთ მიღების ტესტი.
თუ ვენდორს რვავე კითხვაზე მკაფიოდ პასუხი შეუძლია, გააგრძელეთ. თუ ვერ პასუხობს, ვალდებულების აღებამდე გამოიყენეთ როგორ დავიქირაოთ AI-აგენტების სააგენტო ან ძირითადი კითხვები AI-აგენტების ვენდორებისთვის.
თუ სამუშაოს მოცულობის მონახაზი უკვე გაქვთ, შეადარეთ AI-აგენტის პილოტის მოცულობის შაბლონს და როგორ შევადაროთ AI-აგენტების სააგენტოები.
როგორ ჯდება Northstar
გამოტოვებულ საკონტროლო წერტილებს, ჟურნალებსა და გადაცემას გარეგნული გაფორმების პრობლემად კი არა, სამუშაოს ფარგლების პრობლემად ვთვლით. ამიტომ აგებამდე შეზღუდულ აუდიტს ვამჯობინებთ. ცუდი გარიგების შეჩერება კონტრაქტამდე უფრო ადვილია, ვიდრე გაშვების შემდეგ გაუმართავი სისტემის გამოსწორება.
თუ ერთ სამუშაო პროცესზე ან ვენდორის ერთ კომერციულ შეთავაზებაზე დამოუკიდებელი შეფასება გინდათ, მოიტანეთ ის გადაწყვეტილებების გვერდზე.
FAQ
თავისთავად არა. ზედმეტი თავდაჯერებულობა საგანგაშო სიგნალი ხდება მაშინ, როცა ვენდორს ზემოთ მოცემულ კონტროლის კითხვებზე პასუხი არ შეუძლია.