Զգուշացնող ազդանշաններ AI գործակալների ընկերություն վարձելիս
Զգուշացնող ազդանշաններ AI գործակալների վաճառքի ընթացքում. ցուցադրական դեմո, բացակայող վերահսկման կետեր, կեղծ չափորոշիչներ, հարթակից կախվածություն և փոխանցման անհստակ պայմաններ։
Northstar
Northstar-ն AI agent systems ստուդիա է։ Ալեքսը՝ engineering/product, Ջորդանը՝ operations/workflow fit։ Production գործակալներ առկա tools-ում։
Alex Morgan · LinkedIn · Northstar
Հրաժարվեք գործարքից, երբ մատակարարը չի կարող ցույց տալ իրական աշխատանքային գործընթաց, համակարգի դադարեցման հստակ կանոն և ամբողջական փոխանցման պայմաններ։ Դա ամենակարճ անվտանգ պատասխանն է։ OpenAI-ն AI գործակալային համակարգերը սովորական զրուցարաններից տարբերակում է գործիքների օգտագործմամբ և պաշտպանիչ սահմանափակումներով։ IBM-ը ներդրումը դիտարկում է որպես անցում իրական աշխատանքային միջավայր։ Dataiku-ն ասում է, որ արտադրական շահագործման համար անհրաժեշտ են նվազագույն արտոնությունների սկզբունքը, աուդիտի հնարավորությունը, մարդու վերանայումը, վթարային անջատիչները և ծախսերի վերահսկման ցուցանիշները։ NIST-ը և OWASP-ը ներկայացնում են այդ պատասխանը հիմնավորող ռիսկերի կառավարման շրջանակները։
Եթե մատակարարը չի կարող բացատրել այդ մասերը, պայմանագիր ստորագրելու համար դեռ բավարար հիմք չկա։
Անթույլատրելի խոչընդոտները մի հայացքով
| Զգուշացնող ազդանշան | Ինչու է կարևոր | Ինչ տեսք ունի վստահելի պատասխանը |
|---|---|---|
| Դեմոն երբեք չի առնչվում իրական աշխատանքային գործընթացին | Փայլեցված էկրանից չեք կարող գնահատել համակարգի վարքը արտադրական միջավայրում։ | Մատակարարը ցույց է տալիս, թե համակարգն ինչպես է աշխատում ձեր իրական գործիքների, տվյալների և բացառությունների հետ։ |
| Դադարեցման կամ հետշրջման պլան չկա | Չդադարեցվող համակարգը չկառավարվող ռիսկ է ստեղծում։ | Մատակարարը կարող է բացատրել, թե ինչպես դադարեցնել նոր գործողությունները՝ առանց հարակից համակարգերը խափանելու։ |
| Լայն հասանելիություն, երբ աշխատանքի ծավալը դեռ հստակ չէ | Նվազագույն արտոնությունների սկզբունքը բացակայում է։ | Հասանելիությունը սահմանափակված է վերանայվող մեկ աշխատանքային գործընթացով։ |
| Գրանցամատյաններ կամ վերանայման ցիկլ չկա | Չեք կարող վերականգնել խափանման ընթացքը։ | Մատակարարը ցույց է տալիս, թե որտեղ են պահվում գործողությունների հետքերը և ինչպես են ընտրվում վերանայման նմուշները։ |
| Բացառությունների համար պատասխանատու նշված չէ | Գործարկումից հետո բարդ դեպքերի համար ոչ ոք պատասխանատվություն չի կրում։ | Մեկ մարդ պատասխանատու է հերթի համար, և կա էսկալացիայի մեկ հստակ ուղի։ |
| Անշրջելի գործողություններին վերաբերվում են թեթևորեն | Վերադարձները, ջնջումները և ուղարկումները ավելի ուժեղ վերահսկում են պահանջում։ | Վենդորը թվարկում է, թե որ գործողություններն են պահանջում հաստատում։ |
| Հաջողության պնդումներն իրական տվյալներ չեն օգտագործում | Չափորոշիչները առանց թեստի դիզայնի գեղարվեստական գրականություն են։ | Վենդորը ցույց է տալիս գնահատման հավաքածուն, անցման շեմը և վերանայման մեթոդը։ |
| Փոխանցման պայմաններն անհստակ են | Կարող եք կախվածության մեջ մնալ մատակարարի համակարգից։ | Ստանում եք փաստաթղթեր, շահագործման կանոնակարգեր և սպասարկման մոդել։ |
Եթե մեկ զանգի ընթացքում լսում եք մի քանի զգուշացնող ազդանշան, կանգնեցրեք գործընթացը և նորից ստուգեք աշխատանքի ծավալը՝ նախքան շարունակելը։
Դեմո թատրոն
Առաջին վատ օրինաչափությունը դեմոն է, որը երբեք չի փորձարկվում մատակարարի վերահսկվող միջավայրից դուրս։ Այդպիսի ներկայացումը հաճախ տպավորիչ է թվում, որովհետև շրջանցում է բարդ դեպքերը։ Այն կարող է պատասխանել հարցերին ու ցուցադրել միջերեսը, բայց ոչինչ չասել արտադրական միջավայրում համակարգի վարքի մասին։
Օգտակար թեստը պարզ է։ Խնդրեք մատակարարին ցույց տալ աշխատանքային գործընթացը իրական գործիքով, իրական բացառությամբ և փոխանցման իրական ընթացակարգով։ Եթե նա կարող է ցույց տալ միայն պատրաստի հրահանգներ կամ փայլեցված զրուցարանային միջերես, ապա ցուցադրում է համակարգի արտաքին շերտը, ոչ ամբողջ համակարգը։
OpenAI-ի ուղեցույցն այստեղ տալիս է ամենապարզ ստուգման չափանիշը։
Գեղեցիկ զրուցարանային միջերեսը աշխատանքային գործընթացը կատարող գործակալի բավարար ապացույց չէ։
Դուք դեռ պետք է իրական առաջադրանքի վրա տեսնեք գործիքների օգտագործումը, վերահսկման միջոցները և շահագործման տրամաբանությունը։
Անվտանգության խուսափում
Երկրորդ վատ օրինաչափությունը մատակարարն է, որը խոսում է ինքնավարության մասին, բայց խուսափում է այն վերահսկման միջոցներից, որոնց շնորհիվ համակարգը կարելի է անվտանգ շահագործել։ Եթե նա չի կարող քննարկել նվազագույն արտոնությունների սկզբունքը, հաստատման կետերը, գրանցամատյանների վարումը կամ հետշրջումը, ապա առաջարկում է չկառավարվող ռիսկ։
Dataiku-ն այս կետում հստակ է։ Արտադրական շահագործման պատրաստ գործակալներին անհրաժեշտ են մուտքի սահմանափակումներ, աուդիտի հնարավորություն, պաշտպանիչ սահմանափակումներ, մարդու վերանայում, վթարային անջատիչ և ծախսերի հաշվառում։ Դա ցանկալի, բայց ոչ պարտադիր ցանկ չէ։ Դա արտադրական համակարգի նվազագույն կազմն է։
Հանդիպման ընթացքում հարցրեք սա.
- Որ գործողություններն են պահանջում մարդու հաստատում։
- Որն է հետադարձման ուղին, եթե համակարգը սխալ է վարվում։
- Որտե՞ղ են պահվում գրանցամատյանները։
- Ո՞վ է վերանայում հետագծումների նմուշը։
- Որն է նվազագույն արտոնություններով մուտքի պլանը։
- Ի՞նչ է տեղի ունենում, երբ աշխատանքային գործընթացը հանդիպում է սահմանային դեպքի։
Եթե մատակարարը վստահ է պատասխանում, բայց մանրամասներ չի տալիս, շարունակեք հստակեցնող հարցեր տալ։ Վստահությունը ապացույց չէ։
Սեփականություն և փոխանցում
Երրորդ վատ օրինաչափությունը մատակարարն է, որը ինչ-որ բան է կառուցում, բայց ձեզ չի փոխանցում շահագործման հստակ մոդել։ Դա արտադրական համակարգի ամբողջական փոխանցում չէ։ Դա կախվածություն է։
Մատակարարը պետք է բացատրի, թե ով է պատասխանատու բացառությունների համար, ով է ստանում ծանուցումները, ով կարող է դադարեցնել համակարգը և ինչ է վերջում ստանում գնորդի թիմը։ Եթե պատասխանը «մենք ամեն ինչ կկառավարենք» է, հարցրեք, թե դա ինչ է նշանակում առաջին ամսից հետո։
IBM-ը ասում է, որ ներդրումը նույնը չէ, ինչ մշակումը։ Համակարգը ինտեգրված է բիզնես գործիքների հետ, և արդյունավետությունը կառավարվում է ժամանակի ընթացքում։ Դա ենթադրում է պատասխանատու նաև գնորդի, ոչ միայն համակարգը կառուցող մատակարարի կողմից։
Հետևեք այս սեփականության բացերին.
- Անվանված բիզնես սեփականատեր չկա։
- Շահագործման կանոնակարգ չկա։
- Էսկալացիայի ուղի չկա։
- Աջակցության հերթի համար փաստաթղթավորում չկա։
- Չկա պատասխան, թե ով է փոխում աշխատանքային գործընթացը գործարկումից հետո։
Եթե մատակարարը չի փոխանցում այնքան տեղեկություն, որ ձեր թիմը կարողանա շահագործել համակարգը, գործարքը լիարժեք չէ։
Հարթակային կախվածություն
Կախվածությունը միայն գնից չէ։
Հարցն այն է, թե արդյոք կարող եք փոխել մատակարարին՝ առանց աշխատանքային գործընթացը կորցնելու։
Խնդրեք մատակարարին ցույց տալ հետևյալը։
- Ինչպես են արտահանվում տվյալները, գրանցամատյանները, հրահանգներն ու կարգավորումները։
- Ով է տիրապետում մուտքի տվյալներին և ինչպես են դրանք փոխանցվում։
- Ինչ է լինում գնահատման ակտիվների հետ, եթե համագործակցությունը ավարտվում է։
- Արդյոք գնորդը ստանում է մտավոր սեփականությունը և գործառնական փաստաթղթերը, որոնք պետք են շարունակելու համար։
- Ինչ տեսք ունի դադարեցման աջակցությունը, եթե անցնում եք այլ թիմի։
Եթե պատասխանը «սա կարող եք օգտագործել միայն մեր հարթակում» է, դա դիտարկեք որպես կախվածության մասին զգուշացում, ոչ թե առավելություն։
Ծավալի ուռճացում
Չորրորդ վատ օրինաչափությունն ամեն ինչ ավտոմատացնելու խոստումն է՝ նախքան մեկ աշխատանքային գործընթաց քարտեզագրելը։ Դա սովորաբար նշանակում է, որ մատակարարը վաճառում է հավակնոտ խոստում, ոչ թե հստակ արդյունք։
Ավելի անվտանգ փորձարկումը ներառում է մեկ աշխատանքային գործընթաց, մեկ ընդունման թեստ և վերահսկման կետերի մեկ հավաքածու։ Ավելի մեծ ամեն ինչ պետք է վաստակվի այն բանից հետո, երբ առաջին ուղին աշխատում է։
NIST-ն այստեղ օգտակար է, որովհետև AI-ի ռիսկերի կառավարումը հիմնված է համակարգված վերահսկման, ոչ թե շուկայական աղմուկի վրա։ OWASP-ն օգտակար է, որովհետև AI գործակալային համակարգերի ռիսկերը արագ աճում են, երբ աշխատանքի շրջանակն ընդլայնվում է առանց համապատասխան վերահսկման միջոցների։
Խնդրեք մատակարարին հստակ նշել այն աշխատանքային գործընթացը, որն առաջինը կներդնի։ Եթե նրանք հրաժարվում են նեղացնել ծավալը, նրանք պատրաստ չեն գնագոյացնել աշխատանքը։
Ինչ հարցնել՝ նախքան ստորագրելը
Այս հարցերը տվեք իրական հանդիպման ժամանակ՝ թույլ մատակարարներին զտելու համար։
- Ցույց տվեք իրական աշխատանքային գործընթացը, ոչ թե դեմոյի համար պատրաստված սցենարը։
- Ցույց տվեք կանգառի կանոնը և հետադարձման պլանը։
- Ցույց տվեք նվազագույն արտոնություններով մուտքի պլանը։
- Ցույց տվեք գրանցամատյանները և վերանայման ցիկլը։
- Ցույց տվեք, թե ով է տիրապետում բացառություններին գործարկումից հետո։
- Ցույց տվեք, թե որ գործողություններն են անցնում հաստատման կետերով։
- Ցույց տվեք փոխանցման փաթեթը։
- Ցույց տվեք ընդունման թեստը։
Եթե մատակարարը կարող է հստակ պատասխանել բոլոր ութ հարցերին, շարունակեք։ Եթե չի կարող, մինչև որևէ պարտավորություն ստանձնելը կարդացեք ինչպես վարձել AI գործակալների ներդրման գործակալություն կամ AI գործակալների մատակարարներին տրվող հիմնական հարցեր էջերը։
Եթե արդեն ունեք աշխատանքի ծավալի նախագիծ, համեմատեք այն AI գործակալի փորձնական նախագծի ծավալի ձևանմուշի և ինչպես համեմատել AI գործակալների ներդրման գործակալությունները էջի հետ։
Ինչպես է Northstar-ն տեղավորվում
Մենք բացակայող վերահսկման կետերը, գրանցամատյաններն ու փոխանցման պայմանները դիտարկում ենք որպես աշխատանքի շրջանակի, ոչ թե արտաքին տեսքի խնդիրներ։ Հենց դրա համար նախընտրում ենք սահմանափակ աուդիտ՝ նախքան կառուցումը։ Ավելի հեշտ է կանգնեցնել վատ գործարքը պայմանագրից առաջ, քան փրկել կոտրվածը գործարկումից հետո։
Եթե ուզում եք, որ մեկ աշխատանքային գործընթացը կամ մեկ մատակարարի առևտրային առաջարկը լրացուցիչ գնահատվի, ներկայացրեք այն լուծումների էջում։
FAQ
Ինքնին՝ ոչ։ Ավելորդ վստահությունը դառնում է զգուշացնող ազդանշան, երբ մատակարարը չի կարող պատասխանել վերը նշված վերահսկման հարցերին։