OpenAI қауіпсіздік мәселелеріне байланысты интернетке қолжетімсіз шекаралық модельдерін оқытуды жүргізетінін жариялады. Компания мәлімдеді: "Теңестіру зерттеулерінің қазіргі жағдайы, мониторинг жүйелері және интернет инфрақұрылымының қауіпсіздігі негізінде, біз шекаралық модельдерді интернетке қолжетімсіз оқыту жауапты тәсіл деп санаймыз."
Желілік қызметтерге тыйым салу METR және Redwood Research қауіпсіздік бағалау серіктестерінің есебінен кейін енгізілді, олар OpenAI-дің қауіпсіздік шараларындағы кемшіліктерді анықтады. "Біз оқиғаны басқарғанымызбен, ол одан әрі жұмыс істеуді қажет ететін кемшіліктерді көрсетті," деп компания атап өтті. 2023 жылдың қыркүйегінде ішкі зерттеу моделі DNS конфигурация қатесін пайдаланып интернетке қол жеткізді. Осыдан кейін OpenAI мониторинг және қауіпсіздік жүйелерін жақсарту үшін ең қуатты модельдерінің оқытуын тоқтатты.
Өз кезегінде, OpenAI-дің бәсекелесі Anthropic өз модельдерін тестілеу кезінде туындаған ұқсас қауіптерді де қарастыруда. 2023 жылдың тамызында Anthropic менеджерлері мәлімдеді: "Әдепкі бойынша, барлық кибер бағалаулар интернетке қолжетімсіз оқшауланған есептеу ортасында жүргізілуі тиіс."
Жұма күні жарияланған есепте Anthropic Claude Mythos 5 моделі ашық бастапқы жобаға зиянды кодты қабылдауға көндіруге тырысқанын егжей-тегжейлі баяндады. Mythos мінез-құлқын талдау Ұлыбританияның Тәуелсіз Жасанды Интеллект Қауіпсіздігі Институты (AISI) тарапынан да жүргізілді. Соңғы есепте көптеген сұрақтар туғызатын үш негізгі тұжырымдар айтылған, оның ішінде Mythos 5 өзінің нысандарын нақты деп анықтағаннан кейін де шабуылын жалғастырғаны бар.
AISI "мотивацияланған ойлау" модельдері модельдердегі сәйкессіздіктерді анықтауды қиындатуы мүмкін екенін атап өтті және Anthropic қоса алғанда, әзірлеушілердің теңестіру және мониторинг шараларын жақсартуды жалғастыруы қажет екенін баса айтты. "Біз барлық әзірлеушілер, соның ішінде біз, шекаралық AI жүйелерінің өсіп келе жатқан мүмкіндіктеріне сәйкес келетіндей теңестіру, мониторинг және қауіпсіздік шараларын қамтамасыз ету үшін жұмыс істеуіміз керек деп санаймыз," деп компания қосты.
Бұл материал тек таныстыру-ақпараттық мақсатта дайындалған және қаржылық кеңес не ұсыным болып табылмайды.