లోపభూయిష్ట AI బెంచ్మార్క్లు ఎంటర్ప్రైజ్ బడ్జెట్లను ప్రమాదంలో పడేస్తాయి
AI బెంచ్మార్క్లు లోపభూయిష్టంగా ఉన్నాయని, “తప్పుదోవ పట్టించే” డేటాపై అధిక-స్టేక్స్ నిర్ణయాలు తీసుకునేలా ఒక సంస్థను సమర్ధవంతంగా నడిపించవచ్చని కొత్త విద్యాసంబంధ సమీక్ష సూచిస్తుంది. ఎంటర్ప్రైజ్ లీడర్లు జనరేటివ్ AI ప్రోగ్రామ్లకు ఎనిమిది లేదా తొమ్మిది అంకెల బడ్జెట్లను కేటాయించారు. ఈ సేకరణ మరియు అభివృద్ధి నిర్ణయాలు తరచుగా మోడల్ సామర్థ్యాలను పోల్చడానికి పబ్లిక్ లీడర్బోర్డ్లు మరియు బెంచ్మార్క్లపై ఆధారపడతాయి. పెద్ద-స్థాయి అధ్యయనం, ‘మేజర్ వాట్ మేటర్స్: కన్స్ట్రక్ట్ వాలిడిటీ ఇన్ లార్జ్ లాంగ్వేజ్ మోడల్ బెంచ్మార్క్లు,’…