AI మోడళ్లను అమలు చేయడానికి చాలా ఖర్చుతో పోరాడుతున్న ఎంటర్ప్రైజ్ నాయకులు కొత్త ఆర్కిటెక్చర్ డిజైన్కు కృతజ్ఞతలు తెలుపుతారు.
ఉత్పాదక AI యొక్క సామర్థ్యాలు ఆకర్షణీయంగా ఉన్నప్పటికీ, శిక్షణ మరియు అనుమితి రెండింటికీ వారి అపారమైన గణన డిమాండ్లు నిషేధిత ఖర్చులు మరియు పెరుగుతున్న పర్యావరణ ఆందోళనలకు దారితీస్తాయి. ఈ అసమర్థత మధ్యలో టోకెన్-బై-టోకెన్తో వరుసగా వచనాన్ని ఉత్పత్తి చేసే ఆటోరిగ్రెసివ్ ప్రక్రియ యొక్క మోడల్ల “ఫండమెంటల్ అడ్డంకి” ఉంది.
నుండి విస్తారమైన డేటా స్ట్రీమ్లను ప్రాసెస్ చేసే ఎంటర్ప్రైజెస్ కోసం IoT నెట్వర్క్లు ఆర్థిక మార్కెట్లకు, ఈ పరిమితి దీర్ఘ-రూప విశ్లేషణను నెమ్మదిగా మరియు ఆర్థికంగా సవాలుగా చేస్తుంది. అయితే, నుండి ఒక కొత్త పరిశోధనా పత్రం టెన్సెంట్ AI మరియు సింగువా విశ్వవిద్యాలయం ప్రత్యామ్నాయాన్ని ప్రతిపాదిస్తుంది.
AI సామర్థ్యానికి కొత్త విధానం
పరిశోధన కంటిన్యూయస్ ఆటోరెగ్రెసివ్ లాంగ్వేజ్ మోడల్స్ (CALM)ని పరిచయం చేసింది. ఈ పద్ధతి వివిక్త టోకెన్ కంటే నిరంతర వెక్టర్ను అంచనా వేయడానికి ఉత్పత్తి ప్రక్రియను మళ్లీ ఇంజనీర్ చేస్తుంది.
అధిక-విశ్వసనీయ ఆటోఎన్కోడర్ “K టోకెన్ల భాగాన్ని ఒకే నిరంతర వెక్టర్గా కుదించు(లు)”, ఇది చాలా ఎక్కువ సెమాంటిక్ బ్యాండ్విడ్త్ను కలిగి ఉంటుంది.
“ది”, “పిల్లి”, “కూర్చుని” వంటి వాటిని మూడు దశల్లో ప్రాసెస్ చేయడానికి బదులుగా, మోడల్ వాటిని ఒకటిగా కుదించింది. ఈ డిజైన్ నేరుగా “ఉత్పత్తి దశల సంఖ్యను తగ్గిస్తుంది”, గణన లోడ్పై దాడి చేస్తుంది.
ప్రయోగాత్మక ఫలితాలు మెరుగైన పనితీరు-కంప్యూట్ ట్రేడ్-ఆఫ్ను ప్రదర్శిస్తాయి. ఒక CALM AI మోడల్ నాలుగు టోకెన్లను సమూహపరచడం వలన ఒక ఎంటర్ప్రైజ్ కోసం “బలమైన వివిక్త బేస్లైన్లతో పోల్చవచ్చు, కానీ గణనీయంగా తక్కువ గణన ఖర్చుతో” పనితీరును అందించింది.
ఉదాహరణకు, ఒక CALM మోడల్కు, సారూప్య సామర్థ్యం గల బేస్లైన్ ట్రాన్స్ఫార్మర్ కంటే 44 శాతం తక్కువ శిక్షణ FLOPలు మరియు 34 శాతం తక్కువ అనుమితి FLOPలు అవసరం. ఇది శిక్షణ యొక్క ప్రారంభ మూలధన వ్యయం మరియు అనుమితి యొక్క పునరావృత కార్యాచరణ వ్యయం రెండింటిపై పొదుపును సూచిస్తుంది.
నిరంతర డొమైన్ కోసం టూల్కిట్ను పునర్నిర్మించడం
పరిమిత, వివిక్త పదజాలం నుండి అనంతమైన, నిరంతర వెక్టార్ స్పేస్కి మారడం ప్రామాణిక LLM టూల్కిట్ను విచ్ఛిన్నం చేస్తుంది. కొత్త మోడల్ను ఆచరణీయంగా చేయడానికి పరిశోధకులు “సమగ్ర సంభావ్యత లేని ఫ్రేమ్వర్క్”ని అభివృద్ధి చేయాల్సి వచ్చింది.
శిక్షణ కోసం, మోడల్ ప్రామాణిక సాఫ్ట్మాక్స్ లేయర్ లేదా గరిష్ట సంభావ్యత అంచనాను ఉపయోగించదు. దీనిని పరిష్కరించడానికి, బృందం ఎనర్జీ ట్రాన్స్ఫార్మర్తో “సంభావ్యత-రహిత” లక్ష్యాన్ని ఉపయోగించింది, ఇది స్పష్టమైన సంభావ్యతలను గణించకుండా ఖచ్చితమైన అంచనాల కోసం మోడల్కు రివార్డ్ చేస్తుంది.
ఈ కొత్త శిక్షణా పద్ధతికి కొత్త మూల్యాంకన మెట్రిక్ కూడా అవసరం. పర్ప్లెక్సిటీ వంటి ప్రామాణిక బెంచ్మార్క్లు వర్తించవు ఎందుకంటే అవి మోడల్ ఇకపై గణించని అదే సంభావ్యతపై ఆధారపడతాయి.
బృందం BrierLMను ప్రతిపాదించింది, ఇది పూర్తిగా మోడల్ నమూనాల నుండి అంచనా వేయబడే Brier స్కోర్ ఆధారంగా ఒక నవల మెట్రిక్. ధృవీకరణ BrierLMని నమ్మదగిన ప్రత్యామ్నాయంగా నిర్ధారించింది, సాంప్రదాయ నష్ట కొలమానాలతో “స్పియర్మ్యాన్ ర్యాంక్ సహసంబంధం -0.991″ని చూపుతుంది.
చివరగా, ఫ్రేమ్వర్క్ నియంత్రిత ఉత్పత్తిని పునరుద్ధరిస్తుంది, ఇది ఎంటర్ప్రైజ్ ఉపయోగం కోసం కీలకమైన లక్షణం. సంభావ్యత పంపిణీ లేకుండా ప్రామాణిక ఉష్ణోగ్రత నమూనా అసాధ్యం. అవుట్పుట్ ఖచ్చితత్వం మరియు వైవిధ్యం మధ్య ట్రేడ్-ఆఫ్ను నిర్వహించడానికి, ప్రాక్టికల్ బ్యాచ్ ఉజ్జాయింపు పద్ధతితో సహా కొత్త “సంభావ్యత లేని నమూనా అల్గోరిథం”ను పేపర్ పరిచయం చేస్తుంది.
ఎంటర్ప్రైజ్ AI ఖర్చులను తగ్గించడం
ఉత్పాదక AI అనేది ఎప్పుడూ పెద్ద పారామితి గణనల ద్వారా మాత్రమే నిర్వచించబడని, నిర్మాణ సామర్థ్యం ద్వారా భవిష్యత్తు గురించి ఒక సంగ్రహావలోకనాన్ని అందిస్తుంది.
స్కేలింగ్ మోడల్స్ యొక్క ప్రస్తుత మార్గం తగ్గుతున్న రాబడి మరియు పెరుగుతున్న ఖర్చుల గోడను తాకుతోంది. CALM ఫ్రేమ్వర్క్ “LLM స్కేలింగ్ కోసం కొత్త డిజైన్ యాక్సిస్ను ఏర్పాటు చేస్తుంది: ప్రతి ఉత్పాదక దశ యొక్క సెమాంటిక్ బ్యాండ్విడ్త్ను పెంచడం”.
ఇది పరిశోధనా ఫ్రేమ్వర్క్ మరియు ఆఫ్-ది-షెల్ఫ్ ఉత్పత్తి కానప్పటికీ, ఇది అల్ట్రా-ఎఫెక్టివ్ లాంగ్వేజ్ మోడల్ల వైపు శక్తివంతమైన మరియు స్కేలబుల్ మార్గాన్ని సూచిస్తుంది. విక్రేత రోడ్మ్యాప్లను మూల్యాంకనం చేస్తున్నప్పుడు, టెక్ లీడర్లు మోడల్ పరిమాణానికి మించి చూడాలి మరియు నిర్మాణ సామర్థ్యం గురించి అడగడం ప్రారంభించాలి.
ఉత్పత్తి చేయబడిన ప్రతి టోకెన్కు FLOPలను తగ్గించే సామర్థ్యం నిర్వచించే పోటీ ప్రయోజనంగా మారుతుంది, డేటా సెంటర్ నుండి డేటా-హెవీ ఎడ్జ్ అప్లికేషన్ల వరకు ఖర్చులను తగ్గించడానికి AIని మరింత ఆర్థికంగా మరియు స్థిరంగా ఎంటర్ప్రైజ్ అంతటా అమలు చేయడానికి వీలు కల్పిస్తుంది.
ఇవి కూడా చూడండి: లోపభూయిష్ట AI బెంచ్మార్క్లు ఎంటర్ప్రైజ్ బడ్జెట్లను ప్రమాదంలో పడేస్తాయి
పరిశ్రమ ప్రముఖుల నుండి AI మరియు పెద్ద డేటా గురించి మరింత తెలుసుకోవాలనుకుంటున్నారా? తనిఖీ చేయండి AI & బిగ్ డేటా ఎక్స్పో ఆమ్స్టర్డామ్, కాలిఫోర్నియా మరియు లండన్లో జరుగుతున్నాయి. సమగ్ర కార్యక్రమం ఇందులో భాగమే టెక్ఎక్స్ మరియు సహా ఇతర ప్రముఖ సాంకేతిక ఈవెంట్లతో కలిసి ఉంది సైబర్ సెక్యూరిటీ ఎక్స్పోక్లిక్ చేయండి ఇక్కడ మరింత సమాచారం కోసం.
AI వార్తలు ఆధారితం టెక్ఫోర్జ్ మీడియా. రాబోయే ఇతర ఎంటర్ప్రైజ్ టెక్నాలజీ ఈవెంట్లు మరియు వెబ్నార్లను అన్వేషించండి ఇక్కడ.
