సంక్లిష్ట తార్కికంలో ఒక చిన్న నెట్వర్క్ భారీ పెద్ద భాషా నమూనాలను (ఎల్ఎల్ఎంలు) ఎలా ఓడించగలదో శామ్సంగ్ AI పరిశోధకుడి నుండి వచ్చిన కొత్త కాగితం వివరిస్తుంది.
AI ఆధిపత్యం కోసం రేసులో, పరిశ్రమ మంత్రం తరచుగా “పెద్దది మంచిది.” టెక్ దిగ్గజాలు ఎప్పటికప్పుడు పెద్ద నమూనాలను రూపొందించడానికి బిలియన్లను కురిపించాయి, కాని శామ్సంగ్ సెయిల్ మాంట్రియల్కు చెందిన అలెక్సియా జోలియోర్-మార్టినో ప్రకారం, చిన్న పునరావృత మోడల్ (టిఆర్ఎం) తో తీవ్రంగా భిన్నమైన మరియు సమర్థవంతమైన మార్గం ముందుకు సాధ్యమవుతుంది.
కేవలం 7 మిలియన్ పారామితులతో కూడిన మోడల్ను ఉపయోగించి, ప్రముఖ LLM ల పరిమాణంలో 0.01% కన్నా తక్కువ, TRM ఆర్క్-AGI ఇంటెలిజెన్స్ పరీక్ష వంటి అపఖ్యాతి పాలైన బెంచ్మార్క్లపై కొత్త అత్యాధునిక ఫలితాలను సాధిస్తుంది. శామ్సంగ్ యొక్క పని AI మోడళ్ల సామర్థ్యాలను ముందుకు తీసుకెళ్లడానికి ఏకైక మార్గం పరిపూర్ణ స్కేల్ అనే umption హను సవాలు చేస్తుంది, ఇది మరింత స్థిరమైన మరియు పారామితి-సమర్థవంతమైన ప్రత్యామ్నాయాన్ని అందిస్తుంది.
స్కేల్ యొక్క పరిమితులను అధిగమించడం
మానవ లాంటి వచనాన్ని ఉత్పత్తి చేయడంలో LLM లు నమ్మశక్యం కాని పరాక్రమాన్ని చూపించగా, సంక్లిష్టమైన, బహుళ-దశల తార్కికం చేసే వారి సామర్థ్యం పెళుసుగా ఉంటుంది. వారు టోకెన్-బై-టోకెన్ సమాధానాలను రూపొందిస్తున్నందున, ఈ ప్రక్రియ ప్రారంభంలో ఒకే తప్పు మొత్తం పరిష్కారాన్ని పట్టాలు తప్పదు, ఇది చెల్లని తుది సమాధానానికి దారితీస్తుంది.
ఒక సమస్యను విచ్ఛిన్నం చేయడానికి ఒక మోడల్ “బిగ్గరగా ఆలోచిస్తున్న” చైన్-ఆఫ్-ఆలోచనా వంటి పద్ధతులు దీనిని తగ్గించడానికి అభివృద్ధి చేయబడ్డాయి. ఏదేమైనా, ఈ పద్ధతులు గణనపరంగా ఖరీదైనవి, తరచుగా అందుబాటులో లేని అధిక-నాణ్యత గల తార్కిక డేటా అవసరం, మరియు ఇప్పటికీ లోపభూయిష్ట తర్కాన్ని ఉత్పత్తి చేస్తుంది. ఈ బలోపేతాలతో కూడా, ఎల్ఎల్ఎంలు కొన్ని పజిల్స్తో పోరాడుతాయి, ఇక్కడ ఖచ్చితమైన తార్కిక అమలు అవసరం.
శామ్సంగ్ యొక్క పని క్రమానుగత రీజనింగ్ మోడల్ (HRM) అని పిలువబడే ఇటీవలి AI మోడల్పై ఆధారపడుతుంది. రెండు చిన్న నాడీ నెట్వర్క్లను ఉపయోగించి HRM ఒక నవల పద్ధతిని ప్రవేశపెట్టింది, ఇవి జవాబును మెరుగుపరచడానికి వేర్వేరు పౌన encies పున్యాల వద్ద సమస్యపై పునరావృతమవుతాయి. ఇది గొప్ప వాగ్దానాన్ని చూపించింది, కానీ సంక్లిష్టంగా ఉంది, అనిశ్చిత జీవసంబంధమైన వాదనలు మరియు సంక్లిష్టమైన స్థిర-పాయింట్ సిద్ధాంతాలపై ఆధారపడి ఉంటుంది.
HRM యొక్క రెండు నెట్వర్క్లకు బదులుగా, TRM దాని అంతర్గత “తార్కికం” మరియు దాని ప్రతిపాదిత “సమాధానం” రెండింటినీ పునరావృతం చేసే ఒకే, చిన్న నెట్వర్క్ను ఉపయోగిస్తుంది.
మోడల్కు ప్రశ్న, సమాధానం వద్ద ప్రారంభ అంచనా మరియు గుప్త తార్కిక లక్షణం ఇవ్వబడుతుంది. మూడు ఇన్పుట్ల ఆధారంగా దాని గుప్త తార్కికతను మెరుగుపరచడానికి ఇది మొదట అనేక దశల ద్వారా చక్రం చేస్తుంది. అప్పుడు, ఈ మెరుగైన తార్కికతను ఉపయోగించి, ఇది తుది సమాధానం కోసం దాని అంచనాను నవీకరిస్తుంది. ఈ మొత్తం ప్రక్రియను 16 సార్లు పునరావృతం చేయవచ్చు, ఇది మోడల్ తన స్వంత తప్పులను క్రమంగా పారామితి-సమర్థవంతమైన పద్ధతిలో క్రమంగా సరిదిద్దడానికి అనుమతిస్తుంది.
ప్రతికూలంగా, రెండు పొరలతో కూడిన చిన్న నెట్వర్క్ నాలుగు-పొరల వెర్షన్ కంటే మెరుగైన సాధారణీకరణను సాధించిందని పరిశోధన కనుగొంది. పరిమాణంలో ఈ తగ్గింపు మోడల్ ఓవర్ ఫిట్టింగ్ నుండి నిరోధించడానికి కనిపిస్తుంది; చిన్న, ప్రత్యేకమైన డేటాసెట్లపై శిక్షణ ఇచ్చేటప్పుడు ఒక సాధారణ సమస్య.
TRM దాని పూర్వీకుడు ఉపయోగించే సంక్లిష్ట గణిత సమర్థనలతో కూడా పంపిణీ చేస్తుంది. అసలు HRM మోడల్కు దాని విధులు దాని శిక్షణా పద్ధతిని సమర్థించడానికి దాని విధులు స్థిర బిందువుకు కలుస్తాయి అనే umption హ అవసరం. టిఆర్ఎమ్ దాని పూర్తి పునరావృత ప్రక్రియ ద్వారా బ్యాక్-ప్రచారం చేయడం ద్వారా దీనిని పూర్తిగా దాటవేస్తుంది. ఈ మార్పు మాత్రమే పనితీరులో భారీ ప్రోత్సాహాన్ని అందించింది, సుడోకు-ఎక్స్ట్రీమ్ బెంచ్మార్క్పై 56.5% నుండి 87.4% వరకు ఒక అబ్లేషన్ అధ్యయనంలో ఖచ్చితత్వాన్ని మెరుగుపరిచింది.
శామ్సంగ్ మోడల్ తక్కువ వనరులతో AI బెంచ్మార్క్లను పగులగొడుతుంది
ఫలితాలు తమకు తాముగా మాట్లాడుతాయి. 1,000 శిక్షణా ఉదాహరణలను మాత్రమే ఉపయోగించే సుడోకు-ఎక్స్ట్రీమ్ డేటాసెట్లో, TRM 87.4% పరీక్ష ఖచ్చితత్వాన్ని సాధిస్తుంది, ఇది HRM యొక్క 55% నుండి భారీ ఎత్తు. మేజ్-హార్డ్లో, 30 × 30 చిట్టడవులు ద్వారా సుదీర్ఘ మార్గాలను కనుగొన్న పని, HRM యొక్క 74.5% తో పోలిస్తే TRM స్కోర్లు 85.3%.
మరీ ముఖ్యంగా, AI లో నిజమైన ద్రవ మేధస్సును కొలవడానికి రూపొందించిన బెంచ్మార్క్ అయిన సంగ్రహణ మరియు తార్కిక కార్పస్ (ఆర్క్-AGI) పై TRM భారీ ప్రగతి సాధించింది. కేవలం 7M పారామితులతో, TRM ఆర్క్-AGI-1 పై 44.6% ఖచ్చితత్వాన్ని మరియు ఆర్క్-AGI-2 పై 7.8% సాధిస్తుంది. ఇది 27 మీటర్ల పారామితి నమూనాను ఉపయోగించిన HRM ను అధిగమిస్తుంది మరియు ప్రపంచంలోని అతిపెద్ద LLM లను కూడా అధిగమిస్తుంది. పోలిక కోసం, జెమిని 2.5 ప్రో స్కోర్లు ఆర్క్-ఎజిఐ -2 లో 4.9% మాత్రమే.
TRM కోసం శిక్షణా ప్రక్రియ కూడా మరింత సమర్థవంతంగా చేయబడింది. ACT అని పిలువబడే అనుకూల విధానం – ఇది మోడల్ తగినంత జవాబును మెరుగుపరిచినప్పుడు మరియు క్రొత్త డేటా నమూనాకు వెళ్ళగలదు – ప్రతి శిక్షణా దశలో నెట్వర్క్ ద్వారా రెండవ, ఖరీదైన ఫార్వర్డ్ పాస్ యొక్క అవసరాన్ని తొలగించడానికి సరళీకృతం చేయబడింది. తుది సాధారణీకరణలో పెద్ద తేడా లేకుండా ఈ మార్పు జరిగింది.
శామ్సంగ్ నుండి వచ్చిన ఈ పరిశోధన ఎప్పటికప్పుడు విస్తరిస్తున్న AI మోడళ్ల ప్రస్తుత పథానికి వ్యతిరేకంగా బలవంతపు వాదనను అందిస్తుంది. ఇది పునరుత్పాదక కారణాలు మరియు స్వీయ-సరిదిద్దగల నిర్మాణాలను రూపకల్పన చేయడం ద్వారా, గణన వనరులలో ఒక చిన్న భిన్నంతో చాలా కష్టమైన సమస్యలను పరిష్కరించడం సాధ్యమని ఇది చూపిస్తుంది.
ఇవి కూడా చూడండి: గూగుల్ యొక్క కొత్త AI ఏజెంట్ బలహీనత పరిష్కారాలను ఆటోమేట్ చేయడానికి కోడ్ను తిరిగి వ్రాస్తుంది
పరిశ్రమ నాయకుల నుండి AI మరియు పెద్ద డేటా గురించి మరింత తెలుసుకోవాలనుకుంటున్నారా? తనిఖీ చేయండి AI & పెద్ద డేటా ఎక్స్పో ఆమ్స్టర్డామ్, కాలిఫోర్నియా మరియు లండన్లలో జరుగుతోంది. సమగ్ర సంఘటన భాగం టెక్ఎక్స్ మరియు సహా ఇతర ప్రముఖ సాంకేతిక సంఘటనలతో సహ-ఉంచబడింది సైబర్ సెక్యూరిటీ ఎక్స్పోక్లిక్ చేయండి ఇక్కడ మరింత సమాచారం కోసం.
AI న్యూస్ ద్వారా ఆధారితం టెక్ఫోర్జ్ మీడియా. రాబోయే ఇతర ఎంటర్ప్రైజ్ టెక్నాలజీ ఈవెంట్లు మరియు వెబ్నార్లను అన్వేషించండి ఇక్కడ.
.
