తర్కం మరియు శోధనను వేరు చేయడం AI ఏజెంట్ స్కేలబిలిటీని ఎలా పెంచుతుంది

అనుమితి నుండి లాజిక్‌ను వేరు చేయడం అనేది అమలు వ్యూహాల నుండి కోర్ వర్క్‌ఫ్లోలను విడదీయడం ద్వారా AI ఏజెంట్ స్కేలబిలిటీని మెరుగుపరుస్తుంది.

ఉత్పాదక AI ప్రోటోటైప్‌ల నుండి ప్రొడక్షన్-గ్రేడ్ ఏజెంట్‌లకు మారడం అనేది ఒక నిర్దిష్ట ఇంజనీరింగ్ అడ్డంకిని పరిచయం చేస్తుంది: విశ్వసనీయత. LLMలు స్వభావరీత్యా యాదృచ్ఛికమైనవి. ఒకసారి పని చేసే ప్రాంప్ట్ రెండవ ప్రయత్నంలో విఫలం కావచ్చు. దీన్ని తగ్గించడానికి, డెవలప్‌మెంట్ టీమ్‌లు తరచుగా కాంప్లెక్స్ ఎర్రర్-హ్యాండ్లింగ్ లూప్‌లు, రీట్రీలు మరియు బ్రాంచ్ పాత్‌లలో కోర్ బిజినెస్ లాజిక్‌ను చుట్టేస్తాయి.

ఈ విధానం నిర్వహణ సమస్యను సృష్టిస్తుంది. ఒక ఏజెంట్ ఏమి చేయాలో నిర్వచించే కోడ్ మోడల్ యొక్క అనూహ్యతను ఎలా నిర్వహించాలో నిర్వచించే కోడ్‌తో విడదీయరాని విధంగా మిళితం అవుతుంది. నుండి పరిశోధకులు ప్రతిపాదించిన కొత్త ఫ్రేమ్‌వర్క్ ఆసారి AI, MIT CSAILమరియు కాల్టెక్ ఎంటర్‌ప్రైజ్‌లో ఏజెంట్ వర్క్‌ఫ్లోలను స్కేల్ చేయడానికి వేరే నిర్మాణ ప్రమాణం అవసరమని సూచిస్తుంది.

పరిశోధన ప్రోబబిలిస్టిక్ ఏంజెలిక్ నాన్‌డెటర్మినిజం (PAN) అనే ప్రోగ్రామింగ్ మోడల్‌ను మరియు ENCOMPASS అనే పైథాన్ అమలును పరిచయం చేసింది. ఈ పద్ధతి డెవలపర్‌లు ఒక ప్రత్యేక రన్‌టైమ్ ఇంజిన్‌కి అనుమితి-సమయ వ్యూహాలను (ఉదా బీమ్ సెర్చ్ లేదా బ్యాక్‌ట్రాకింగ్) బహిష్కరిస్తూనే ఏజెంట్ యొక్క వర్క్‌ఫ్లో యొక్క “హ్యాపీ పాత్”ను వ్రాయడానికి అనుమతిస్తుంది. ఆందోళనల యొక్క ఈ విభజన ఆటోమేటెడ్ టాస్క్‌ల పనితీరును మెరుగుపరిచేటప్పుడు సాంకేతిక రుణాన్ని తగ్గించడానికి సంభావ్య మార్గాన్ని అందిస్తుంది.

ఏజెంట్ రూపకల్పనలో చిక్కు సమస్య

ఏజెంట్ ప్రోగ్రామింగ్‌కు ప్రస్తుత విధానాలు తరచుగా రెండు విభిన్న డిజైన్ అంశాలను కలుస్తాయి. మొదటిది కోర్ వర్క్‌ఫ్లో లాజిక్ లేదా వ్యాపార పనిని పూర్తి చేయడానికి అవసరమైన దశల క్రమం. రెండవది అనుమితి-సమయ వ్యూహం, ఇది బహుళ డ్రాఫ్ట్‌లను రూపొందించడం లేదా రూబ్రిక్‌కు వ్యతిరేకంగా అవుట్‌పుట్‌లను ధృవీకరించడం వంటి అనిశ్చితిని సిస్టమ్ ఎలా నావిగేట్ చేస్తుందో నిర్దేశిస్తుంది.

వీటిని కలిపినప్పుడు, ఫలితంగా కోడ్‌బేస్ పెళుసుగా మారుతుంది. “బెస్ట్-ఆఫ్-N” నమూనా వంటి వ్యూహాన్ని అమలు చేయడానికి మొత్తం ఏజెంట్ ఫంక్షన్‌ను లూప్‌లో చుట్టడం అవసరం. ట్రీ సెర్చ్ లేదా రిఫైన్‌మెంట్ వంటి మరింత సంక్లిష్టమైన వ్యూహానికి వెళ్లడానికి సాధారణంగా ఏజెంట్ కోడ్‌ని పూర్తి నిర్మాణాత్మకంగా తిరిగి వ్రాయడం అవసరం.

ఈ చిక్కుముడి ప్రయోగాన్ని పరిమితం చేస్తుందని పరిశోధకులు వాదించారు. డెవలప్‌మెంట్ టీమ్ ఖచ్చితత్వాన్ని మెరుగుపరచడానికి సాధారణ నమూనా నుండి బీమ్ శోధన వ్యూహానికి మారాలనుకుంటే, వారు తరచుగా అప్లికేషన్ యొక్క నియంత్రణ ప్రవాహాన్ని రీ-ఇంజనీర్ చేయాలి. ప్రయోగానికి సంబంధించిన ఈ అధిక వ్యయం అంటే ఇంజనీరింగ్ ఓవర్‌హెడ్‌ను నివారించడానికి బృందాలు తరచుగా ఉపశీర్షిక విశ్వసనీయత వ్యూహాల కోసం స్థిరపడతాయి.

AI ఏజెంట్ స్కేలబిలిటీని పెంచడానికి శోధన నుండి లాజిక్‌ని విడదీయడం

ENCOMPASS ఫ్రేమ్‌వర్క్ ప్రోగ్రామర్‌లు తమ కోడ్‌లో “అవిశ్వసనీయత యొక్క స్థానాలను” గుర్తించడానికి అనుమతించడం ద్వారా దీనిని పరిష్కరిస్తుంది బ్రాంచ్ పాయింట్().

ఈ మార్కర్‌లు LLM కాల్ ఎక్కడ జరుగుతుందో మరియు ఎక్కడ అమలులో తేడా ఉండవచ్చో సూచిస్తాయి. డెవలపర్ ఆపరేషన్ విజయవంతం అయినట్లుగా కోడ్‌ను వ్రాస్తాడు. రన్‌టైమ్‌లో, ఫ్రేమ్‌వర్క్ ఈ బ్రాంచ్ పాయింట్‌లను సాధ్యం ఎగ్జిక్యూషన్ పాత్‌ల శోధన ట్రీని నిర్మించడానికి వివరిస్తుంది.

ఈ ఆర్కిటెక్చర్ రచయితలు “ప్రోగ్రామ్-ఇన్-కంట్రోల్” ఏజెంట్ల పదాన్ని ఎనేబుల్ చేస్తుంది. “LLM-ఇన్-కంట్రోల్” సిస్టమ్‌ల వలె కాకుండా, మోడల్ మొత్తం కార్యకలాపాల క్రమాన్ని నిర్ణయిస్తుంది, ప్రోగ్రామ్-ఇన్-కంట్రోల్ ఏజెంట్లు కోడ్ ద్వారా నిర్వచించబడిన వర్క్‌ఫ్లో పనిచేస్తాయి. నిర్దిష్ట సబ్‌టాస్క్‌లను నిర్వహించడానికి మాత్రమే LLM ఉపయోగించబడుతుంది. పూర్తి స్వయంప్రతిపత్తి కలిగిన ఏజెంట్లతో పోలిస్తే ఈ నిర్మాణం సాధారణంగా దాని అధిక అంచనా మరియు ఆడిటబిలిటీ కోసం ఎంటర్‌ప్రైజ్ పరిసరాలలో ప్రాధాన్యతనిస్తుంది.

అనుమితి వ్యూహాలను అమలు మార్గాలపై అన్వేషణగా పరిగణించడం ద్వారా, అంతర్లీన వ్యాపార తర్కాన్ని మార్చకుండానే డెప్త్-ఫస్ట్ సెర్చ్, బీమ్ సెర్చ్ లేదా మోంటే కార్లో ట్రీ సెర్చ్ వంటి విభిన్న అల్గారిథమ్‌లను వర్తింపజేయడానికి ఫ్రేమ్‌వర్క్ డెవలపర్‌లను అనుమతిస్తుంది.

లెగసీ మైగ్రేషన్ మరియు కోడ్ అనువాదంపై ప్రభావం

లెగసీ కోడ్ మైగ్రేషన్ వంటి సంక్లిష్ట వర్క్‌ఫ్లోలలో ఈ విధానం యొక్క ప్రయోజనం స్పష్టంగా కనిపిస్తుంది. పరిశోధకులు ఫ్రేమ్‌వర్క్‌ను జావా-టు-పైథాన్ అనువాద ఏజెంట్‌కు వర్తింపజేసారు. వర్క్‌ఫ్లో రిపోజిటరీ ఫైల్-బై-ఫైల్‌ను అనువదించడం, ఇన్‌పుట్‌లను రూపొందించడం మరియు అమలు ద్వారా అవుట్‌పుట్‌ను ధృవీకరించడం వంటివి ఉంటాయి.

స్టాండర్డ్ పైథాన్ ఇంప్లిమెంటేషన్‌లో, ఈ వర్క్‌ఫ్లోకు సెర్చ్ లాజిక్ జోడించడం వల్ల స్టేట్ మెషీన్‌ను నిర్వచించడం అవసరం. ఈ ప్రక్రియ వ్యాపార లాజిక్‌ను అస్పష్టం చేసింది మరియు కోడ్‌ను చదవడం లేదా లింట్ చేయడం కష్టతరం చేసింది. బీమ్ శోధనను అమలు చేయడానికి ప్రోగ్రామర్ వర్క్‌ఫ్లోను వ్యక్తిగత దశలుగా విభజించి, వేరియబుల్స్ డిక్షనరీలో స్టేట్‌ని స్పష్టంగా నిర్వహించాల్సిన అవసరం ఉంది.

AI ఏజెంట్ స్కేలబిలిటీని పెంచడానికి ప్రతిపాదిత ఫ్రేమ్‌వర్క్‌ను ఉపయోగించి, బృందం చొప్పించడం ద్వారా అదే శోధన వ్యూహాలను అమలు చేసింది బ్రాంచ్ పాయింట్() LLM కాల్‌లకు ముందు ప్రకటనలు. కోర్ లాజిక్ సరళంగా మరియు చదవదగినదిగా ఉంది. ఫైల్ మరియు మెథడ్ లెవెల్ రెండింటిలోనూ బీమ్ శోధనను వర్తింపజేయడం సరళమైన నమూనా వ్యూహాలను అధిగమించిందని అధ్యయనం కనుగొంది.

ఈ ఆందోళనలను వేరు చేయడం మెరుగైన స్కేలింగ్ చట్టాలను అనుమతిస్తుంది అని డేటా సూచిస్తుంది. అనుమితి ధర యొక్క లాగరిథమ్‌తో పనితీరు సరళంగా మెరుగుపడింది. కనుగొనబడిన అత్యంత ప్రభావవంతమైన వ్యూహం – ఫైన్-గ్రెయిన్డ్ బీమ్ సెర్చ్ – సాంప్రదాయ కోడింగ్ పద్ధతులను ఉపయోగించి అమలు చేయడం చాలా క్లిష్టమైనది.

వ్యయ సామర్థ్యం మరియు పనితీరు స్కేలింగ్

AI ప్రాజెక్ట్‌ల కోసం P&Lని నిర్వహించే డేటా ఆఫీసర్‌లకు అనుమితి వ్యయాన్ని నియంత్రించడం ప్రాథమిక ఆందోళన. ఫీడ్‌బ్యాక్ లూప్‌ల సంఖ్యను పెంచడం కంటే అధునాతన శోధన అల్గారిథమ్‌లు తక్కువ ఖర్చుతో మెరుగైన ఫలితాలను ఇస్తాయని పరిశోధన నిరూపిస్తుంది.

“రిఫ్లెక్షన్” ఏజెంట్ నమూనాతో కూడిన ఒక కేస్ స్టడీలో (ఒక LLM దాని స్వంత అవుట్‌పుట్‌ను విమర్శిస్తుంది) పరిశోధకులు ఉత్తమ-మొదటి శోధన అల్గారిథమ్‌ని ఉపయోగించకుండా రిఫైన్‌మెంట్ లూప్‌ల సంఖ్యను స్కేలింగ్ చేయడంతో పోల్చారు. శోధన-ఆధారిత విధానం ప్రామాణిక శుద్ధీకరణ పద్ధతితో పోల్చదగిన పనితీరును సాధించింది, కానీ ప్రతి పనికి తగ్గిన ధరతో.

వ్యయ ఆప్టిమైజేషన్‌కు అనుమితి వ్యూహం ఎంపిక ఒక అంశం అని ఈ అన్వేషణ సూచిస్తుంది. ఈ వ్యూహాన్ని బాహ్యంగా మార్చడం ద్వారా, బృందాలు అప్లికేషన్‌ను తిరిగి వ్రాయకుండానే గణన బడ్జెట్ మరియు అవసరమైన ఖచ్చితత్వం మధ్య బ్యాలెన్స్‌ని ట్యూన్ చేయవచ్చు. తక్కువ స్థాయి అంతర్గత సాధనం చౌకైన మరియు అత్యాశతో కూడిన శోధన వ్యూహాన్ని ఉపయోగించవచ్చు, అయితే కస్టమర్-ఫేసింగ్ అప్లికేషన్ మరింత ఖరీదైన మరియు సమగ్రమైన శోధనను ఉపయోగించవచ్చు, అన్నీ ఒకే కోడ్‌బేస్‌పై నడుస్తాయి.

ఈ నిర్మాణాన్ని స్వీకరించడానికి డెవలప్‌మెంట్ టీమ్‌లు ఏజెంట్ నిర్మాణాన్ని ఎలా చూస్తారనే విషయంలో మార్పు అవసరం. ఫ్రేమ్‌వర్క్ లాంగ్‌చెయిన్ వంటి ఇప్పటికే ఉన్న లైబ్రరీలను భర్తీ చేయడానికి కాకుండా వాటితో కలిసి పని చేయడానికి రూపొందించబడింది. ఇది ప్రాంప్ట్ ఇంజనీరింగ్ లేదా టూల్ ఇంటర్‌ఫేస్‌ల కంటే నియంత్రణ ప్రవాహాన్ని నిర్వహించడం ద్వారా స్టాక్‌లోని వేరొక లేయర్‌లో ఉంటుంది.

అయితే, విధానం ఇంజనీరింగ్ సవాళ్లు లేకుండా లేదు. ఫ్రేమ్‌వర్క్ శోధనను అమలు చేయడానికి అవసరమైన కోడ్‌ను తగ్గిస్తుంది, అయితే ఇది ఏజెంట్ రూపకల్పనను స్వయంచాలకంగా చేయదు. ఇంజనీర్లు ఇప్పటికీ బ్రాంచ్ పాయింట్ల కోసం సరైన స్థానాలను గుర్తించాలి మరియు ధృవీకరించదగిన విజయ కొలమానాలను నిర్వచించాలి.

ఏదైనా శోధన సామర్థ్యం యొక్క ప్రభావం నిర్దిష్ట మార్గాన్ని స్కోర్ చేయగల సిస్టమ్ యొక్క సామర్థ్యంపై ఆధారపడి ఉంటుంది. కోడ్ అనువాద ఉదాహరణలో, సిస్టమ్ సరైనదని ధృవీకరించడానికి యూనిట్ పరీక్షలను అమలు చేయగలదు. సారాంశం లేదా సృజనాత్మక తరం వంటి మరిన్ని ఆత్మాశ్రయ డొమైన్‌లలో, నమ్మదగిన స్కోరింగ్ ఫంక్షన్‌ను నిర్వచించడం ఒక అడ్డంకిగా మిగిలిపోయింది.

ఇంకా, మోడల్ బ్రాంచ్ పాయింట్ల వద్ద ప్రోగ్రామ్ యొక్క స్థితిని కాపీ చేసే సామర్థ్యంపై ఆధారపడి ఉంటుంది. ఫ్రేమ్‌వర్క్ వేరియబుల్ స్కోపింగ్ మరియు మెమరీ నిర్వహణను నిర్వహిస్తుండగా, డెవలపర్‌లు శోధన ప్రక్రియలో నకిలీ చర్యలను నిరోధించడానికి డేటాబేస్ వ్రాతలు లేదా API కాల్‌ల వంటి బాహ్య దుష్ప్రభావాలు సరిగ్గా నిర్వహించబడుతున్నాయని నిర్ధారించుకోవాలి.

AI ఏజెంట్ స్కేలబిలిటీకి చిక్కులు

PAN మరియు ENCOMPASS ద్వారా ప్రాతినిధ్యం వహించే మార్పు మాడ్యులారిటీ యొక్క విస్తృత సాఫ్ట్‌వేర్ ఇంజనీరింగ్ సూత్రాలకు అనుగుణంగా ఉంటుంది. ఏజెంట్ వర్క్‌ఫ్లోలు కార్యకలాపాలకు ప్రధానమైనవి కాబట్టి, వాటిని నిర్వహించడానికి సాంప్రదాయ సాఫ్ట్‌వేర్‌కు వర్తించే అదే కఠినత అవసరం.

వ్యాపార అనువర్తనాల్లోకి హార్డ్-కోడింగ్ ప్రాబబిలిస్టిక్ లాజిక్ సాంకేతిక రుణాన్ని సృష్టిస్తుంది. ఇది సిస్టమ్‌లను పరీక్షించడం కష్టతరం చేస్తుంది, ఆడిట్ చేయడం కష్టతరం చేస్తుంది మరియు అప్‌గ్రేడ్ చేయడం కష్టతరం చేస్తుంది. వర్క్‌ఫ్లో లాజిక్ నుండి అనుమితి వ్యూహాన్ని విడదీయడం రెండింటి యొక్క స్వతంత్ర ఆప్టిమైజేషన్‌ను అనుమతిస్తుంది.

ఈ విభజన మెరుగైన పాలనను కూడా సులభతరం చేస్తుంది. నిర్దిష్ట శోధన వ్యూహం భ్రాంతులు లేదా లోపాలను అందజేస్తే, ప్రతి ఏజెంట్ యొక్క కోడ్‌బేస్‌ను అంచనా వేయకుండా ప్రపంచవ్యాప్తంగా సర్దుబాటు చేయవచ్చు. ఇది AI ప్రవర్తనల సంస్కరణను సులభతరం చేస్తుంది, నియంత్రిత పరిశ్రమలకు ఇది అవసరం, ఇక్కడ నిర్ణయం యొక్క “ఎలా” అనేది ఫలితం అంత ముఖ్యమైనది.

అనుమితి-సమయ గణన ప్రమాణాల వలె, అమలు మార్గాలను నిర్వహించడంలో సంక్లిష్టత పెరుగుతుందని పరిశోధన సూచిస్తుంది. ఈ సంక్లిష్టతను వేరుచేసే ఎంటర్‌ప్రైజ్ ఆర్కిటెక్చర్‌లు అప్లికేషన్ లేయర్‌ను విస్తరించడానికి అనుమతించే వాటి కంటే ఎక్కువ మన్నికైనవిగా నిరూపించబడతాయి.

ఇవి కూడా చూడండి: ఎంటర్‌ప్రైజ్ వర్క్‌ఫ్లోస్‌లో Intuit, Uber మరియు స్టేట్ ఫార్మ్ ట్రయల్ AI ఏజెంట్లు

పరిశ్రమ ప్రముఖుల నుండి AI మరియు పెద్ద డేటా గురించి మరింత తెలుసుకోవాలనుకుంటున్నారా? తనిఖీ చేయండి AI & బిగ్ డేటా ఎక్స్‌పో ఆమ్‌స్టర్‌డామ్, కాలిఫోర్నియా మరియు లండన్‌లో జరుగుతున్నాయి. సమగ్ర కార్యక్రమం ఇందులో భాగమే టెక్ఎక్స్ మరియు సహా ఇతర ప్రముఖ సాంకేతిక ఈవెంట్‌లతో కలిసి ఉంది సైబర్ సెక్యూరిటీ & క్లౌడ్ ఎక్స్‌పో. క్లిక్ చేయండి ఇక్కడ మరింత సమాచారం కోసం.

AI వార్తలు ఆధారితం టెక్ఫోర్జ్ మీడియా. రాబోయే ఇతర ఎంటర్‌ప్రైజ్ టెక్నాలజీ ఈవెంట్‌లు మరియు వెబ్‌నార్‌లను అన్వేషించండి ఇక్కడ.