అనుమితి ఖర్చులు పెరగడంతో ఎంటర్‌ప్రైజెస్ AI ఇన్‌ఫ్రాస్ట్రక్చర్ గురించి పునరాలోచిస్తున్నాయి

ఆసియా పసిఫిక్‌లో AI వ్యయం పెరుగుతూనే ఉంది, అయినప్పటికీ చాలా కంపెనీలు తమ AI ప్రాజెక్ట్‌ల నుండి విలువను పొందడానికి ఇప్పటికీ కష్టపడుతున్నాయి. ఇందులో ఎక్కువ భాగం AIకి మద్దతిచ్చే అవస్థాపనకు వస్తుంది, ఎందుకంటే చాలా సిస్టమ్‌లు వాస్తవిక అప్లికేషన్‌లకు అవసరమైన వేగం లేదా స్కేల్‌లో అనుమితిని అమలు చేయడానికి నిర్మించబడలేదు. సమస్య కారణంగా GenAI టూల్స్‌లో భారీ పెట్టుబడి తర్వాత కూడా అనేక ప్రాజెక్ట్‌లు తమ ROI లక్ష్యాలను కోల్పోయాయని పరిశ్రమ అధ్యయనాలు చూపిస్తున్నాయి.

AI ఇన్‌ఫ్రాస్ట్రక్చర్ పనితీరు, ఖర్చు మరియు ప్రాంతంలో వాస్తవ-ప్రపంచ విస్తరణలను స్కేల్ చేసే సామర్థ్యాన్ని ఎంతగా ప్రభావితం చేస్తుందో గ్యాప్ చూపిస్తుంది.

అకామై ఈ సవాలును ఇన్ఫెరెన్స్ క్లౌడ్‌తో పరిష్కరించడానికి ప్రయత్నిస్తోంది, ఇది NVIDIAతో నిర్మించబడింది మరియు తాజా బ్లాక్‌వెల్ GPUల ద్వారా అందించబడుతుంది. ఆలోచన చాలా సులభం: చాలా AI అప్లికేషన్‌లు నిజ సమయంలో నిర్ణయాలు తీసుకోవాలంటే, ఆ నిర్ణయాలు సుదూర డేటా సెంటర్‌లలో కాకుండా వినియోగదారులకు దగ్గరగా ఉండాలి. ఆ మార్పు, అకామై క్లెయిమ్‌లు, కంపెనీలు ఖర్చును నిర్వహించడంలో, జాప్యాలను తగ్గించడంలో మరియు స్ప్లిట్-సెకండ్ ప్రతిస్పందనలపై ఆధారపడిన AI సేవలకు మద్దతు ఇవ్వగలవు.

అకామైలో క్లౌడ్ కంప్యూటింగ్ యొక్క CTO జే జెంకిన్స్ వివరించారు AI వార్తలు ఈ క్షణం ఎంటర్‌ప్రైజెస్ AIని ఎలా ఉపయోగించాలో పునరాలోచించమని ఎందుకు బలవంతం చేస్తోంది మరియు ఎందుకు శిక్షణ కాకుండా అనుమితి నిజమైన అడ్డంకిగా మారింది.

సరైన మౌలిక సదుపాయాలు లేకుండా AI ప్రాజెక్ట్‌లు ఎందుకు కష్టపడుతున్నాయి

అనేక సంస్థలు ఆశించిన దానికంటే ప్రయోగాలు మరియు పూర్తి స్థాయి విస్తరణ మధ్య అంతరం చాలా విస్తృతంగా ఉందని జెంకిన్స్ చెప్పారు. “చాలా AI కార్యక్రమాలు ఆశించిన వ్యాపార విలువను అందించడంలో విఫలమవుతాయి ఎందుకంటే సంస్థలు తరచుగా ప్రయోగాలు మరియు ఉత్పత్తి మధ్య అంతరాన్ని తక్కువగా అంచనా వేస్తాయి” అని ఆయన చెప్పారు. GenAIపై బలమైన ఆసక్తి ఉన్నప్పటికీ, పెద్ద మౌలిక సదుపాయాల బిల్లులు, అధిక జాప్యం మరియు స్కేల్‌లో మోడల్‌లను అమలు చేయడంలో ఇబ్బంది తరచుగా పురోగతిని అడ్డుకుంటుంది.

చాలా కంపెనీలు ఇప్పటికీ కేంద్రీకృత మేఘాలు మరియు పెద్ద GPU క్లస్టర్‌లపై ఆధారపడుతున్నాయి. కానీ ఉపయోగం పెరిగేకొద్దీ, ఈ సెటప్‌లు చాలా ఖరీదైనవిగా మారతాయి, ప్రత్యేకించి ప్రధాన క్లౌడ్ జోన్‌లకు దూరంగా ఉన్న ప్రాంతాలలో. మోడల్‌లు ఎక్కువ దూరాలకు అనుమితి యొక్క బహుళ దశలను అమలు చేయాల్సి వచ్చినప్పుడు జాప్యం కూడా ప్రధాన సమస్యగా మారుతుంది. “AI అనేది ఇన్‌ఫ్రాస్ట్రక్చర్ మరియు ఆర్కిటెక్చర్‌ల వలె మాత్రమే శక్తివంతమైనది,” అని జెంకిన్స్ చెప్పారు, జాప్యం తరచుగా వినియోగదారు అనుభవాన్ని మరియు వ్యాపారం అందించాలని ఆశించే విలువను బలహీనపరుస్తుంది. అతను బహుళ-క్లౌడ్ సెటప్‌లు, సంక్లిష్ట డేటా నియమాలు మరియు పెరుగుతున్న సమ్మతి అవసరాలను పైలట్ ప్రాజెక్ట్‌ల నుండి ఉత్పత్తికి తరలించడాన్ని మందగించే సాధారణ అడ్డంకులుగా సూచించాడు.

ఎందుకు అనుమితి ఇప్పుడు శిక్షణ కంటే ఎక్కువ శ్రద్ధను కోరుతోంది

ఆసియా పసిఫిక్ అంతటా, AI స్వీకరణ చిన్న పైలట్‌ల నుండి యాప్‌లు మరియు సేవలలో నిజమైన విస్తరణలకు మారుతోంది. ఇది జరిగినప్పుడు, రోజువారీ అనుమితి – అప్పుడప్పుడు శిక్షణ చక్రం కాదు – చాలా కంప్యూటింగ్ శక్తిని వినియోగిస్తుంది అని జెంకిన్స్ పేర్కొన్నాడు. అనేక సంస్థలు బహుళ మార్కెట్లలో భాష, విజన్ మరియు మల్టీమోడల్ మోడల్‌లను విడుదల చేయడంతో, వేగవంతమైన మరియు నమ్మదగిన అనుమితి కోసం డిమాండ్ ఊహించిన దాని కంటే వేగంగా పెరుగుతోంది. అందుకే ఈ ప్రాంతంలో అనుమానం ప్రధాన ప్రతిబంధకంగా మారింది. మోడల్‌లు ఇప్పుడు వివిధ భాషలు, నిబంధనలు మరియు డేటా పరిసరాలలో తరచుగా నిజ సమయంలో పనిచేయవలసి ఉంటుంది. ఇది ఈ స్థాయి ప్రతిస్పందన కోసం ఎప్పుడూ రూపొందించబడని కేంద్రీకృత వ్యవస్థలపై అపారమైన ఒత్తిడిని కలిగిస్తుంది.

ఎడ్జ్ ఇన్‌ఫ్రాస్ట్రక్చర్ AI పనితీరు మరియు వ్యయాన్ని ఎలా మెరుగుపరుస్తుంది

జెంకిన్స్ అనుమితిని వినియోగదారులు, పరికరాలు లేదా ఏజెంట్‌లకు దగ్గరగా మార్చడం ఖర్చు సమీకరణాన్ని మార్చగలదని చెప్పారు. అలా చేయడం వలన డేటా ప్రయాణించాల్సిన దూరాన్ని తగ్గిస్తుంది మరియు మోడల్‌లు వేగంగా స్పందించడానికి అనుమతిస్తుంది. ఇది ప్రధాన క్లౌడ్ హబ్‌ల మధ్య భారీ మొత్తంలో డేటాను రూట్ చేసే ఖర్చును కూడా నివారిస్తుంది.

భౌతిక AI వ్యవస్థలు – రోబోట్లు, స్వయంప్రతిపత్త యంత్రాలు లేదా స్మార్ట్ సిటీ సాధనాలు – మిల్లీసెకన్లలో తీసుకున్న నిర్ణయాలపై ఆధారపడి ఉంటాయి. అనుమితి చాలా దూరంలో ఉన్నప్పుడు, ఈ వ్యవస్థలు ఆశించిన విధంగా పని చేయవు.

మరింత స్థానికీకరించబడిన విస్తరణల నుండి పొదుపులు కూడా గణనీయంగా ఉంటాయి. Jenkins అకామై విశ్లేషణ భారతదేశం మరియు వియత్నాంలోని ఎంటర్‌ప్రైజెస్ కేంద్రీకృత మేఘాల కంటే పనిభారాన్ని అంచున ఉంచినప్పుడు ఇమేజ్-జెనరేషన్ మోడల్‌లను అమలు చేసే ఖర్చులో పెద్ద తగ్గింపులను చూస్తుందని చెప్పారు. మెరుగైన GPU వినియోగం మరియు తక్కువ ఎగ్రెస్ ఫీజులు ఆ పొదుపులో ప్రధాన పాత్ర పోషించాయి.

అంచు-ఆధారిత AI ఎక్కడ ట్రాక్షన్ పొందుతోంది

చిన్న ఆలస్యాలు కూడా రాబడి, భద్రత లేదా వినియోగదారు నిశ్చితార్థాన్ని ప్రభావితం చేసే పరిశ్రమల నుండి ఎడ్జ్ ఇన్‌ఫరెన్స్‌కు ముందస్తు డిమాండ్ బలంగా ఉంది. రిటైల్ మరియు ఇ-కామర్స్ మొదటి స్వీకరించేవారిలో ఉన్నాయి, ఎందుకంటే దుకాణదారులు తరచుగా నెమ్మదిగా అనుభవాలను వదులుకుంటారు. వ్యక్తిగతీకరించిన సిఫార్సులు, శోధన మరియు మల్టీమోడల్ షాపింగ్ సాధనాలు అనుమితి స్థానికంగా మరియు వేగంగా ఉన్నప్పుడు మెరుగ్గా పని చేస్తాయి.

జాప్యం విలువను నేరుగా ప్రభావితం చేసే మరొక ప్రాంతం ఫైనాన్స్. మోసం తనిఖీలు, చెల్లింపు ఆమోదం మరియు లావాదేవీల స్కోరింగ్ వంటి పనిభారం మిల్లీసెకన్లలో జరిగే AI నిర్ణయాల గొలుసులపై ఆధారపడి ఉంటుందని జెంకిన్స్ చెప్పారు. డేటా సృష్టించబడిన ప్రదేశానికి దగ్గరగా అనుమితిని అమలు చేయడం ఆర్థిక సంస్థలు వేగంగా కదలడానికి మరియు డేటాను నియంత్రణ సరిహద్దుల లోపల ఉంచడంలో సహాయపడుతుంది.

క్లౌడ్ మరియు GPU భాగస్వామ్యాలు ఇప్పుడు ఎందుకు ముఖ్యమైనవి

AI పనిభారం పెరిగేకొద్దీ, కంపెనీలకు కొనసాగించగలిగే మౌలిక సదుపాయాలు అవసరం. ఇది క్లౌడ్ ప్రొవైడర్లు మరియు GPU తయారీదారులను సన్నిహిత సహకారంలోకి నెట్టిందని జెంకిన్స్ చెప్పారు. NVIDIAతో Akamai యొక్క పని ఒక ఉదాహరణ, GPUలు, DPUలు మరియు AI సాఫ్ట్‌వేర్ వేలకొద్దీ ఎడ్జ్ లొకేషన్‌లలో అమర్చబడి ఉన్నాయి.

“AI డెలివరీ నెట్‌వర్క్”ని నిర్మించాలనే ఆలోచన ఉంది, ఇది కొన్ని ప్రాంతాలలో ప్రతిదీ కేంద్రీకరించడానికి బదులుగా అనేక సైట్‌లలో అనుమితిని వ్యాప్తి చేస్తుంది. ఇది పనితీరుకు సహాయపడుతుంది, కానీ ఇది సమ్మతిని కూడా అందిస్తుంది. దాదాపు సగం పెద్ద APAC సంస్థలు మార్కెట్‌లలో విభిన్న డేటా నియమాలతో పోరాడుతున్నాయని జెంకిన్స్ పేర్కొన్నాడు, ఇది స్థానిక ప్రాసెసింగ్‌ను మరింత ముఖ్యమైనదిగా చేస్తుంది. ఉద్భవిస్తున్న భాగస్వామ్యాలు ఇప్పుడు ఈ ప్రాంతంలో AI అవస్థాపన యొక్క తదుపరి దశను రూపొందిస్తున్నాయి, ప్రత్యేకించి తక్కువ-జాప్యం ప్రతిస్పందనలపై ఆధారపడిన పనిభారం కోసం.

భద్రత ప్రారంభం నుండి ఈ వ్యవస్థలలో నిర్మించబడింది, జెంకిన్స్ చెప్పారు. జీరో-ట్రస్ట్ నియంత్రణలు, డేటా-అవేర్ రూటింగ్ మరియు మోసం మరియు బాట్‌లకు వ్యతిరేకంగా రక్షణలు ఆఫర్‌లో ఉన్న టెక్నాలజీ స్టాక్‌లలో ప్రామాణిక భాగాలుగా మారుతున్నాయి.

ఏజెంట్ AI మరియు ఆటోమేషన్‌కు మద్దతు ఇవ్వడానికి అవసరమైన మౌలిక సదుపాయాలు

రన్నింగ్ ఎజెంటిక్ సిస్టమ్‌లు – ఇవి వరుసగా అనేక నిర్ణయాలు తీసుకుంటాయి – మిల్లీసెకండ్ వేగంతో పనిచేయగల మౌలిక సదుపాయాలు అవసరం. ప్రాంతం యొక్క వైవిధ్యం దీన్ని కష్టతరం చేస్తుంది కానీ అసాధ్యం కాదని జెంకిన్స్ అభిప్రాయపడ్డారు. కనెక్టివిటీ, నియమాలు మరియు సాంకేతిక సంసిద్ధతలో దేశాలు విస్తృతంగా విభిన్నంగా ఉంటాయి, కాబట్టి AI పనిభారం అత్యంత అర్ధవంతమైన చోట అమలు చేయడానికి అనువైనదిగా ఉండాలి. ఈ ప్రాంతంలోని చాలా సంస్థలు ఇప్పటికే ఉత్పత్తిలో పబ్లిక్ క్లౌడ్‌ను ఉపయోగిస్తున్నాయని చూపించే పరిశోధనను అతను సూచించాడు, అయితే చాలా మంది 2027 నాటికి ఎడ్జ్ సర్వీసెస్‌పై ఆధారపడాలని భావిస్తున్నారు. ఆ మార్పుకు దేశంలో డేటాను ఉంచగలిగే మౌలిక సదుపాయాలు అవసరం, సమీప అనువైన స్థానానికి విధులు నిర్వహించడం మరియు నెట్‌వర్క్‌లు అస్థిరంగా ఉన్నప్పుడు పని చేస్తూనే ఉంటాయి.

తదుపరి ఏ కంపెనీలు సిద్ధం కావాలి

అనుమితి అంచుకు కదులుతున్నప్పుడు, కార్యకలాపాలను నిర్వహించడానికి కంపెనీలకు కొత్త మార్గాలు అవసరం. అనేక సైట్‌లలో మోడల్‌లు అప్‌డేట్ చేయబడిన మరింత పంపిణీ చేయబడిన AI జీవితచక్రాన్ని సంస్థలు ఆశించాలని జెంకిన్స్ చెప్పారు. దీనికి మెరుగైన ఆర్కెస్ట్రేషన్ మరియు పనితీరు, ధర మరియు కోర్ మరియు ఎడ్జ్ సిస్టమ్‌లలో ఎర్రర్‌లలో బలమైన దృశ్యమానత అవసరం.

ప్రాసెసింగ్ స్థానికంగా ఉన్నప్పుడు డేటా గవర్నెన్స్ మరింత క్లిష్టంగా ఉంటుంది కానీ మరింత నిర్వహించదగినదిగా మారుతుంది. ప్రాంతంలోని సగం పెద్ద ఎంటర్‌ప్రైజెస్ ఇప్పటికే నిబంధనలలో వ్యత్యాసంతో పోరాడుతున్నాయి, కాబట్టి డేటా ఉత్పత్తి చేయబడిన ప్రదేశానికి దగ్గరగా అనుమితిని ఉంచడం సహాయపడుతుంది.

భద్రతకు కూడా ఎక్కువ శ్రద్ధ అవసరం. అనుమితిని అంచుకు వ్యాప్తి చేయడం స్థితిస్థాపకతను మెరుగుపరుస్తుంది, అంటే ప్రతి సైట్ తప్పనిసరిగా సురక్షితంగా ఉండాలి. సంస్థలు APIలు, డేటా పైప్‌లైన్‌లను రక్షించాలి మరియు మోసం లేదా బాట్ దాడుల నుండి రక్షణ కల్పించాలి. అనేక ఆర్థిక సంస్థలు ఇప్పటికే ఈ ప్రాంతాల్లో అకామై నియంత్రణలపై ఆధారపడి ఉన్నాయని జెంకిన్స్ పేర్కొన్నాడు.

(ఫోటో ఇగోర్ ఒమిలేవ్)

పరిశ్రమ ప్రముఖుల నుండి AI మరియు పెద్ద డేటా గురించి మరింత తెలుసుకోవాలనుకుంటున్నారా? తనిఖీ చేయండి AI & బిగ్ డేటా ఎక్స్‌పో ఆమ్‌స్టర్‌డామ్, కాలిఫోర్నియా మరియు లండన్‌లో జరుగుతున్నాయి. సమగ్ర కార్యక్రమం ఇందులో భాగమే టెక్ఎక్స్ మరియు ఇతర ప్రముఖ సాంకేతిక ఈవెంట్‌లతో కలిసి ఉంది. క్లిక్ చేయండి ఇక్కడ మరింత సమాచారం కోసం.

AI వార్తలు ఆధారితం టెక్ఫోర్జ్ మీడియా. రాబోయే ఇతర ఎంటర్‌ప్రైజ్ టెక్నాలజీ ఈవెంట్‌లు మరియు వెబ్‌నార్‌లను అన్వేషించండి ఇక్కడ.