Google Cloud తదుపరి సమావేశంలో, Google మరియు NVIDIA AI అనుమితి యొక్క ధరను స్కేల్లో పరిష్కరించడానికి రూపొందించిన వారి హార్డ్వేర్ రోడ్మ్యాప్ను వివరించింది.
కంపెనీలు NVIDIA వెరా రూబిన్ NVL72 ర్యాక్-స్కేల్ సిస్టమ్లపై పనిచేసే కొత్త A5X బేర్-మెటల్ ఇన్స్టాన్స్లను వివరించాయి. హార్డ్వేర్ మరియు సాఫ్ట్వేర్ కోడ్సైన్ ద్వారా, ఈ ఆర్కిటెక్చర్ మునుపటి తరాలతో పోలిస్తే టోకెన్కు పది రెట్లు తక్కువ అనుమితి ధరను అందించడం లక్ష్యంగా పెట్టుకుంది, అదే సమయంలో మెగావాట్కు పది రెట్లు ఎక్కువ టోకెన్ నిర్గమాంశను సాధించడం.
ప్రాసెసింగ్ ఆలస్యాన్ని నిరోధించడానికి వేలాది ప్రాసెసర్లను కనెక్ట్ చేయడానికి భారీ బ్యాండ్విడ్త్ అవసరం. Google Virgo నెట్వర్కింగ్ టెక్నాలజీతో NVIDIA ConnectX-9 SuperNICలను జత చేయడం ద్వారా A5X ఉదంతాలు ఈ హార్డ్వేర్ సవాలును పరిష్కరించాయి.
ఈ కాన్ఫిగరేషన్ ఒకే సైట్ క్లస్టర్లో 80,000 NVIDIA రూబిన్ GPUలకు మరియు మల్టీసైట్ విస్తరణలో గరిష్టంగా 960,000 GPUలకు స్కేల్ చేస్తుంది. ఈ స్కేల్లో పనిచేయడానికి అధునాతన పనిభార నిర్వహణ అవసరం, ఎందుకంటే దాదాపు మిలియన్ సమాంతర ప్రాసెసర్లలో డేటాను రూటింగ్ చేయడం నిష్క్రియ గణన సమయాన్ని నివారించడానికి ఖచ్చితమైన సమకాలీకరణను కోరుతుంది.
Google క్లౌడ్లో AI మరియు కంప్యూటింగ్ ఇన్ఫ్రాస్ట్రక్చర్ VP మరియు GM మార్క్ లోహ్మేయర్ ఇలా అన్నారు: “Google క్లౌడ్లో, AI యొక్క తదుపరి దశాబ్దం కస్టమర్లు తమ అత్యంత డిమాండ్ ఉన్న పనిభారాన్ని నిజంగా సమీకృత, AI-ఆప్టిమైజ్డ్ ఇన్ఫ్రాస్ట్రక్చర్ స్టాక్లో అమలు చేయగల సామర్థ్యంతో రూపొందించబడుతుందని మేము విశ్వసిస్తున్నాము.
“Google క్లౌడ్ యొక్క స్కేలబుల్ ఇన్ఫ్రాస్ట్రక్చర్ మరియు మేనేజ్డ్ AI సేవలను NVIDIA యొక్క పరిశ్రమ-ప్రముఖ ప్లాట్ఫారమ్లు, సిస్టమ్లు మరియు సాఫ్ట్వేర్లతో కలపడం ద్వారా, మేము కస్టమర్లకు సరిహద్దు మరియు ఓపెన్ మోడల్ల నుండి ఏజెంట్ల వరకు ప్రతిదానికీ శిక్షణ ఇవ్వడానికి, ట్యూన్ చేయడానికి మరియు సర్వ్ చేయడానికి సౌలభ్యాన్ని అందిస్తున్నాము. భౌతిక AI పనిభారం-పనితీరు, ఖర్చు మరియు స్థిరత్వం కోసం ఆప్టిమైజ్ చేస్తున్నప్పుడు.”
సావరిన్ డేటా గవర్నెన్స్ మరియు క్లౌడ్ సెక్యూరిటీ అవసరాలు
ముడి ప్రాసెసింగ్ సామర్థ్యాలకు మించి, ఎంటర్ప్రైజ్ విస్తరణలకు డేటా గవర్నెన్స్ ప్రాథమిక సమస్యగా మిగిలిపోయింది. ఫైనాన్స్ మరియు హెల్త్కేర్తో సహా అధిక నియంత్రణ కలిగిన రంగాలు, డేటా సార్వభౌమాధికార అవసరాలు మరియు యాజమాన్య సమాచారాన్ని బహిర్గతం చేయడం వల్ల కలిగే నష్టాల కారణంగా తరచుగా మెషిన్ లెర్నింగ్ కార్యక్రమాలను నిలిపివేస్తాయి.
ఈ సమ్మతి ఆదేశాలను పరిష్కరించడానికి, NVIDIA బ్లాక్వెల్ మరియు బ్లాక్వెల్ అల్ట్రా GPUలలో రన్ అవుతున్న Google Gemini మోడల్లు Google డిస్ట్రిబ్యూటెడ్ క్లౌడ్లో ప్రివ్యూను నమోదు చేస్తున్నాయి. ఈ విస్తరణ పద్ధతి సంస్థలను వారి అత్యంత సున్నితమైన డేటా స్టోర్లతో పాటు వారి నియంత్రిత పరిసరాలలో పూర్తిగా సరిహద్దు నమూనాలను ఉంచుకోవడానికి అనుమతిస్తుంది.
ఆర్కిటెక్చర్ NVIDIA కాన్ఫిడెన్షియల్ కంప్యూటింగ్ను కలిగి ఉంది. ఈ హార్డ్వేర్-స్థాయి భద్రతా ప్రోటోకాల్ శిక్షణ నమూనాలు రక్షిత వాతావరణంలో పనిచేస్తాయని నిర్ధారిస్తుంది, ఇక్కడ ప్రాంప్ట్లు మరియు ఫైన్-ట్యూనింగ్ డేటా గుప్తీకరించబడతాయి. క్లౌడ్ ఇన్ఫ్రాస్ట్రక్చర్ ఆపరేటర్లతో సహా అనధికారిక పార్టీలు అంతర్లీన డేటాను వీక్షించకుండా లేదా మార్చకుండా ఎన్క్రిప్షన్ నిరోధిస్తుంది.
బహుళ-అద్దెదారు పబ్లిక్ క్లౌడ్ ఎన్విరాన్మెంట్ల కోసం, NVIDIA RTX PRO 6000 బ్లాక్వెల్ GPUలతో కూడిన కాన్ఫిడెన్షియల్ G4 VMల ప్రివ్యూ ఇదే క్రిప్టోగ్రాఫిక్ రక్షణలను పరిచయం చేస్తుంది, డేటా గోప్యతా ప్రమాణాలను ఉల్లంఘించకుండా నియంత్రిత పరిశ్రమలకు అధిక-పనితీరు గల హార్డ్వేర్కు యాక్సెస్ ఇస్తుంది. ఈ విడుదల NVIDIA బ్లాక్వెల్ GPUల కోసం మొదటి క్లౌడ్-ఆధారిత రహస్య కంప్యూటింగ్ ఆఫర్ను సూచిస్తుంది.
ఏజెంట్ AI శిక్షణలో ఆపరేషనల్ ఓవర్హెడ్
బహుళ-దశల ఏజెంట్ సిస్టమ్లను రూపొందించడానికి పెద్ద భాషా నమూనాలను సంక్లిష్ట అప్లికేషన్ ప్రోగ్రామింగ్ ఇంటర్ఫేస్లకు కనెక్ట్ చేయడం, నిరంతర వెక్టర్ డేటాబేస్ సమకాలీకరణను నిర్వహించడం మరియు అమలు సమయంలో అల్గారిథమిక్ భ్రాంతులను చురుకుగా తగ్గించడం అవసరం.
ఈ భారీ ఇంజనీరింగ్ అవసరాన్ని క్రమబద్ధీకరించడానికి, NVIDIA Nemotron 3 Super ఇప్పుడు జెమిని ఎంటర్ప్రైజ్ ఏజెంట్ ప్లాట్ఫారమ్లో అందుబాటులో ఉంది. ప్లాట్ఫారమ్ డెవలపర్లకు అనుకూలీకరించడానికి మరియు రీజనింగ్ మరియు మల్టీమోడల్ మోడల్లను ప్రత్యేకంగా ఏజెంట్ పనుల కోసం రూపొందించడానికి సాధనాలను అందిస్తుంది. Google క్లౌడ్లోని విస్తృత NVIDIA ప్లాట్ఫారమ్ వివిధ మోడల్ల కోసం ఆప్టిమైజ్ చేయబడింది – Google యొక్క జెమిని మరియు గెమ్మా కుటుంబాలతో సహా – డెవలపర్లకు కారణం, ప్లాన్ చేయడం మరియు పని చేసే సిస్టమ్లను రూపొందించడానికి సాధనాలను అందిస్తుంది.
స్కేల్లో ఈ మోడళ్లకు శిక్షణ ఇవ్వడం వలన భారీ కార్యాచరణ ఓవర్హెడ్ను పరిచయం చేస్తుంది, ప్రత్యేకించి దీర్ఘ ఉపబల అభ్యాస చక్రాల సమయంలో క్లస్టర్ సైజింగ్ మరియు హార్డ్వేర్ వైఫల్యాలను నిర్వహించేటప్పుడు.
Google క్లౌడ్ మరియు NVIDIA జెమిని ఎంటర్ప్రైజ్ ఏజెంట్ ప్లాట్ఫారమ్లో మేనేజ్డ్ ట్రైనింగ్ క్లస్టర్లను పరిచయం చేశాయి, ఇందులో NVIDIA NeMo RLతో నిర్మితమయ్యే మేనేజ్డ్ రీన్ఫోర్స్మెంట్ లెర్నింగ్ API ఉంటుంది. ఈ సిస్టమ్ క్లస్టర్ సైజింగ్, ఫెయిల్యూర్ రికవరీ మరియు జాబ్ ఎగ్జిక్యూషన్ను ఆటోమేట్ చేస్తుంది, డేటా సైన్స్ బృందాలు తక్కువ-స్థాయి మౌలిక సదుపాయాల నిర్వహణ కంటే మోడల్ నాణ్యతపై దృష్టి కేంద్రీకరించడానికి అనుమతిస్తుంది.
CrowdStrike డొమైన్-నిర్దిష్ట సైబర్ సెక్యూరిటీ అప్లికేషన్ల కోసం సింథటిక్ డేటా మరియు ఫైన్-ట్యూన్ మోడల్లను రూపొందించడానికి NeMo డేటా డిజైనర్ మరియు NeMo మెగాట్రాన్ బ్రిడ్జ్తో సహా NVIDIA NeMo ఓపెన్ లైబ్రరీలను చురుకుగా ఉపయోగించుకుంటుంది. బ్లాక్వెల్ GPUలతో మేనేజ్డ్ ట్రైనింగ్ క్లస్టర్లలో ఈ మోడల్లను ఆపరేట్ చేయడం వలన వాటి ఆటోమేటెడ్ థ్రెట్ డిటెక్షన్ మరియు రెస్పాన్స్ సామర్థ్యాలు వేగవంతం అవుతాయి.
లెగసీ ఆర్కిటెక్చర్ ఇంటిగ్రేషన్ మరియు ఫిజికల్ సిమ్యులేషన్స్
భారీ పరిశ్రమ మరియు తయారీలో మెషిన్ లెర్నింగ్ యొక్క ఏకీకరణ విభిన్న తరగతి ఇంజనీరింగ్ సవాళ్లను అందిస్తుంది. ఫిజికల్ ఫ్యాక్టరీ అంతస్తులకు డిజిటల్ మోడల్లను కనెక్ట్ చేయడానికి ఖచ్చితమైన భౌతిక అనుకరణలు, భారీ గణన శక్తి మరియు లెగసీ డేటా ఫార్మాట్లలో ప్రామాణీకరణ అవసరం. NVIDIA యొక్క AI ఇన్ఫ్రాస్ట్రక్చర్ మరియు ఫిజికల్ AI లైబ్రరీలు ఇప్పుడు Google క్లౌడ్లో అందుబాటులో ఉన్నాయి, వాస్తవ-ప్రపంచ తయారీ వర్క్ఫ్లోలను అనుకరించడానికి మరియు ఆటోమేట్ చేయడానికి సంస్థలకు పునాదిని అందిస్తుంది.
ప్రధాన పారిశ్రామిక సాఫ్ట్వేర్ ప్రొవైడర్లు – కాడెన్స్ మరియు సిమెన్స్ వంటివి – NVIDIA ఇన్ఫ్రాస్ట్రక్చర్ ద్వారా వేగవంతం చేయబడిన Google క్లౌడ్లో వారి పరిష్కారాలను అందుబాటులో ఉంచాయి. ఈ సాధనాలు భారీ యంత్రాలు, ఏరోస్పేస్ ప్లాట్ఫారమ్లు మరియు స్వయంప్రతిపత్త వాహనాల ఇంజనీరింగ్ మరియు తయారీకి శక్తినిస్తాయి.
ఉత్పాదక సంస్థలు తరచుగా దశాబ్దాల నాటి ఉత్పత్తి లైఫ్సైకిల్ మేనేజ్మెంట్ సిస్టమ్లపై నడుస్తాయి, జ్యామితి మరియు భౌతిక డేటా యొక్క అనువాదం కష్టతరం చేస్తుంది. NVIDIA Omniverse లైబ్రరీలను మరియు Google Cloud Marketplace ద్వారా ఓపెన్ సోర్స్ NVIDIA Isaac Sim ఫ్రేమ్వర్క్ను ఉపయోగించడం ద్వారా, డెవలపర్లు భౌతికంగా ఖచ్చితమైన డిజిటల్ కవలలను నిర్మించడానికి మరియు భౌతిక విస్తరణకు ముందు రోబోటిక్స్ అనుకరణ పైప్లైన్లను రూపొందించడానికి ఈ అనువాద సమస్యలలో కొన్నింటిని దాటవేయవచ్చు.
Cosmos Reason 2 మోడల్ వంటి NVIDIA NIM మైక్రోసర్వీస్లను Google Vertex AI మరియు Google Kubernetes ఇంజిన్లకు అమలు చేయడం వలన దృష్టి-ఆధారిత ఏజెంట్లు మరియు రోబోట్లు తమ భౌతిక పరిసరాలను అర్థం చేసుకోవడానికి మరియు నావిగేట్ చేయడానికి వీలు కల్పిస్తాయి. కలిసి, ఈ ప్లాట్ఫారమ్లు డెవలపర్లు కంప్యూటర్-ఎయిడెడ్ డిజైన్ నుండి నేరుగా లివింగ్ ఇండస్ట్రియల్ డిజిటల్ ట్విన్స్గా మారడానికి సహాయపడతాయి.
వేగవంతమైన గణన పర్యావరణ వ్యవస్థ అంతటా ప్రభావాలు
ఈ హార్డ్వేర్ స్పెసిఫికేషన్లను పరిమాణాత్మక ఆర్థిక రాబడిగా అనువదించడానికి, ముందస్తుగా స్వీకరించేవారు మౌలిక సదుపాయాలను ఎలా ఉపయోగించుకుంటారో తనిఖీ చేయడం అవసరం.
విస్తృత పోర్ట్ఫోలియోలో పూర్తి NVL72 రాక్ల నుండి ఫ్రాక్షనల్ G4 VMల వరకు స్కేలింగ్ ఎంపికలు ఉన్నాయి, ఇవి కేవలం GPUలో ఎనిమిదో వంతు మాత్రమే అందిస్తాయి. నిపుణుల మిశ్రమం తార్కికం మరియు డేటా ప్రాసెసింగ్ టాస్క్ల కోసం యాక్సిలరేషన్ సామర్థ్యాలను ఖచ్చితంగా అందించడానికి ఇది వినియోగదారులను అనుమతిస్తుంది.
థింకింగ్ మెషీన్స్ ల్యాబ్ శిక్షణను వేగవంతం చేయడానికి A4X Max VMలలో దాని టింకర్ APIని స్కేల్ చేస్తుంది. OpenAI, ChatGPT కార్యకలాపాలతో సహా డిమాండ్తో కూడిన పనిభారాన్ని నిర్వహించడానికి Google Cloudలో NVIDIA GB300 మరియు GB200 NVL72 సిస్టమ్లపై పెద్ద-స్థాయి అనుమితిని ఉపయోగిస్తుంది.
భారీ-స్థాయి A/B పరీక్షకు సంబంధించిన విస్తృతమైన ఖర్చులను తగ్గించడానికి Snap దాని డేటా పైప్లైన్లను Google క్లౌడ్లోని GPU-యాక్సిలరేటెడ్ స్పార్క్కి మార్చింది. ఫార్మాస్యూటికల్ రంగంలో, ష్రోడింగర్ Google క్లౌడ్లో NVIDIA వేగవంతమైన కంప్యూటింగ్ని ఉపయోగించి డ్రగ్ డిస్కవరీ సిమ్యులేషన్లను కుదించవచ్చు, ఇది మునుపు వారాల వ్యవధిలో గంటల వ్యవధిలో పట్టింది.
ఈ సాధనాల స్కేలింగ్ డెవలపర్ ఎకోసిస్టమ్ త్వరగా విస్తరించింది. ఒక సంవత్సరంలోనే 90,000 మంది డెవలపర్లు ఉమ్మడి NVIDIA మరియు Google క్లౌడ్ డెవలపర్ సంఘంలో చేరారు.
కోడ్రాబిట్ మరియు ఫ్యాక్టరీ వంటి స్టార్టప్లు కోడ్ సమీక్షలను అమలు చేయడానికి మరియు స్వయంప్రతిపత్త సాఫ్ట్వేర్ డెవలప్మెంట్ ఏజెంట్లను అమలు చేయడానికి Google క్లౌడ్లో NVIDIA Nemotron-ఆధారిత నమూనాలను వర్తింపజేస్తాయి. Aible, Mantis AI, Photoroom మరియు Baseten పూర్తి-స్టాక్ ప్లాట్ఫారమ్ను ఉపయోగించి ఎంటర్ప్రైజ్ డేటా, వీడియో ఇంటెలిజెన్స్ మరియు ఉత్పాదక చిత్రాల పరిష్కారాలను రూపొందించాయి.
NVIDIA మరియు Google క్లౌడ్ కలిసి, భౌతిక ప్రపంచంలోని ఫ్లీట్లను భద్రపరిచే మరియు ఫ్యాక్టరీలను ఆప్టిమైజ్ చేసే ఉత్పాదక వ్యవస్థల్లోకి ప్రయోగాత్మక ఏజెంట్లు మరియు అనుకరణలను ముందుకు తీసుకెళ్లేందుకు రూపొందించిన కంప్యూటింగ్ పునాదిని అందించడం లక్ష్యంగా పెట్టుకున్నాయి.
ఇవి కూడా చూడండి: AI వల్నరబిలిటీ డిస్కవరీతో ఎంటర్ప్రైజ్ సెక్యూరిటీ ఖర్చులను తిప్పికొట్టడం
పరిశ్రమ ప్రముఖుల నుండి AI మరియు పెద్ద డేటా గురించి మరింత తెలుసుకోవాలనుకుంటున్నారా? తనిఖీ చేయండి AI & బిగ్ డేటా ఎక్స్పో ఆమ్స్టర్డామ్, కాలిఫోర్నియా మరియు లండన్లో జరుగుతున్నాయి. సమగ్ర కార్యక్రమం ఇందులో భాగమే టెక్ఎక్స్ మరియు సహా ఇతర ప్రముఖ సాంకేతిక ఈవెంట్లతో కలిసి ఉంది సైబర్ సెక్యూరిటీ & క్లౌడ్ ఎక్స్పో. క్లిక్ చేయండి ఇక్కడ మరింత సమాచారం కోసం.
AI వార్తలు ఆధారితం టెక్ఫోర్జ్ మీడియా. రాబోయే ఇతర ఎంటర్ప్రైజ్ టెక్నాలజీ ఈవెంట్లు మరియు వెబ్నార్లను అన్వేషించండి ఇక్కడ.
