ఓపెన్ సోర్స్ సామర్థ్యంతో AI అనుమితిని స్కేలింగ్ చేయడం

ఎన్విడియా AI కర్మాగారాల్లో రీజనింగ్ మోడళ్లను వేగవంతం చేయడానికి మరియు స్కేల్ చేయడానికి రూపొందించిన ఓపెన్ సోర్స్ అనుమితి సాఫ్ట్‌వేర్ డైనమోను ప్రారంభించింది.

GPU ల సముపార్జన అభ్యర్థనలను సమర్థవంతంగా నిర్వహించడం మరియు సమన్వయం చేయడం AI కర్మాగారాలు సరైన ఖర్చు-ప్రభావంతో పనిచేయగలవని మరియు టోకెన్ ఆదాయాన్ని పెంచుకోగలవని నిర్ధారించడానికి ఒక క్లిష్టమైన ప్రయత్నం.

AI తార్కికం ఎక్కువగా ప్రబలంగా ఉన్నందున, ప్రతి AI మోడల్ ప్రతి ప్రాంప్ట్‌తో పదివేల టోకెన్లను ఉత్పత్తి చేస్తుందని భావిస్తున్నారు, ముఖ్యంగా దాని “ఆలోచన” ప్రక్రియను సూచిస్తుంది. ఏకకాలంలో దాని ఖర్చును తగ్గించేటప్పుడు అనుమితి పనితీరును పెంచడం వల్ల వృద్ధిని వేగవంతం చేయడానికి మరియు సేవా ప్రదాతలకు ఆదాయ అవకాశాలను పెంచడానికి చాలా ముఖ్యమైనది.

కొత్త తరం AI అనుమితి సాఫ్ట్‌వేర్

ఎన్విడియా ట్రిటాన్ అనుమితి సర్వర్ను విజయవంతం చేసే ఎన్విడియా డైనమో, కొత్త తరం ప్రాతినిధ్యం వహిస్తుంది AI అనుమితి AI కర్మాగారాల కోసం టోకెన్ రెవెన్యూ ఉత్పత్తిని పెంచడానికి సాఫ్ట్‌వేర్ ప్రత్యేకంగా ఇంజనీరింగ్ చేయబడింది, రీజనింగ్ AI మోడళ్లను అమలు చేస్తుంది.

డైనమో వేలాది GPU లలో అనుమితి కమ్యూనికేషన్‌ను ఆర్కెస్ట్రేట్ చేస్తుంది మరియు వేగవంతం చేస్తుంది. ఇది విభజించబడిన సేవలను ఉపయోగిస్తుంది, ఇది పెద్ద భాషా నమూనాల (LLM లు) యొక్క ప్రాసెసింగ్ మరియు తరం దశలను విభిన్న GPU లపై వేరు చేస్తుంది. ఈ విధానం ప్రతి దశను స్వతంత్రంగా ఆప్టిమైజ్ చేయడానికి అనుమతిస్తుంది, దాని నిర్దిష్ట గణన అవసరాలను తీర్చడం మరియు GPU వనరుల గరిష్ట వినియోగాన్ని నిర్ధారిస్తుంది.

“ప్రపంచవ్యాప్తంగా పరిశ్రమలు AI మోడళ్లకు వివిధ మార్గాల్లో ఆలోచించడానికి మరియు నేర్చుకోవడానికి శిక్షణ ఇస్తున్నాయి, వాటిని కాలక్రమేణా మరింత అధునాతనంగా మార్చాయి” అని ఎన్విడియా వ్యవస్థాపకుడు మరియు CEO జెన్సన్ హువాంగ్ పేర్కొన్నారు. “కస్టమ్ రీజనింగ్ AI యొక్క భవిష్యత్తును ప్రారంభించడానికి, ఎన్విడియా డైనమో ఈ మోడళ్లను స్కేల్ వద్ద అందించడానికి సహాయపడుతుంది, AI కర్మాగారాల్లో ఖర్చు పొదుపులు మరియు సామర్థ్యాలను నడుపుతుంది.”

అదే సంఖ్యలో GPU లను ఉపయోగించి, డైనమో ఎన్విడియా యొక్క ప్రస్తుత హాప్పర్ ప్లాట్‌ఫామ్‌లో లామా మోడళ్లకు సేవలు అందించే AI కర్మాగారాల పనితీరు మరియు ఆదాయాన్ని రెట్టింపు చేసే సామర్థ్యాన్ని ప్రదర్శించింది. ఇంకా, GB200 NVL72 రాక్‌ల యొక్క పెద్ద క్లస్టర్‌లో డీప్సీక్-R1 మోడల్‌ను నడుపుతున్నప్పుడు, ఎన్విడియా డైనమో యొక్క తెలివైన అనుమితి ఆప్టిమైజేషన్స్ GPU కి 30 సార్లు ఉత్పత్తి అయ్యే టోకెన్ల సంఖ్యను పెంచడానికి చూపించాయి.

అనుమితి పనితీరులో ఈ మెరుగుదలలను సాధించడానికి, ఎన్విడియా డైనమో నిర్గమాంశను పెంచడానికి మరియు కార్యాచరణ ఖర్చులను తగ్గించడానికి రూపొందించిన అనేక ముఖ్య లక్షణాలను కలిగి ఉంటుంది.

హెచ్చుతగ్గుల అభ్యర్థన వాల్యూమ్‌లు మరియు రకాలను స్వీకరించడానికి డైనమో GPU లను నిజ సమయంలో GPU లను జోడించవచ్చు, తొలగించవచ్చు మరియు తిరిగి కేటాయించవచ్చు. సాఫ్ట్‌వేర్ పెద్ద సమూహాలలో నిర్దిష్ట GPU లను కూడా గుర్తించగలదు, ఇవి ప్రతిస్పందన గణనలు మరియు సమర్ధవంతంగా రూట్ ప్రశ్నలను తగ్గించడానికి బాగా సరిపోతాయి. అవసరమైనప్పుడు వేగంగా తిరిగి పొందేటప్పుడు డైనమో మరింత ఖర్చుతో కూడుకున్న మెమరీ మరియు నిల్వ పరికరాలకు అనుమితి డేటాను ఆఫ్‌లోడ్ చేయగలదు, తద్వారా మొత్తం అనుమితి ఖర్చులను తగ్గిస్తుంది.

ఎన్విడియా డైనమో పూర్తిగా ఓపెన్-సోర్స్ ప్రాజెక్ట్‌గా విడుదల చేయబడుతోంది, పైటోర్చ్, స్లాంగ్, ఎన్విడియా టెన్సార్ట్-ఎల్‌ఎం, మరియు విఎల్‌ఎం వంటి ప్రసిద్ధ ఫ్రేమ్‌వర్క్‌లతో విస్తృత అనుకూలతను అందిస్తుంది. ఈ బహిరంగ విధానం విభజన అనుమితి మౌలిక సదుపాయాలలో AI మోడళ్లను అందించడానికి నవల పద్ధతులను అభివృద్ధి చేయడంలో మరియు ఆప్టిమైజ్ చేయడంలో సంస్థలు, స్టార్టప్‌లు మరియు పరిశోధకులకు మద్దతు ఇస్తుంది.

ప్రధాన క్లౌడ్ ప్రొవైడర్లు మరియు AWS, కోహెరె, కోవర్‌వీవ్, డెల్, బాణసంచా, గూగుల్ క్లౌడ్, లాంబ్డా, మెటా, మైక్రోసాఫ్ట్ అజూర్, నెబియస్, నెట్‌అప్, ఓసిఐ, పెంపెక్సిటీ, కలిసి AI, మరియు వోస్ట్ వంటి AWS, కోహెరె, కోవర్‌వీవ్, డెల్, బాణసంచా, AYI ఆవిష్కర్తలతో సహా అనేక రకాల సంస్థలలో డైనమో AI అనుమితిని వేగవంతం చేయాలని ఎన్విడియా ఆశిస్తోంది.

ఎన్విడియా డైనమో: సూపర్ఛార్జింగ్ అనుమితి మరియు ఏజెంట్ AI

ఎన్విడియా డైనమో యొక్క కీలకమైన ఆవిష్కరణ, అనుమితి వ్యవస్థలు మునుపటి అభ్యర్థనలను కెవి కాష్ అని పిలువబడే మునుపటి అభ్యర్థనలను అందించకుండా మెమరీలో ఉన్న జ్ఞానాన్ని మ్యాప్ చేయగల సామర్థ్యాన్ని కలిగి ఉన్నాయి.

సాఫ్ట్‌వేర్ అప్పుడు ఉత్తమమైన జ్ఞాన మ్యాచ్‌ను కలిగి ఉన్న GPU లకు కొత్త అనుమితి అభ్యర్థనలను తెలివిగా మారుస్తుంది, ఖరీదైన రీకూటేషన్‌లను సమర్థవంతంగా నివారించడం మరియు కొత్త ఇన్‌కమింగ్ అభ్యర్థనలను నిర్వహించడానికి ఇతర GPU లను విడిపించడం. ఈ స్మార్ట్ రౌటింగ్ విధానం సామర్థ్యాన్ని గణనీయంగా పెంచుతుంది మరియు జాప్యాన్ని తగ్గిస్తుంది.

“నెలవారీ వందలాది మిలియన్ల అభ్యర్థనలను నిర్వహించడానికి, మేము పనితీరు, విశ్వసనీయత మరియు మా వ్యాపారం మరియు వినియోగదారుల డిమాండ్‌ను అందించడానికి ఎన్విడియా GPU లు మరియు అనుమితి సాఫ్ట్‌వేర్‌పై ఆధారపడతాము” అని కలవరపరిచే AI యొక్క CTO డెనిస్ యారాట్స్ చెప్పారు.

“డైనమోను, దాని మెరుగైన పంపిణీ సేవలతో, మరింత అనుమితి-సేవ సామర్థ్యాలను నడపడానికి మరియు కొత్త AI రీజనింగ్ మోడళ్ల గణన డిమాండ్లను తీర్చడానికి మేము ఎదురుచూస్తున్నాము.”

AI ప్లాట్‌ఫాం కోహేర్ దాని కమాండ్ సిరీస్ మోడళ్లలో ఏజెంట్ AI సామర్థ్యాలను పెంచడానికి ఎన్విడియా డైనమోను ప్రభావితం చేయడానికి ఇప్పటికే యోచిస్తోంది.

“అధునాతన AI మోడళ్లకు స్కేలింగ్ చేయడానికి అధునాతన మల్టీ-జిపియు షెడ్యూలింగ్, అతుకులు సమన్వయం మరియు తక్కువ-జాప్యం కమ్యూనికేషన్ లైబ్రరీలు అవసరం, ఇవి తార్కిక సందర్భాలను జ్ఞాపకశక్తి మరియు నిల్వలో సజావుగా బదిలీ చేస్తాయి” అని కోహేర్ వద్ద ఇంజనీరింగ్ యొక్క SVP సౌరాబ్ బాజీ వివరించారు.

“మా ఎంటర్ప్రైజ్ కస్టమర్లకు ప్రధాన వినియోగదారు అనుభవాన్ని అందించడానికి ఎన్విడియా డైనమో మాకు సహాయపడుతుందని మేము ఆశిస్తున్నాము.”

విభజించబడిన సేవకు మద్దతు

ఎన్విడియా డైనమో అనుమితి వేదిక విడదీయబడిన సేవలకు బలమైన మద్దతును కలిగి ఉంది. ఈ అధునాతన సాంకేతికత LLM ల యొక్క విభిన్న గణన దశలను కేటాయిస్తుంది – వినియోగదారు ప్రశ్నను అర్థం చేసుకోవడంలో కీలకమైన దశలతో సహా మరియు తరువాత చాలా సరైన ప్రతిస్పందనను ఉత్పత్తి చేస్తుంది – మౌలిక సదుపాయాలలో వేర్వేరు GPU లకు.

కొత్త ఎన్విడియా లామా నెమోట్రాన్ మోడల్ ఫ్యామిలీ వంటి తార్కిక నమూనాల కోసం విభజించబడిన సర్వింగ్ ముఖ్యంగా బాగా సరిపోతుంది, ఇది మెరుగైన సందర్భోచిత అవగాహన మరియు ప్రతిస్పందన ఉత్పత్తి కోసం అధునాతన అనుమితి పద్ధతులను ఉపయోగిస్తుంది. ప్రతి దశను చక్కగా ట్యూన్ చేయడానికి మరియు స్వతంత్రంగా వనరులను అనుమతించడం ద్వారా, విభజించబడిన సేవ మొత్తం నిర్గమాంశను మెరుగుపరుస్తుంది మరియు వినియోగదారులకు వేగంగా ప్రతిస్పందన సమయాన్ని అందిస్తుంది.

కలిసి ఐ. ఈ ఇంటిగ్రేషన్ బహుళ GPU నోడ్‌లలో అనుమితి పనిభారం యొక్క అతుకులు స్కేలింగ్‌ను ప్రారంభించడం లక్ష్యంగా పెట్టుకుంది. ఇంకా, ఇది మోడల్ పైప్‌లైన్ యొక్క వివిధ దశలలో తలెత్తే ట్రాఫిక్ అడ్డంకులను డైనమిక్‌గా పరిష్కరించడానికి AI ని కలిసి అనుమతిస్తుంది.

“స్కేలింగ్ రీజనింగ్ మోడల్స్ ఖర్చుతో సమర్థవంతంగా కొత్త అధునాతన అనుమితి పద్ధతులు అవసరం, వీటిలో విభజించబడిన సేవలు మరియు సందర్భ-అవగాహన రౌటింగ్‌తో సహా” అని CTO, కలిసి AI.

“ఎన్విడియా డైనమో యొక్క ఓపెన్‌నెస్ మరియు మాడ్యులారిటీ మా వేగవంతమైన కంప్యూటింగ్ ఇన్వెస్ట్‌మెంట్‌ను ఆప్టిమైజ్ చేసేటప్పుడు మరింత అభ్యర్థనలను అందించడానికి దాని భాగాలను మా ఇంజిన్‌లోకి సజావుగా ప్లగ్ చేయడానికి అనుమతిస్తుంది.

ఎన్విడియా డైనమో యొక్క నాలుగు ముఖ్య ఆవిష్కరణలు

ఎన్విడియా డైనమోలోని నాలుగు కీలక ఆవిష్కరణలను హైలైట్ చేసింది, ఇవి అనుమితి ఖర్చులను తగ్గించడానికి మరియు మొత్తం వినియోగదారు అనుభవాన్ని పెంచడానికి దోహదం చేస్తాయి:

• GPU ప్లానర్: హెచ్చుతగ్గుల వినియోగదారు డిమాండ్ ఆధారంగా GPU లను డైనమిక్‌గా జోడిస్తుంది మరియు తొలగించే అధునాతన ప్రణాళిక ఇంజిన్. ఇది సరైన వనరుల కేటాయింపును నిర్ధారిస్తుంది, ఇది GPU సామర్థ్యం యొక్క ఓవర్ ప్రొవిజనింగ్ మరియు అండర్ ప్రొవిజనింగ్ రెండింటినీ నిరోధిస్తుంది.
• స్మార్ట్ రౌటర్: GPU ల యొక్క పెద్ద విమానాలలో అనుమితి అభ్యర్థనలను నిర్దేశించే తెలివైన, LLM- అవేర్ రౌటర్. దీని ప్రాధమిక పని పునరావృత లేదా అతివ్యాప్తి అభ్యర్థనల యొక్క ఖరీదైన GPU పునర్వినియోగాలను తగ్గించడం, తద్వారా కొత్త ఇన్కమింగ్ అభ్యర్థనలను మరింత సమర్థవంతంగా నిర్వహించడానికి విలువైన GPU వనరులను విముక్తి చేస్తుంది.
• తక్కువ-జాప్యం కమ్యూనికేషన్ లైబ్రరీ: అత్యాధునిక-ఆప్టిమైజ్డ్ లైబ్రరీ అత్యాధునిక GPU-TO-GPU కమ్యూనికేషన్‌కు మద్దతుగా రూపొందించబడింది. ఇది వైవిధ్య పరికరాల్లో డేటా మార్పిడి యొక్క సంక్లిష్టతలను సంగ్రహిస్తుంది, డేటా బదిలీ వేగాన్ని గణనీయంగా వేగవంతం చేస్తుంది.
• మెమరీ మేనేజర్: తక్కువ-ధర మెమరీ మరియు నిల్వ పరికరాలకు మరియు దాని నుండి అనుమితి డేటాను ఆఫ్‌లోడింగ్ మరియు రీలోడ్ చేయడాన్ని నిర్వహించే ఇంటెలిజెంట్ ఇంజిన్. ఈ ప్రక్రియ అతుకులు ఉండేలా రూపొందించబడింది, ఇది వినియోగదారు అనుభవంపై ప్రతికూల ప్రభావాన్ని కలిగి ఉండదు.

ఎన్విడియా డైనమో ఎన్‌ఐఎం మైక్రోసర్వీసెస్‌లో అందుబాటులో ఉంచబడుతుంది మరియు సంస్థ యొక్క AI ఎంటర్‌ప్రైజ్ సాఫ్ట్‌వేర్ ప్లాట్‌ఫామ్ యొక్క భవిష్యత్తు విడుదలలో మద్దతు ఇవ్వబడుతుంది.

ఇవి కూడా చూడండి: LG EXAONE DEEP ఒక గణితం, సైన్స్ మరియు కోడింగ్ బఫ్

పరిశ్రమ నాయకుల నుండి AI మరియు పెద్ద డేటా గురించి మరింత తెలుసుకోవాలనుకుంటున్నారా? తనిఖీ చేయండి AI & పెద్ద డేటా ఎక్స్‌పో ఆమ్స్టర్డామ్, కాలిఫోర్నియా మరియు లండన్లలో జరుగుతోంది. సమగ్ర సంఘటనతో సహా ఇతర ప్రముఖ సంఘటనలతో సహ-స్థాపించబడింది ఇంటెలిజెంట్ ఆటోమేషన్ కాన్ఫరెన్స్, బ్లాక్ఎక్స్, డిజిటల్ ట్రాన్స్ఫర్మేషన్ వీక్మరియు సైబర్ సెక్యూరిటీ & క్లౌడ్ ఎక్స్‌పో.

టెక్ఫోర్జ్ చేత శక్తినిచ్చే ఇతర రాబోయే ఎంటర్ప్రైజ్ టెక్నాలజీ ఈవెంట్స్ మరియు వెబ్‌నార్లను అన్వేషించండి ఇక్కడ.