టెన్సెంట్ విస్తృత ఉపయోగం కోసం బహుముఖంగా ఉన్న ఓపెన్ సోర్స్ హునివాన్ AI మోడళ్ల కుటుంబాన్ని విస్తరించింది. చిన్న అంచు పరికరాల నుండి డిమాండ్, అధిక-పరస్పర ఉత్పత్తి వ్యవస్థల వరకు గణన పరిసరాలలో శక్తివంతమైన పనితీరును అందించడానికి ఈ కొత్త కుటుంబాల మోడల్స్ ఇంజనీరింగ్ చేయబడ్డాయి.
ఈ విడుదలలో డెవలపర్ ప్లాట్ఫాం కౌగిలించుకునే ముఖంలో లభించే సమగ్ర ముందస్తు శిక్షణ మరియు సూచనల-ట్యూన్ మోడళ్ల సమగ్ర సమితి ఉంది. నమూనాలు అనేక పరిమాణాలలో వస్తాయి, ప్రత్యేకంగా 0.5 బి, 1.8 బి, 4 బి, మరియు 7 బి పారామితి ప్రమాణాలతో, డెవలపర్లు మరియు వ్యాపారాలకు గణనీయమైన వశ్యతను అందిస్తుంది.
టెన్సెంట్ ఈ నమూనాలు దాని శక్తివంతమైన హునివాన్-ఎ 13 బి మోడల్ మాదిరిగానే శిక్షణా వ్యూహాలను ఉపయోగించి అభివృద్ధి చేయబడిందని సూచించింది, ఇది దాని పనితీరు లక్షణాలను వారసత్వంగా పొందటానికి వీలు కల్పిస్తుంది. ఈ విధానం వినియోగదారులకు వారి అవసరాలకు సరైన మోడల్ను ఎంచుకోవడానికి వీలు కల్పిస్తుంది, ఇది వనరు-నిరోధిత ఎడ్జ్ కంప్యూటింగ్ కోసం చిన్న వేరియంట్ లేదా అధిక-నిర్గమాంశ ఉత్పత్తి పనిభారం కోసం పెద్ద మోడల్ అయినా, బలమైన సామర్థ్యాలను నిర్ధారిస్తుంది.
హునివాన్ సిరీస్ యొక్క అత్యంత ముఖ్యమైన లక్షణాలలో ఒకటి అల్ట్రా-లాంగ్ 256 కె కాంటెక్స్ట్ విండోకు దాని స్థానిక మద్దతు. ఇది దీర్ఘ-వచన పనులపై స్థిరమైన పనితీరును నిర్వహించడానికి మరియు నిర్వహించడానికి మోడళ్లను అనుమతిస్తుంది, సంక్లిష్ట పత్ర విశ్లేషణ, విస్తరించిన సంభాషణలు మరియు లోతైన కంటెంట్ ఉత్పత్తికి కీలకమైన సామర్ధ్యం. టెన్సెంట్ “హైబ్రిడ్ రీజనింగ్” అని పిలిచే వాటికి మోడల్స్ మద్దతు ఇస్తాయి, ఇది వినియోగదారులు వారి నిర్దిష్ట అవసరాలను బట్టి వినియోగదారులు ఎంచుకోగల వేగవంతమైన మరియు నెమ్మదిగా ఆలోచించే మోడ్లను అనుమతిస్తుంది.
సంస్థ ఏజెంట్ సామర్థ్యాలకు బలమైన ప్రాధాన్యతనిచ్చింది. నమూనాలు ఏజెంట్-ఆధారిత పనుల కోసం ఆప్టిమైజ్ చేయబడ్డాయి మరియు BFCL-V3, τ-Bench మరియు C3-Bench వంటి స్థాపించబడిన బెంచ్మార్క్లపై ప్రముఖ ఫలితాలను ప్రదర్శించాయి, సంక్లిష్టమైన, బహుళ-దశల సమస్య పరిష్కారంలో అధిక స్థాయి నైపుణ్యాన్ని సూచిస్తున్నాయి. ఉదాహరణకు, సి 3-బెంచ్లో, హునివాన్ -7 బి-ఇన్స్ట్రక్ట్ మోడల్ 68.5 స్కోరు సాధించింది, హునివాన్ -4 బి-ఇన్స్ట్రక్ట్ మోడల్ 64.3 స్కోర్లు.
సిరీస్ పనితీరు సమర్థవంతమైన అనుమితిపై దృష్టి పెడుతుంది. టెన్సెంట్ యొక్క హునియువాన్ నమూనాలు సమూహ ప్రశ్న దృష్టిని (GQA) ను ఉపయోగించుకుంటాయి, ఇది ప్రాసెసింగ్ వేగాన్ని మెరుగుపరచడానికి మరియు గణన ఓవర్హెడ్ను తగ్గించడానికి ప్రసిద్ది చెందింది. ఈ సామర్థ్యం అధునాతన క్వాంటిజేషన్ సపోర్ట్ ద్వారా మరింత మెరుగుపరచబడింది, ఇది హునివాన్ ఆర్కిటెక్చర్ యొక్క ముఖ్య అంశం, విస్తరణ అడ్డంకులను తగ్గించడానికి రూపొందించబడింది.
టెన్సెంట్ మరింత వినియోగదారు-స్నేహపూర్వక మరియు సమర్థవంతమైన మోడల్ కంప్రెషన్ పరిష్కారాన్ని సృష్టించడానికి దాని స్వంత కుదింపు టూల్సెట్, ఆంగ్లిమ్ను అభివృద్ధి చేసింది. ఈ సాధనాన్ని ఉపయోగించి, సంస్థ హున్యువాన్ సిరీస్ కోసం రెండు ప్రధాన రకాల పరిమాణాన్ని అందిస్తుంది.
మొదటిది FP8 స్టాటిక్ క్వాంటిజేషన్, ఇది 8-బిట్ ఫ్లోటింగ్-పాయింట్ ఫార్మాట్ను ఉపయోగిస్తుంది. అనుమితి సామర్థ్యాన్ని పెంచడానికి పూర్తి పునరుద్ధరణ, మోడల్ బరువులు మరియు క్రియాశీలత విలువలను FP8 ఫార్మాట్లోకి మార్చకుండా క్వాంటిజేషన్ స్కేల్ను ముందుగా నిర్ణయించడానికి ఈ పద్ధతి తక్కువ మొత్తంలో క్రమాంకనం డేటాను ఉపయోగిస్తుంది.
రెండవ పద్ధతి INT4 పరిమాణీకరణ, ఇది GPTQ మరియు AWQ అల్గోరిథంల ద్వారా W4A16 పరిమాణాన్ని సాధిస్తుంది:
- ది Gptq అప్రోచ్ ప్రాసెస్ మోడల్ వెయిట్స్ లేయర్ పొర ద్వారా, పరిమాణాత్మక బరువులలో లోపాలను తగ్గించడానికి క్రమాంకనం డేటాను ఉపయోగించి. ఈ ప్రక్రియ మోడల్ రీట్రైనింగ్ అవసరమని నివారిస్తుంది మరియు అనుమితి వేగాన్ని మెరుగుపరుస్తుంది.
- ది Awq అల్గోరిథం చిన్న క్రమాంకనం డేటా నుండి క్రియాశీలత విలువల వ్యాప్తిని గణాంకపరంగా విశ్లేషించడం ద్వారా పనిచేస్తుంది. ఇది ప్రతి బరువు ఛానెల్ కోసం స్కేలింగ్ గుణకాన్ని లెక్కిస్తుంది, ఇది కుదింపు ప్రక్రియలో మరింత సమాచారాన్ని నిలుపుకోవటానికి ముఖ్యమైన బరువుల సంఖ్యా పరిధిని విస్తరిస్తుంది.
డెవలపర్లు ఆంగ్లేస్లిమ్ సాధనాన్ని స్వయంగా ఉపయోగించవచ్చు లేదా ప్రీ-క్వాంటైజ్డ్ మోడళ్లను నేరుగా డౌన్లోడ్ చేసుకోవచ్చు.
పనితీరు బెంచ్మార్క్లు టెన్సెంట్ హునివాన్ మోడళ్ల యొక్క బలమైన సామర్థ్యాలను అనేక పనులలో నిర్ధారిస్తాయి. ఉదాహరణకు, ముందే శిక్షణ పొందిన హునివాన్ -7 బి మోడల్, MMLU బెంచ్మార్క్లో 79.82 స్కోరు, GSM8K పై 88.25, మరియు గణిత బెంచ్మార్క్లో 74.85 సాధిస్తుంది, ఇది దృ reast మైన తార్కికం మరియు గణిత నైపుణ్యాలను ప్రదర్శిస్తుంది.
బోధన-ట్యూన్డ్ వేరియంట్లు ప్రత్యేకమైన ప్రాంతాలలో ఆకట్టుకునే ఫలితాలను చూపుతాయి. గణితంలో, హునివాన్ -7 బి-ఇన్స్ట్రక్ట్ మోడల్ ఐమ్ 2024 బెంచ్మార్క్లో 81.1 స్కోర్లు, 4 బి వెర్షన్ స్కోర్లు 78.3. సైన్స్లో, 7 బి మోడల్ ఒలింపియాడ్బెంచ్లో 76.5 కి చేరుకుంటుంది, మరియు కోడింగ్లో, ఇది లైవ్కోడ్బెంచ్లో 42 స్కోరు చేస్తుంది.
క్వాంటిజేషన్ బెంచ్మార్క్లు కనీస పనితీరు క్షీణతను చూపుతాయి. డ్రాప్ బెంచ్మార్క్లో, హునివాన్ -7 బి-ఇన్స్ట్రక్ట్ మోడల్ దాని బేస్ బి 16 ఫార్మాట్లో 85.9, ఎఫ్పి 8 తో 86.0, మరియు 85.7 ను INT4 GPTQ తో స్కోర్ చేస్తుంది, ఇది సామర్థ్య లాభాలు ఖచ్చితత్వానికి ఖర్చుతో రావని సూచిస్తుంది.
విస్తరణ కోసం, హునివాన్ మోడళ్లకు సేవ చేయడానికి మరియు ఓపెనై-అనుకూల API ఎండ్ పాయింట్లను సృష్టించడానికి టెన్సార్ట్-ఎల్ఎమ్, విఎల్ఎల్ఎమ్, లేదా ఎస్గ్లాంగ్ వంటి స్థాపించబడిన ఫ్రేమ్వర్క్లను ఉపయోగించాలని టెన్సెంట్ సిఫార్సు చేస్తుంది, అవి ఇప్పటికే ఉన్న అభివృద్ధి వర్క్ఫ్లోలలో సజావుగా విలీనం చేయవచ్చని నిర్ధారిస్తుంది. పనితీరు, సామర్థ్యం మరియు విస్తరణ వశ్యత యొక్క ఈ కలయిక హునివాన్ సిరీస్ను ఓపెన్-సోర్స్ AI లో నిరంతర శక్తివంతమైన పోటీదారుగా ఉంచుతుంది.
ఇవి కూడా చూడండి: డీప్ కోగిటో వి 2: దాని తార్కిక నైపుణ్యాలను మెరుగుపరిచే ఓపెన్ సోర్స్ ఐ
పరిశ్రమ నాయకుల నుండి AI మరియు పెద్ద డేటా గురించి మరింత తెలుసుకోవాలనుకుంటున్నారా? తనిఖీ చేయండి AI & పెద్ద డేటా ఎక్స్పో ఆమ్స్టర్డామ్, కాలిఫోర్నియా మరియు లండన్లలో జరుగుతోంది. సమగ్ర సంఘటనతో సహా ఇతర ప్రముఖ సంఘటనలతో సహ-స్థాపించబడింది ఇంటెలిజెంట్ ఆటోమేషన్ కాన్ఫరెన్స్, బ్లాక్ఎక్స్, డిజిటల్ ట్రాన్స్ఫర్మేషన్ వీక్మరియు సైబర్ సెక్యూరిటీ & క్లౌడ్ ఎక్స్పో.
టెక్ఫోర్జ్ చేత శక్తినిచ్చే ఇతర రాబోయే ఎంటర్ప్రైజ్ టెక్నాలజీ ఈవెంట్స్ మరియు వెబ్నార్లను అన్వేషించండి ఇక్కడ.
