AI & బిగ్ డేటా ఎక్స్పో యూరప్కు ముందు, AI న్యూస్ ఐవో ఎవర్ట్స్, సీనియర్ సొల్యూషన్స్ ఆర్కిటెక్ట్తో పట్టుబడింది డేటాబ్రిక్స్ఓపెన్ సోర్స్ AI మరియు డేటా గవర్నెన్స్ యొక్క భవిష్యత్తును రూపొందించడానికి సెట్ చేయబడిన అనేక కీలక పరిణామాలను చర్చించడానికి.
డేటాబ్రిక్స్ యొక్క గుర్తించదగిన విజయాలలో ఒకటి DBRX మోడల్, ఇది ఓపెన్ లార్జ్ లాంగ్వేజ్ మోడల్స్ (LLMలు) కోసం కొత్త ప్రమాణాన్ని సెట్ చేసింది.
“విడుదల తర్వాత, DBRX స్టాండర్డ్ బెంచ్మార్క్లలో అన్ని ఇతర ప్రముఖ ఓపెన్ మోడల్లను అధిగమించింది మరియు Llama2-70B వంటి మోడల్ల కంటే 2x వేగవంతమైన అనుమితిని కలిగి ఉంది” అని Everts వివరిస్తుంది. “వివిధ సాంకేతిక పురోగతుల కారణంగా ఇది మరింత సమర్థవంతంగా శిక్షణ పొందింది.
“నాణ్యత దృక్కోణం నుండి, DBRX అత్యుత్తమ ఓపెన్-సోర్స్ మోడల్లలో ఒకటి అని మేము విశ్వసిస్తున్నాము మరియు మేము ‘ఉత్తమ’ని సూచించినప్పుడు, భాషా అవగాహన (MMLU), ప్రోగ్రామింగ్ (HumanEval)తో సహా అనేక రకాల పరిశ్రమ బెంచ్మార్క్లను సూచిస్తుంది. మరియు గణితం (GSM8K).”
ఓపెన్-సోర్స్ AI మోడల్ “కొద్దిమంది మోడల్ ప్రొవైడర్లకు మించి కస్టమ్ LLMల శిక్షణను ప్రజాస్వామ్యీకరించడం మరియు ప్రపంచ స్థాయి LLMలకు తమ డేటాపై తక్కువ ఖర్చుతో కూడిన మార్గంలో శిక్షణ ఇవ్వగలదని సంస్థలను చూపించడం” లక్ష్యంగా పెట్టుకుంది.
ఓపెన్ ఎకోసిస్టమ్స్ పట్ల వారి నిబద్ధతకు అనుగుణంగా, డేటాబ్రిక్స్ ఓపెన్ సోర్స్ కూడా చేసింది యూనిటీ కేటలాగ్.
“ఓపెన్-సోర్సింగ్ యూనిటీ కాటలాగ్ క్లౌడ్ ప్లాట్ఫారమ్లలో (ఉదా, AWS, అజూర్) మరియు ఆన్-ప్రిమిస్ ఇన్ఫ్రాస్ట్రక్చర్లలో దాని స్వీకరణను మెరుగుపరుస్తుంది,” అని Everts పేర్కొంది. “ఈ ఫ్లెక్సిబిలిటీ డేటా ఎక్కడ నిల్వ చేయబడిందో లేదా ప్రాసెస్ చేయబడిందనే దానితో సంబంధం లేకుండా డేటా గవర్నెన్స్ విధానాలను ఏకరీతిగా వర్తింపజేయడానికి సంస్థలను అనుమతిస్తుంది.”
యూనిటీ కేటలాగ్ వివిధ లక్షణాల ద్వారా డేటా విస్తరణ మరియు అస్థిరమైన యాక్సెస్ నియంత్రణల సవాళ్లను పరిష్కరిస్తుంది:
- కేంద్రీకృత డేటా యాక్సెస్ నిర్వహణ: “యూనిటీ కేటలాగ్ డేటా ఆస్తుల పాలనను కేంద్రీకరిస్తుంది, సంస్థలు ఏకీకృత పద్ధతిలో యాక్సెస్ నియంత్రణలను నిర్వహించడానికి అనుమతిస్తుంది,” అని ఎవర్ట్స్ పేర్కొంది.
- రోల్-బేస్డ్ యాక్సెస్ కంట్రోల్ (RBAC): Everts ప్రకారం, యూనిటీ కేటలాగ్ “రోల్-బేస్డ్ యాక్సెస్ కంట్రోల్ (RBAC)ని అమలు చేస్తుంది, యూజర్ ప్రొఫైల్ల ఆధారంగా పాత్రలు మరియు అనుమతులను కేటాయించడానికి సంస్థలను అనుమతిస్తుంది.”
- డేటా వంశం మరియు ఆడిటింగ్: ఈ ఫీచర్ “డేటా వినియోగం మరియు డిపెండెన్సీలను పర్యవేక్షించడానికి సంస్థలకు సహాయపడుతుంది, అనవసరమైన లేదా పాత డేటాను గుర్తించడం మరియు తొలగించడం సులభం చేస్తుంది” అని ఎవర్ట్స్ వివరిస్తుంది. ఇది “అన్ని డేటా యాక్సెస్ మరియు మార్పులను లాగ్ చేస్తుంది, డేటా భద్రతా విధానాలకు అనుగుణంగా ఉండేలా ఒక వివరణాత్మక ఆడిట్ ట్రయల్ను అందిస్తుంది” అని అతను జోడించాడు.
- క్రాస్ క్లౌడ్ మరియు హైబ్రిడ్ సపోర్ట్: యూనిటీ కేటలాగ్ “బహుళ క్లౌడ్ మరియు హైబ్రిడ్ పరిసరాలలో డేటా గవర్నెన్స్ని నిర్వహించడానికి రూపొందించబడింది” మరియు “డేటా ఎక్కడ ఉన్నా అది ఏకరీతిగా నిర్వహించబడుతుందని నిర్ధారిస్తుంది” అని ఎవర్ట్స్ అభిప్రాయపడ్డారు.
సంస్థ ప్రవేశపెట్టింది డేటాబ్రిక్స్ AI/BIడేటా అన్వేషణ మరియు విజువలైజేషన్ను మెరుగుపరచడానికి ఉత్పాదక AIని ప్రభావితం చేసే కొత్త వ్యాపార మేధస్సు ఉత్పత్తి. “వ్యాపార వినియోగదారుల ప్రశ్నలకు ప్రభావవంతంగా సమాధానం ఇవ్వడానికి నిజంగా తెలివైన BI సొల్యూషన్ వ్యాపారం యొక్క ప్రత్యేకమైన సెమాంటిక్స్ మరియు సూక్ష్మ నైపుణ్యాలను అర్థం చేసుకోవాలి” అని Everts అభిప్రాయపడ్డారు.
AI/BI వ్యవస్థ రెండు కీలక భాగాలను కలిగి ఉంటుంది:
- డాష్బోర్డ్లు: Everts దీనిని “వేగవంతమైన, ఇంటరాక్టివ్ డ్యాష్బోర్డ్లను సృష్టించడం మరియు పంపిణీ చేయడం కోసం AI-శక్తితో కూడిన, తక్కువ-కోడ్ ఇంటర్ఫేస్”గా వివరిస్తుంది. వీటిలో “విజువలైజేషన్లు, క్రాస్-ఫిల్టరింగ్ మరియు అదనపు నిర్వహణ సేవలు అవసరం లేకుండా ఆవర్తన నివేదికలు వంటి ప్రామాణిక BI ఫీచర్లు” ఉన్నాయి.
- జెనీ: ఎవర్ట్స్ దీనిని “సహజ భాష ద్వారా తాత్కాలిక మరియు తదుపరి ప్రశ్నలను పరిష్కరించడానికి సంభాషణ ఇంటర్ఫేస్”గా వివరిస్తుంది. ఇది “వినియోగదారు ప్రశ్నలకు ప్రతిస్పందనగా అనుకూల విజువలైజేషన్లు మరియు సూచనలను రూపొందించడానికి అంతర్లీన డేటా నుండి నేర్చుకుంటుంది, ఫీడ్బ్యాక్ ద్వారా కాలక్రమేణా మెరుగుపడుతుంది మరియు విశ్లేషకులకు దాని అవుట్పుట్లను మెరుగుపరచడానికి సాధనాలను అందజేస్తుంది” అని ఆయన జోడించారు.
డేటాబ్రిక్స్ AI/BI “మీ డేటా సెమాంటిక్స్పై లోతైన అవగాహనను అందించడానికి, సంస్థలోని ప్రతి ఒక్కరికీ స్వీయ-సేవ డేటా విశ్లేషణను” అందించడానికి రూపొందించబడిందని Everts పేర్కొంది. ఇది “ETL పైప్లైన్లు, వంశం మరియు ఇతర ప్రశ్నలతో సహా సంస్థ యొక్క మొత్తం డేటా స్టాక్లో వినియోగం నుండి నిరంతరం నేర్చుకునే సమ్మేళనం AI సిస్టమ్” ద్వారా శక్తిని పొందుతుందని అతను పేర్కొన్నాడు.
డేటాబ్రిక్స్ను కూడా ఆవిష్కరించారు మొజాయిక్ AIఇది “మెషిన్ లెర్నింగ్ మరియు ఉత్పాదక AI అప్లికేషన్లను నిర్మించడం, అమలు చేయడం మరియు నిర్వహించడం, మెరుగైన పనితీరు మరియు పాలన కోసం ఎంటర్ప్రైజ్ డేటాను సమగ్రపరచడం కోసం ఒక సమగ్ర వేదిక”గా Everts వివరిస్తుంది.
మొజాయిక్ AI అనేక కీలక భాగాలను అందిస్తుంది, ఇది Everts రూపురేఖలు:
- ఏకీకృత సాధనం: “AI మరియు ML సొల్యూషన్లను నిర్మించడం, అమలు చేయడం, మూల్యాంకనం చేయడం మరియు నియంత్రించడం, ప్రిడిక్టివ్ మోడల్లు మరియు ఉత్పాదక AI అప్లికేషన్లకు మద్దతు ఇవ్వడం కోసం సాధనాలను అందిస్తుంది.
- ఉత్పాదక AI నమూనాలు: “ప్రాంప్ట్ ఇంజనీరింగ్, రిట్రీవల్ ఆగ్మెంటెడ్ జనరేషన్ (RAG), ఫైన్-ట్యూనింగ్ మరియు ప్రీ-ట్రైనింగ్కు మద్దతు ఇస్తుంది, వ్యాపార అవసరాలు అభివృద్ధి చెందుతున్నప్పుడు వశ్యతను అందిస్తాయి.”
- కేంద్రీకృత నమూనా నిర్వహణ: “మోడల్ సర్వింగ్ కస్టమ్ ML మోడల్లు మరియు ఫౌండేషన్ మోడల్లతో సహా AI మోడల్ల యొక్క కేంద్రీకృత విస్తరణ, పాలన మరియు ప్రశ్నలను అనుమతిస్తుంది.”
- పర్యవేక్షణ మరియు పాలన: “లేక్హౌస్ మానిటరింగ్ మరియు యూనిటీ కేటలాగ్ AI జీవితచక్రం అంతటా సమగ్ర పర్యవేక్షణ, పాలన మరియు వంశ ట్రాకింగ్ని నిర్ధారిస్తుంది.”
- ఖర్చుతో కూడుకున్న కస్టమ్ LLMలు: “నిర్దిష్ట సంస్థాగత డొమైన్లకు అనుగుణంగా తక్కువ ఖర్చుతో కస్టమ్ లార్జ్ లాంగ్వేజ్ మోడల్లకు శిక్షణ ఇవ్వడం మరియు అందించడం ప్రారంభిస్తుంది.”
ఫౌండేషన్ మోడల్లను ఫైన్-ట్యూనింగ్ చేయడానికి మరియు అనుకూలీకరించడానికి మొజాయిక్ AI యొక్క విధానం “ఇన్-క్లస్టర్ బేస్ మోడల్ క్యాచింగ్ను ఉపయోగించడం,” “లైవ్ ప్రాంప్ట్ మూల్యాంకనం” ద్వారా “వేగవంతమైన ప్రారంభ సమయాలు” వంటి ప్రత్యేక లక్షణాలను కలిగి ఉందని Everts హైలైట్ చేస్తుంది, ఇక్కడ వినియోగదారులు “మోడల్ ప్రతిస్పందనలు ఎలా మారుతున్నాయో ట్రాక్ చేయవచ్చు. శిక్షణ ప్రక్రియ,” మరియు “కస్టమ్ ప్రీ-ట్రైన్డ్ చెక్పాయింట్లకు” మద్దతు.
ఈ ఆవిష్కరణల గుండె వద్ద ఉంది డేటా ఇంటెలిజెన్స్ ప్లాట్ఫారమ్ఇది “ఎంటర్ప్రైజ్ డేటా సెమాంటిక్స్లో లోతైన అంతర్దృష్టులను పొందడానికి AI మోడల్లను ఉపయోగించడం ద్వారా డేటా మేనేజ్మెంట్ను మారుస్తుంది” అని ఎవర్ట్స్ చెప్పింది. ప్లాట్ఫారమ్ డేటా లేక్లు మరియు డేటా వేర్హౌస్ల లక్షణాలను మిళితం చేస్తుంది, రియల్ టైమ్ డేటా ప్రాసెసింగ్ కోసం డెల్టా లేక్ టెక్నాలజీని ఉపయోగిస్తుంది మరియు సంస్థాగత సరిహద్దుల్లో సురక్షితమైన డేటా మార్పిడి కోసం డెల్టా షేరింగ్ను కలిగి ఉంటుంది.
అందించడం ద్వారా కొత్త AI మరియు డేటా-షేరింగ్ కార్యక్రమాలకు మద్దతు ఇవ్వడంలో డేటా ఇంటెలిజెన్స్ ప్లాట్ఫారమ్ కీలక పాత్ర పోషిస్తుందని Everts వివరిస్తుంది:
- ఏకీకృత డేటా మరియు AI ప్లాట్ఫారమ్ “డేటా లేక్లు మరియు డేటా వేర్హౌస్ల లక్షణాలను ఒకే ఆర్కిటెక్చర్గా మిళితం చేస్తుంది.”
- రియల్ టైమ్ డేటా ప్రాసెసింగ్ కోసం డెల్టా లేక్“విశ్వసనీయమైన డేటా గవర్నెన్స్, ACID లావాదేవీలు మరియు నిజ-సమయ డేటా ప్రాసెసింగ్”ను నిర్ధారిస్తుంది.
- సహకారం మరియు డేటా భాగస్వామ్యం డెల్టా షేరింగ్ ద్వారా, “సంస్థ సరిహద్దుల్లో సురక్షితమైన మరియు ఓపెన్ డేటా షేరింగ్”ని ప్రారంభిస్తుంది.
- మెషిన్ లెర్నింగ్ మరియు AI మోడల్ డెవలప్మెంట్ కోసం ఇంటిగ్రేటెడ్ సపోర్ట్ MLflow, PyTorch మరియు TensorFlow వంటి ప్రసిద్ధ లైబ్రరీలతో.
- స్కేలబిలిటీ మరియు పనితీరు దాని క్లౌడ్-నేటివ్ ఆర్కిటెక్చర్ మరియు ఫోటాన్ ఇంజిన్ ద్వారా, “ఒక ఆప్టిమైజ్డ్ క్వెరీ ఎగ్జిక్యూషన్ ఇంజిన్.”
కీలక స్పాన్సర్గా AI & బిగ్ డేటా ఎక్స్పో యూరోప్డేటాబ్రిక్స్ ఈవెంట్ సమయంలో వారి ఓపెన్ సోర్స్ AI మరియు డేటా గవర్నెన్స్ సొల్యూషన్లను ప్రదర్శించాలని యోచిస్తోంది.
“మా స్టాండ్లో, హగ్గింగ్ ఫేస్ నుండి ఓపెన్ సోర్స్ మోడల్లు మరియు యూనిటీ కేటలాగ్ నుండి డేటాను ఉపయోగించి మొదటి నుండి కస్టమ్ GenAI యాప్ – Lakehouse యాప్లతో ఎలా సృష్టించాలో మరియు అమలు చేయాలో కూడా మేము ప్రదర్శిస్తాము” అని Everts చెప్పారు.
“మా GenAI యాప్తో మీరు మీ స్వంత కార్టూన్ చిత్రాన్ని రూపొందించవచ్చు, అన్నీ డేటా ఇంటెలిజెన్స్ ప్లాట్ఫారమ్లో నడుస్తాయి.”
డేటాబ్రిక్స్ ఈ సంవత్సరం వారి నైపుణ్యాన్ని మరింత పంచుకుంటారు AI & బిగ్ డేటా ఎక్స్పో యూరోప్. ఓపెన్ AI మరియు డేటా గవర్నెన్స్ని మెరుగుపరచడం గురించి మరింత తెలుసుకోవడానికి స్టాండ్ #280 వద్ద డేటాబ్రిక్స్ బూత్ ద్వారా స్వింగ్ చేయండి.
TechForge ద్వారా అందించబడే ఇతర రాబోయే ఎంటర్ప్రైజ్ టెక్నాలజీ ఈవెంట్లు మరియు వెబ్నార్లను అన్వేషించండి ఇక్కడ.
