NVIDIA NeMo Framework

ዝርዝሮች

• የምርት ስም: NVIDIA NeMo Framework
• የተጎዱ መድረኮች፡ ዊንዶውስ ፣ ሊኑክስ ፣ ማክሮስ
• የተጎዱ ስሪቶች፡ ከ 24 በፊት ሁሉም ስሪቶች
• የደህንነት ተጋላጭነት፡- CVE-2025-23360
• የአደጋ ግምገማ መነሻ ነጥብ፡- 7.1 (CVSS v3.1)

የምርት አጠቃቀም መመሪያዎች

የደህንነት ዝማኔ ጭነት፡-
ስርዓትዎን ለመጠበቅ የሚከተሉትን ደረጃዎች ይከተሉ።

1. በGitHub ላይ ካለው የNeMo-Framework-Launcher ልቀቶች ገጽ የቅርብ ጊዜውን የተለቀቀውን ያውርዱ።
2. ለበለጠ መረጃ ወደ NVIDIA የምርት ደህንነት ይሂዱ።

የደህንነት ዝማኔ ዝርዝሮች፡-
የደህንነት ዝማኔው በNVDIA NeMo Framework ውስጥ ወደ ኮድ አፈፃፀም እና ውሂብ ሊመራ የሚችል ተጋላጭነትን ይመለከታል።ampኢሪንግ።

የሶፍትዌር ማላቅ
ቀደም ሲል የቅርንጫፍ መልቀቅን እየተጠቀሙ ከሆነ የደህንነት ችግሮችን ለመፍታት ወደ የቅርብ ጊዜው የቅርንጫፍ ልቀት ማሻሻል ይመከራል።

አልቋልview

NVIDIA NeMo Framework ለተመራማሪዎች እና ለሚሰሩ ገንቢዎች የተሰራ ሊሰፋ የሚችል እና ደመና-ተወላጅ የሆነ AI ማዕቀፍ ነው ትላልቅ የቋንቋ ሞዴሎች, መልቲሞዳል እና ንግግር AI (ለምሳሌ ራስ-ሰር የንግግር እውቅና እና ጽሑፍ-ወደ-ንግግር). ነባሩን ኮድ እና ቀድሞ የሰለጠኑ የሞዴል ፍተሻ ነጥቦችን በመጠቀም ተጠቃሚዎችን በብቃት እንዲፈጥሩ፣ እንዲያበጁ እና አዳዲስ አመንጪ AI ሞዴሎችን እንዲያሰማሩ ያስችላቸዋል።

የማዋቀር መመሪያዎች: NeMo Frameworkን ጫን

ትልቅ የቋንቋ ሞዴሎች እና መልቲሞዳል ሞዴሎች
NeMo Framework ትላልቅ የቋንቋ ሞዴሎችን (LLMs) እና መልቲ ሞዳል ሞዴሎችን (ኤምኤምኤስ) ለማዘጋጀት ከጫፍ እስከ ጫፍ ድጋፍ ይሰጣል። በግቢው ላይ፣ በውሂብ-ማእከል ውስጥ ወይም ከመረጡት የደመና አቅራቢ ጋር ለመጠቀም ምቹነትን ይሰጣል። እንዲሁም በSLURM ወይም Kubernetes የነቃላቸው አካባቢዎች ላይ መፈጸምን ይደግፋል።

የውሂብ መጠበቂያ
NeMo Curator [1] ለዳታ ማዕድን እና ሰው ሰራሽ ዳታ ማመንጨት የሞጁሎችን ስብስብ ያካተተ የፓይዘን ቤተ-መጽሐፍት ነው። ሊለኩ የሚችሉ እና ለጂፒዩዎች የተመቻቹ ናቸው፣ይህም ኤልኤልኤምዎችን ለማሰልጠን ወይም ለማስተካከል የተፈጥሮ ቋንቋ መረጃን ለመቅዳት ተስማሚ ያደርጋቸዋል። በNeMo Curator ከፍተኛ ጥራት ያለው ጽሑፍን ከብዙ ጥሬ በብቃት ማውጣት ይችላሉ። web የውሂብ ምንጮች.

ስልጠና እና ማበጀት

NeMo Framework ለተቀላጠፈ ስልጠና እና ማበጀት መሳሪያዎችን ያቀርባል LLMs እና መልቲሞዳል ሞዴሎች. በአዳዲስ የመረጃ ስብስቦች እና ሞዴሎች ላይ ለማሰልጠን የሚስተካከሉ የኮምፒዩተር ክላስተር ማዋቀር፣ ውሂብ ማውረድ እና የሞዴል hyperparameters ነባሪ ውቅሮችን ያካትታል። ከቅድመ-ሥልጠና በተጨማሪ፣ NeMo እንደ LoRA፣ Ptuning እና ሌሎችም ሁለቱንም Supervised Fine-Tuning (SFT) እና Parameter Efficient Fine-Tuning (PEFT) ቴክኒኮችን ይደግፋል።

በNeMo ውስጥ ስልጠና ለመጀመር ሁለት አማራጮች አሉ - የNeMo 2.0 API በይነገጽን በመጠቀም ወይም በNeMo Run።

• በNeMo Run (የሚመከር) NeMo Run ውቅረትን፣ አፈጻጸምን እና በተለያዩ የኮምፒዩተር አካባቢዎች ላይ ያሉ ሙከራዎችን ለማቀላጠፍ በይነገጽ ያቀርባል። ይህ በአካባቢዎ ወይም በትላልቅ ስብስቦች - ሁለቱም SLURM የነቃ ወይም Kubernetes በደመና አካባቢ ላይ ስራዎችን መጀመርን ያካትታል።
  • ቅድመ-ስልጠና እና PEFT Quickstart በNeMo Run
• NeMo 2.0 APIን በመጠቀም፡- ይህ ዘዴ ትንንሽ ሞዴሎችን በሚያካትተው ቀላል ቅንብር ወይም የራስዎን ብጁ ዳታ ጫኚ፣ የስልጠና loops ወይም የሞዴል ንብርብሮችን ለመቀየር ፍላጎት ካሎት ጋር በደንብ ይሰራል። በውቅረቶች ላይ የበለጠ ተለዋዋጭነት እና ቁጥጥር ይሰጥዎታል፣ እና ውቅሮችን በፕሮግራም ለማራዘም እና ለማበጀት ቀላል ያደርገዋል።
  • ትራፈጣን ማስጀመሪያን ከNeMo 2.0 ኤ.ፒ.አይ
  • ከNeMo 1.0 ወደ NeMo 2.0 API በመሰደድ ላይ

አሰላለፍ

• NeMo-Aligner [1] ለተቀላጠፈ ሞዴል አሰላለፍ ሊሰፋ የሚችል መሳሪያ ነው። የመሳሪያ ኪቱ ለዘመናዊ የሞዴል አሰላለፍ ስልተ ቀመሮች እንደ SteerLM፣ DPO፣ ማጠናከሪያ ከሰው አስተያየት (RLHF) እና ሌሎችም ብዙ ድጋፍ አለው። እነዚህ ስልተ ቀመሮች ተጠቃሚዎች የቋንቋ ሞዴሎችን የበለጠ ደህንነታቸው የተጠበቀ፣ ምንም ጉዳት የሌላቸው እና አጋዥ እንዲሆኑ እንዲያመቹ ያስችላቸዋል።
• ሁሉም የNeMo-Aligner የፍተሻ ነጥቦች ከNeMo ሥነ-ምህዳር ጋር ተኳሃኝ ናቸው፣ ይህም ለበለጠ ማበጀት እና ኢንፍረንስ ማሰማራት ያስችላል።

በትንሽ GPT-2B ሞዴል የሁሉም የሶስቱም የRLHF ደረጃዎች ደረጃ በደረጃ የስራ ሂደት፡-

• የ SFT ስልጠና
• የሽልማት ሞዴል ስልጠና
• የ PPO ስልጠና

በተጨማሪም፣ ለተለያዩ ሌሎች ልብ ወለድ አሰላለፍ ዘዴዎች ድጋፍ እናሳያለን፡-

• DPOከ RLHF ጋር ሲነጻጸር ቀላል ክብደት ያለው አሰላለፍ ስልተ ቀመር ከቀላል ኪሳራ ተግባር ጋር።
• ራስን መጫወት ጥሩ ማስተካከያ (SPIN)
• SteerLM፡ በኮንዲሽናል-ኤስኤፍቲ ላይ የተመሰረተ ቴክኒክ፣ ሊንቀሳቀስ የሚችል ውጤት ያለው።

ለበለጠ መረጃ ሰነዱን ይመልከቱ፡- አሰላለፍ ሰነድ

የመልቲሞዳል ሞዴሎች

• NeMo Framework ዘመናዊ የመልቲሞዳል ሞዴሎችን በተለያዩ ምድቦች ለማሰልጠን እና ለማሰማራት የተመቻቸ ሶፍትዌሮችን ያቀርባል፡ መልቲ ሞዳል የቋንቋ ሞዴሎች፣ ራዕይ-ቋንቋ መሠረቶች፣ ከጽሑፍ ወደ ምስል ሞዴሎች እና ከ 2D Generation ባሻገር የነርቭ ራዲያንስ መስኮችን (ኒአርኤፍ) በመጠቀም።
• እያንዳንዱ ምድብ የተነደፈው በመስክ ውስጥ ያሉ ልዩ ፍላጎቶችን እና እድገቶችን ለማሟላት ነው, ጽሑፍን, ምስሎችን እና 3D ሞዴሎችን ጨምሮ ብዙ አይነት የውሂብ አይነቶችን ለማስተናገድ ቆራጥ የሆኑ ሞዴሎችን ይጠቀማል.

ማሰማራት እና ማገናዘብ
NeMo Framework ለተለያዩ የማሰማራት ሁኔታዎች እና የአፈጻጸም ፍላጎቶችን በማስተናገድ ለኤልኤልኤም ግንዛቤ የተለያዩ መንገዶችን ይሰጣል።

ከ NVIDIA NIM ጋር አሰማራ

• NeMo Framework ከኢንተርፕራይዝ ደረጃ ሞዴል ማሰማሪያ መሳሪያዎች ጋር በኒቪዲ ኤንኤም በኩል ያለምንም ችግር ይዋሃዳል። ይህ ውህደት በNVadi TensorRT-LLM የተጎለበተ ሲሆን ይህም የተመቻቸ እና ሊሰፋ የሚችል ግንዛቤን ያረጋግጣል።
• ስለ NIM ተጨማሪ መረጃ ለማግኘት NVIDIA ን ይጎብኙ webጣቢያ.

በ TensorRT-LLM ወይም vLLM ያሰማሩ

• NeMo Framework ሞዴሎችን ወደ ሁለት ግምታዊ የተመቻቹ ቤተ-መጻሕፍት TensorRT-LLM እና vLLM ለመላክ ስክሪፕቶችን እና ኤፒአይዎችን ያቀርባል እና ወደ ውጭ የተላከውን ሞዴል ከNVadi Triton Inference Server ጋር ለማሰማራት ያቀርባል።
• የተሻሻለ አፈጻጸም ለሚፈልጉ ሁኔታዎች፣ የNeMo ሞዴሎች በNVadi ጂፒዩዎች ላይ የኤልኤልኤም መረጃን ለማፋጠን እና ለማሻሻል ልዩ ቤተ-መጽሐፍትን TensorRT-LLMን መጠቀም ይችላሉ። ይህ ሂደት የኔሞ ሞዴሎችን የ nemo.export ሞጁሉን በመጠቀም ከ TensorRT-LLM ጋር ተኳሃኝ የሆነ ቅርጸት መቀየርን ያካትታል።
  • የኤል.ኤም.ኤል ማሰማራት አልቋልview
  • የNeMo ትላልቅ የቋንቋ ሞዴሎችን ከNIM ጋር ያሰማሩ
  • የNeMo ትላልቅ የቋንቋ ሞዴሎችን በ TensorRT-LLM ያሰማሩ
  • የNeMo ትላልቅ የቋንቋ ሞዴሎችን ከvLLM ጋር አሰማር

የሚደገፉ ሞዴሎች

ትላልቅ የቋንቋ ሞዴሎች

ትላልቅ የቋንቋ ሞዴሎች

ትላልቅ የቋንቋ ሞዴሎች	ቅድመ ስልጠና እና SFT	PEFT	አሰላለፍ	FP8 የስልጠና ውህደት	TRT/TRTLLM	ወደ እና ከማቀፍ ፊት ቀይር	ግምገማ
ላማ3 8ቢ/70ቢ፣ላማ3.1 405ቢ	አዎ	አዎ	x	አዎ (በከፊል የተረጋገጠ)	አዎ	ሁለቱም	አዎ
ቅልቅል 8x7B/8x22B	አዎ	አዎ	x	አዎ (ያልተረጋገጠ)	አዎ	ሁለቱም	አዎ
Nemotron 3 8B	አዎ	x	x	አዎ (ያልተረጋገጠ)	x	ሁለቱም	አዎ
Nemotron 4 340B	አዎ	x	x	አዎ (ያልተረጋገጠ)	x	ሁለቱም	አዎ
ባይቹዋን2 7ቢ	አዎ	አዎ	x	አዎ (ያልተረጋገጠ)	x	ሁለቱም	አዎ
ChatGLM3 6B	አዎ	አዎ	x	አዎ (ያልተረጋገጠ)	x	ሁለቱም	አዎ
Gemma 2B/7B	አዎ	አዎ	x	አዎ (ያልተረጋገጠ)	አዎ	ሁለቱም	አዎ
Gemma2 2B/9B/27B	አዎ	አዎ	x	አዎ (ያልተረጋገጠ)	x	ሁለቱም	አዎ
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	አዎ	አዎ	x	አዎ (ያልተረጋገጠ)	x	x	አዎ
ፊ3 ሚኒ 4 ኪ	x	አዎ	x	አዎ (ያልተረጋገጠ)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	አዎ	አዎ	x	አዎ (ያልተረጋገጠ)	አዎ	ሁለቱም	አዎ
ስታርኮደር 15 ቢ	አዎ	አዎ	x	አዎ (ያልተረጋገጠ)	አዎ	ሁለቱም	አዎ
ስታርኮደር2 3ቢ/7ቢ/15ቢ	አዎ	አዎ	x	አዎ (ያልተረጋገጠ)	አዎ	ሁለቱም	አዎ
BERT 110M/340M	አዎ	አዎ	x	አዎ (ያልተረጋገጠ)	x	ሁለቱም	x
T5 220M/3B/11B	አዎ	አዎ	x	x	x	x	x

 

ራዕይ የቋንቋ ሞዴሎች

 

ሞዴሎችን መክተት

 

የዓለም ፋውንዴሽን ሞዴሎች

ማስታወሻ
NeMo ለሁለቱም ስርጭቶች እና ራስ-ሰር አርክቴክቸር ቅድመ ስልጠናን ይደግፋል text2world የመሠረት ሞዴሎች.

ንግግር AI

የውይይት AI ሞዴሎችን ማዘጋጀት በተወሰኑ ጎራዎች ውስጥ ሞዴሎችን መግለጽ፣ መገንባት እና ማሰልጠንን የሚያካትት ውስብስብ ሂደት ነው። ከፍተኛ ትክክለኛነትን ለመድረስ ይህ ሂደት በተለምዶ ብዙ ድግግሞሾችን ይፈልጋል። ብዙውን ጊዜ ከፍተኛ ትክክለኛነትን ለማግኘት ብዙ ድግግሞሾችን ያካትታል፣ በተለያዩ ስራዎች እና ጎራ-ተኮር መረጃዎች ላይ በጥሩ ሁኔታ ማስተካከል፣ የስልጠና አፈጻጸምን ማረጋገጥ እና ለግንዛቤ ማሰማራት ሞዴሎችን ማዘጋጀት።

NeMo Framework የንግግር AI ሞዴሎችን ለማሰልጠን እና ለማበጀት ድጋፍ ይሰጣል። ይህ እንደ ራስ-ሰር የንግግር ማወቂያ (ASR) እና የጽሑፍ-ወደ-ንግግር (TTS) ውህደትን ያካትታል። ከNVadi Riva ጋር ወደ ኢንተርፕራይዝ ደረጃ የምርት ማሰማራት ለስላሳ ሽግግር ያቀርባል። ገንቢዎችን እና ተመራማሪዎችን ለማገዝ የNeMo Framework እጅግ በጣም ዘመናዊ የሆኑ ቅድመ-የሰለጠኑ የፍተሻ ነጥቦችን፣ ለተደጋጋሚ የንግግር መረጃን ለማቀናበር የሚረዱ መሳሪያዎችን እና የንግግር ዳታ ስብስቦችን በይነተገናኝ አሰሳ እና ትንተና ባህሪያትን ያካትታል። የNeMo Framework for Speech AI ክፍሎች የሚከተሉት ናቸው፡-

ስልጠና እና ማበጀት
NeMo Framework የንግግር ሞዴሎችን ለማሰልጠን እና ለማበጀት የሚያስፈልጉትን ነገሮች ሁሉ ይዟል (ASR, የንግግር ምደባ, የተናጋሪ እውቅና, የድምጽ ማጉያ ማጣራት, እና ቲ.ቲ.ኤስ) ሊባዛ በሚችል መልኩ።

SOTA አስቀድሞ የሰለጠኑ ሞዴሎች

• NeMo Framework እጅግ ዘመናዊ የሆኑ የምግብ አዘገጃጀት መመሪያዎችን እና የበርካታ ቅድመ-የሰለጠኑ የፍተሻ ነጥቦችን ያቀርባል ASR እና ቲ.ቲ.ኤስ ሞዴሎች, እንዲሁም እንዴት እንደሚጫኑ መመሪያዎች.
• የንግግር መሳሪያዎች
• NeMo Framework የሚከተሉትን ጨምሮ ASR እና TTS ሞዴሎችን ለማዘጋጀት ጠቃሚ የሆኑ መሳሪያዎችን ያቀርባል፡-
  • NeMo የግዳጅ አሰላለፍ (ኤንኤፍኤ) ማስመሰያ-፣ ቃል- እና ክፍል-ደረጃ ጊዜስታትን ለማመንጨትampበNeMo's CTC ላይ የተመሰረተ አውቶማቲክ የንግግር ማወቂያ ሞዴሎችን በመጠቀም በድምጽ ውስጥ ያለ ንግግር።
  • የንግግር ውሂብ ፕሮሰሰር (ኤስዲፒ)የንግግር ውሂብ ሂደትን ለማቃለል የሚያስችል መሣሪያ። በማዋቀር ውስጥ የውሂብ ማስኬጃ ስራዎችን እንዲወክሉ ያስችልዎታል file፣ የቦይለር ሰሌዳ ኮድን በመቀነስ እና እንደገና መባዛትን እና መጋራትን መፍቀድ።
  • የንግግር ዳታ አሳሽ (SDE)በ Dash ላይ የተመሠረተ web የንግግር ዳታ ስብስቦችን በይነተገናኝ ፍለጋ እና ትንተና መተግበሪያ።
  • የውሂብ ስብስብ መፍጠር መሣሪያ ረጅም ኦዲዮን ለማቀናጀት ተግባራዊነትን ያቀርባል fileከተዛማጅ ቅጂዎች ጋር እና ለአውቶማቲክ የንግግር ማወቂያ (ASR) ሞዴል ስልጠና ተስማሚ ወደሆኑ አጫጭር ቁርጥራጮች ይከፋፍሏቸው።
  • የንጽጽር መሣሪያ ለ ASR ሞዴሎች የተለያዩ የ ASR ሞዴሎችን ትንበያ በቃላት ትክክለኛነት እና በንግግር ደረጃ ለማነፃፀር።
  • ASR ገምጋሚ የ ASR ሞዴሎችን አፈጻጸም ለመገምገም እና እንደ የድምጽ እንቅስቃሴ ማወቅን የመሳሰሉ ሌሎች ባህሪያትን ለመገምገም.
  • የጽሑፍ መደበኛ መሣሪያ ጽሑፍን ከጽሑፍ ፎርም ወደ የንግግር ቅፅ ለመለወጥ እና በተቃራኒው (ለምሳሌ "31 ኛ" vs "ሠላሳ መጀመሪያ").
• ወደ ማሰማራት መንገድ
• NeMo Frameworkን ተጠቅመው የሰለጠኑ ወይም የተበጁ የNeMo ሞዴሎች ተመቻችተው በNVDIA Riva ሊሰማሩ ይችላሉ። ሪቫ ​​በተለይ የግፋ አዝራር ማሰማራት ደረጃዎችን በራስ-ሰር ለማድረግ የተነደፉ ኮንቴይነሮችን እና የ Helm ቻርቶችን ያቀርባል።

ሌሎች መርጃዎች

GitHub Repos

• NeMoየNeMo Framework ዋና ማከማቻ
• NeMo–ሩጡየማሽን መማሪያ ሙከራዎችን ለማዋቀር፣ ለማስጀመር እና ለማስተዳደር መሳሪያ።
• NeMo-Aligner፡ ለተቀላጠፈ ሞዴል አሰላለፍ ሊለካ የሚችል መሣሪያ ስብስብ
• NeMo- Curator ሊለካ የሚችል የውሂብ ቅድመ-ማቀነባበር እና መጠበቂያ መሣሪያ ስብስብ ለኤል.ኤም.ኤም

እርዳታ በማግኘት ላይ
ከNeMo ማህበረሰብ ጋር ይሳተፉ፣ ጥያቄዎችን ይጠይቁ፣ ድጋፍ ያግኙ ወይም ስህተቶችን ሪፖርት ያድርጉ።

• NeMo ውይይቶች
• የNeMo ጉዳዮች

የፕሮግራም አወጣጥ ቋንቋዎች እና ማዕቀፎች

• ፒዘንNeMo Frameworkን ለመጠቀም ዋናው በይነገጽ
• ፒቶርች: NeMo Framework የተሰራው በፒቶርች ላይ ነው።

ፍቃዶች

• NeMo Github repo በApache 2.0 ፍቃድ ስር ፍቃድ ተሰጥቶታል።
• NeMo Framework በNVDIA AI PRODUCT Agreement ስር ፍቃድ ተሰጥቶታል። መያዣውን በመጎተት እና በመጠቀም የዚህን ፈቃድ ውሎች እና ሁኔታዎች ይቀበላሉ።
• የNeMo Framework መያዣ በMeta Llama3 የማህበረሰብ ፍቃድ ስምምነት የሚተዳደሩ የላማ ቁሳቁሶችን ይዟል።

የግርጌ ማስታወሻዎች
በአሁኑ ጊዜ የNeMo Curator እና NeMo Aligner ድጋፍ ለመልቲሞዳል ሞዴሎች በሂደት ላይ ያለ እና በቅርብ ጊዜ ውስጥ የሚገኝ ይሆናል።

የሚጠየቁ ጥያቄዎች

ጥ፡ ስርዓቴ በተጋላጭነት የተጎዳ መሆኑን እንዴት ማረጋገጥ እችላለሁ?
መ፡ የተጫነውን የNVDIA NeMo Framework ስሪት በማረጋገጥ ስርዓትዎ የተጎዳ መሆኑን ማረጋገጥ ይችላሉ። ከስሪት 24 በታች ከሆነ የእርስዎ ስርዓት ለአደጋ የተጋለጠ ሊሆን ይችላል።

ጥ: የደህንነት ጉዳይ CVE-2025-23360 ማን ሪፖርት አድርጓል?
መ: የደህንነት ጉዳይ በ Or Peles - JFrog Security ሪፖርት ተደርጓል። ኒቪዲ የእነሱን አስተዋፅዖ እውቅና ሰጥቷል።

ጥ፡ የወደፊት የደህንነት ማስታወቂያ ማሳወቂያዎችን እንዴት መቀበል እችላለሁ?
መ፡ ለደህንነት ማስታወቂያ ማስታወቂያ ለመመዝገብ እና ስለምርት ደህንነት ዝመናዎች ለማወቅ የNVDIA Product Security ገፅን ይጎብኙ።

ሰነዶች / መርጃዎች

NVIDIA NeMo Framework [pdf] የተጠቃሚ መመሪያ NeMo Framework፣ NeMo፣ Framework

ዋቢዎች

• የተጠቃሚ መመሪያ