intel የ BERT-ትልቅ ግምት የተጠቃሚ መመሪያን እስከ 4.96 ጊዜ ማሳካት

እስከ 4.96 ጊዜ የ BERT-ትልቅ ግምት
የተጠቃሚ መመሪያ

ይዘቶች መደበቅ

1 ከ BERT-ትልቅ ግምት እስከ 4.96 ጊዜ ማሳካት

2 M6i ምሳሌዎች ከ64 vCPUs ጋር

ከ BERT-ትልቅ ግምት እስከ 4.96 ጊዜ ማሳካት

M6i ምሳሌዎች AWS Graviton6 ፕሮሰሰሮችን የሚያሳዩ ከM2g ምሳሌዎች የበለጠ የማመዛዘን ስራ አከናውነዋል።
የተፈጥሮ ቋንቋ ማሽን መማሪያ የስራ ጫናዎች በቻትቦቶች እና በሌሎች የንግድ መተግበሪያዎች ስር ናቸው። እነዚህ የሥራ ጫናዎች በደንበኞች እና በሌሎች ተጠቃሚዎች የተተየቡ ጽሑፎችን ሲተነትኑ፣ በኮምፒዩተር ሀብቶች ላይ ከባድ ፍላጎቶችን ሊጨምሩ ይችላሉ። ይህ ከፍተኛ አፈፃፀም የሚሰጡ የደመና ሁኔታዎችን መምረጥ አስፈላጊ ያደርገዋል።
BERT-Large የሁለት አማዞን አፈጻጸም ለመለካት የመረጥነው አጠቃላይ ዓላማ የተፈጥሮ ቋንቋ ማቀነባበሪያ (NLP) ሞዴል ነው። Web አገልግሎቶች (AWS) EC2 የደመና ምሳሌ ዓይነቶች። ሁለት መጠኖችን M6i ምሳሌዎችን ከ3ኛ Gen Intel Xeon Scalable ፕሮሰሰር እና M6g ምሳሌዎችን በAWS Graviton2 ፕሮሰሰር ሞክረናል።
ሁለቱም 32-vCPU እና 64-vCPU M6i ምሳሌዎች ከ3ኛ Gen Intel Xeon Scalable ፕሮሰሰር ከM6g አቻዎቻቸው ጋር ብልጫ እንዳላቸው አግኝተናል። የኛ ግኝቶች ንግዶች M6i ምሳሌዎችን በመምረጥ ለተጠቃሚዎቻቸው ፈጣን ልምድን ማድረስ እንደሚችሉ ያሳያሉ። በተጨማሪም፣ በሚታተምበት ጊዜ፣ የM6i ተከታታይ ቪኤምዎች ከM24.6g ተከታታይ ቪኤምኤስ በ6% የበለጠ ወጪ ሲጠይቁ፣ የM6i ምሳሌዎች - አፈፃፀሙ እስከ 4.96 ጊዜ የሚደርስ ውጤት ያለው - በአንድ ዶላር በከፍተኛ ሁኔታ የተሻለ አፈጻጸም ያቀርባሉ።

M6i ምሳሌዎች ከ32 vCPUs ጋር
የሁለቱን AWS ምሳሌ ተከታታዮች የBERT-ትልቅ ግምት አፈጻጸምን ለማነፃፀር፣የ TensorFlow ማዕቀፍን ተጠቀምን። ሁለት ትክክለኛ ደረጃዎችን ሞክረናል፡ FP32፣ ሁለቱም ተከታታይ ቪኤምኤስ የሚደግፉት እና INT8፣ M6i ተከታታይ በተጠቀምንባቸው ሞዴሎች ብቻ የሚደግፈው። ምስል 1 እንደሚያሳየው፣ የ 32-v ሲፒዩ m6i.8xlarge ምሳሌዎች የ INT8 ትክክለኛነትን በመጠቀም FP4.96 ትክክለኛነትን በመጠቀም 6 እጥፍ የ m8g.32xlarge ምሳሌዎችን አሳልፈዋል።

አንጻራዊ 32-vCPU BERT-ትልቅ የግንዛቤ አፈጻጸም
ፍጥነት | ከፍ ያለ ይሻላል

ምስል 1. BERT-ትልቅ የማመዛዘን አፈጻጸም በ m6i.8xlarge ለምሳሌ ክላስተር ከ3ኛ ጋር የተገኘ
Gen Intel Xeon Scalable ፕሮሰሰር እና በ m6g.8xlarge ለምሳሌ ክላስተር ከ AWS Graviton2 ፕሮሰሰር ጋር። ከፍ ያለ ይሻላል።

BERT-ትልቅ

እስከ 4.96 ጊዜ የBERT-ትልቅ ግምት ስራ (INT8 ትክክለኛነት) ከ32-vCPU m6i.8xlarge ምሳሌዎች ጋር 3ኛ Gen Intel Xeon Scalable ፕሮሰሰሮችን አሳይ።
ከ FP32 ትክክለኛነት ከ m6g.8xlarge ምሳሌዎች ጋር

እስከ 3.07 ጊዜ የBERT-ትልቅ ግምት ስራ (INT8 ትክክለኛነት) ከ64-vCPU m6i.16xትልቅ አጋጣሚዎች ጋር 3ኛ Gen Intel Xeon Scalable ፕሮሰሰሮችን አሳይ።
ከ FP32 ትክክለኛነት ከ m6g.16xlarge ምሳሌዎች ጋር

M6i ምሳሌዎች ከ64 vCPUs ጋር

ምስል 2 እንደሚያሳየው፣ 64-vCPU m6i.16xlarge ምሳሌዎች INT3 ትክክለኛነትን በመጠቀም ከ8ኛ Gen Intel® Xeon® Scalable ፕሮሰሰር ጋር FP3.07 ትክክለኛነትን በመጠቀም የ m6g.16xlarge ምሳሌዎችን አፈጻጸም 2 ጊዜ አሳልፈዋል።
ማስታወሻ፡- ለAWS Graviton2 ፕሮሰሰር የተጠቀምነው BERT-ትልቅ ሞዴል በTensorFlow ላይ INT8ን አይደግፍም።

ማጠቃለያ

የ BERT-ትልቅ የተፈጥሮ ቋንቋን ማቀናበሪያ የፍተሻ አፈጻጸምን የሁለት AWS ምሳሌዎችን ፈትነናል፡ M6i ምሳሌዎች 3ኛን ያሳዩ
Gen Intel Xeon Scalable ፕሮሰሰር እና M6g አብነቶች AWS Graviton2 ፕሮሰሰር ያሳዩ። በሁለት የተለያዩ መጠኖች፣ የM6i ምሳሌዎች ከM6g ምሳሌዎችን በልጠው በማሳየት እስከ 4.96 ጊዜ የማመዛዘን ስራ አስገኝተዋል። ፈጣን ልምድን ለደንበኞችዎ እና ለሌሎች ተጠቃሚዎች ለማድረስ፣ የእርስዎን የNLP ግምት የስራ ጫናዎች በAWS M6i አጋጣሚዎች ከ3ኛ Gen Intel Xeon Scalable ፕሮሰሰር ጋር ያሂዱ።
የበለጠ ተማር
የእርስዎን የNLP ግምት የስራ ጫናዎች በAWS M6i ምሳሌዎች ከ3ኛ Gen Intel Xeon Scalable ፕሮሰሰር ጋር ማሄድ ለመጀመር፣ ይጎብኙ https://aws.amazon.com/ec2/instance-types/m6i/.
ነጠላ ቪኤም ሙከራዎች በኢንቴል በ11/10/2021 እና በ12/01/2021። በኡቡንቱ 20.04 LTS፣ 5.11.0-1022-aws፣ EBS ማከማቻ፣ GCC=8.4.0፣ Python=3.6.9፣ tensorflow=2.5.0፣ Docker=20.10.7፣ የተዋቀሩ ሁሉም ቪኤምዎች
containerd=1.5.5፣ BERT ሞዴል፣ ባች መጠን 1፣ ተከታታይ ርዝመት 384፣ FP32 እና INT8 ትክክለኛነት። የአብነት ዝርዝሮች፡ m6i.8xlarge፣ 32vcpus፣ Intel® Xeon® Platinum 8375C CPU @ 2.90GHz፣ 128GB አጠቃላይ DDR4 ማህደረ ትውስታ; m6g.8xlarge፣ 32vcpus፣ ARM Neovers N1፣ Arm v8.2 @2.5GHz፣ 128GB ጠቅላላ DDR4 ማህደረ ትውስታ; m6i.16xlarge, 64vcpus, Intel® Xeon® ፕላቲነም 8375C ሲፒዩ @ 2.90GHz, 256 ጂቢ ጠቅላላ DDR4 ትውስታ; m6g.16xlarge፣ 64vcpus፣ ARM Neovers N1፣ Arm v8.2 @2.5GHz፣ 256GB አጠቃላይ DDR4 ማህደረ ትውስታ።

አፈፃፀም በአጠቃቀም ፣ በማዋቀር እና በሌሎች ምክንያቶች ይለያያል። የበለጠ ለመረዳት በ www.Intel.com/PerformanceIndex.
የአፈጻጸም ውጤቶቹ በቅንጅቶች ውስጥ እንደሚታየው በሙከራ ላይ የተመሰረቱ ናቸው እና ሁሉንም በይፋ የሚገኙ ዝመናዎችን ላያንጸባርቁ ይችላሉ። የውቅረት ዝርዝሮችን ለማግኘት ምትኬን ይመልከቱ። ምንም ምርት ወይም አካል ፍጹም ደህንነቱ የተጠበቀ ሊሆን አይችልም። ወጪዎችዎ እና ውጤቶችዎ ሊለያዩ ይችላሉ።
የኢንቴል ቴክኖሎጂዎች የነቃ ሃርድዌር ፣ ሶፍትዌር ወይም የአገልግሎት ማግበር ሊፈልጉ ይችላሉ ፡፡
© ኢንቴል ኮርፖሬሽን. ኢንቴል፣ የኢንቴል አርማ እና ሌሎች የኢንቴል ምልክቶች የኢንቴል ኮርፖሬሽን ወይም የስርጭቱ የንግድ ምልክቶች ናቸው። ሌሎች ስሞች እና የንግድ ምልክቶች እንደ ሌሎች ንብረት ሊጠየቁ ይችላሉ።
በአሜሪካ 0722/JO/PT/PDF US002 የታተመ

እባክዎን እንደገና ጥቅም ላይ ማዋል