[Kinë, Shenzhen, 14 korrik 2023] Sot, Huawei zbuloi zgjidhjen e saj të re të ruajtjes së AI për epokën e modeleve në shkallë të gjerë, duke ofruar zgjidhje optimale të ruajtjes për trajnimin e modeleve bazë, trajnimin e modeleve specifike për industrinë dhe konkluzionet në skenarë të segmentuar, pra duke lëshuar aftësi të reja të AI.
Në zhvillimin dhe zbatimin e aplikacioneve të modeleve në shkallë të gjerë, ndërmarrjet përballen me katër sfida kryesore:
Së pari, koha e nevojshme për përgatitjen e të dhënave është e gjatë, burimet e të dhënave janë të shpërndara dhe grumbullimi është i ngadalshëm, duke marrë rreth 10 ditë për përpunimin paraprak të qindra terabajt të të dhënave. Së dyti, për modelet e mëdha multimodale me grupe të dhënash masive tekstesh dhe imazhesh, shpejtësia aktuale e ngarkimit për skedarët e vegjël masiv është më pak se 100 MB/s, duke rezultuar në efikasitet të ulët për ngarkimin e grupeve të trajnimit. Së treti, rregullimet e shpeshta të parametrave për modelet e mëdha, së bashku me platformat e paqëndrueshme të stërvitjes, shkaktojnë ndërprerje të stërvitjes afërsisht çdo 2 ditë, duke bërë të nevojshme që mekanizmi i Kontrollit të rifillojë stërvitjen, me rikuperimin që zgjat një ditë. Së fundmi, pragjet e larta të zbatimit për modelet e mëdha, konfigurimi kompleks i sistemit, sfidat e planifikimit të burimeve dhe përdorimi i burimeve GPU shpesh nën 40%.
Huawei po përafrohet me trendin e zhvillimit të AI në epokën e modeleve në shkallë të gjerë, duke ofruar zgjidhje të përshtatura për industri dhe skenarë të ndryshëm. Ai prezanton OceanStor A310 Deep Learning Data Lake Storage dhe FusionCube A3000 Training/Inference Super-Converged Appliance. OceanStor A310 Deep Learning Data Lake Storage synon skenarët e modeleve të mëdha të liqenit të të dhënave të nivelit bazë dhe të nivelit të industrisë, duke arritur menaxhimin gjithëpërfshirës të të dhënave të AI nga grumbullimi i të dhënave, përpunimi paraprak në trajnimin e modeleve dhe aplikacionet e konkluzioneve. OceanStor A310, në një raft të vetëm 5U, mbështet gjerësinë e brezit lider në industri 400 GB/s dhe deri në 12 milionë IOPS, me shkallëzim linear deri në 4096 nyje, duke mundësuar komunikim pa ndërprerje ndër-protokolare. Global File System (GFS) lehtëson gërshetim inteligjent të të dhënave nëpër rajone, duke thjeshtuar proceset e grumbullimit të të dhënave. Llogaritja afër ruajtjes realizon parapërpunim afër të dhënave, duke reduktuar lëvizjen e të dhënave dhe duke përmirësuar efikasitetin e parapërpunimit me 30%.
FusionCube A3000 Training/Inference Super-Converged Appliance, i projektuar për skenarë trajnimi/konkluzionesh të modeleve të mëdha të nivelit të industrisë, u përshtatet aplikacioneve që përfshijnë modele me miliarda parametra. Ai integron nyjet e magazinimit me performancë të lartë OceanStor A300, nyjet e trajnimit/konkluzionit, pajisjet ndërruese, softuerin e platformës AI dhe softuerin e menaxhimit dhe funksionimit, duke u ofruar partnerëve të mëdhenj modele një përvojë vendosjeje plug-and-play për një shpërndarje me një ndalesë. Gati për t'u përdorur, mund të vendoset brenda 2 orëve. Të dy nyjet e trajnimit/konkluzionit dhe të ruajtjes mund të zgjerohen në mënyrë të pavarur dhe horizontale për t'iu përshtatur kërkesave të ndryshme të shkallës së modelit. Ndërkohë, FusionCube A3000 përdor kontejnerë me performancë të lartë për të mundësuar trajnimin e modeleve të shumta dhe detyrat e konkluzionit për të ndarë GPU-të, duke rritur përdorimin e burimeve nga 40% në mbi 70%. FusionCube A3000 mbështet dy modele biznesi fleksibël: Huawei Ascend One-Stop Solution dhe zgjidhjen me një ndalesë të partnerit të palës së tretë me kompjuterë të hapur, rrjetëzim dhe softuer të platformës AI.
Presidenti i Linjës së Produkteve të Ruajtjes së të Dhënave të Huawei, Zhou Yuefeng, tha: “Në epokën e modeleve në shkallë të gjerë, të dhënat përcaktojnë lartësinë e inteligjencës artificiale. Si bartës i të dhënave, ruajtja e të dhënave bëhet infrastruktura kryesore themelore për modelet në shkallë të gjerë të AI. Huawei Data Storage do të vazhdojë të inovojë, duke ofruar zgjidhje dhe produkte të larmishme për epokën e modeleve të mëdha të AI, duke bashkëpunuar me partnerët për të nxitur fuqizimin e AI në një gamë të gjerë industrish.
Koha e postimit: Gusht-01-2023
