科大訊飛作為亞太地區(qū)赫赫有名的智能語音和人工智能企業(yè)，擁有語音及語言國家工程實驗室和認(rèn)知智能全國重點實驗室。面對業(yè)界百模大戰(zhàn)，誰可以快速部署高性能大模型訓(xùn)練平臺，快速訓(xùn)練上線，誰就能先一步搶占市場有利位置。
為此科大訊飛與華為聯(lián)合打造存、算、網(wǎng)全棧國產(chǎn)化的AI大模型解決方案，共同建設(shè)國內(nèi)首個支持萬億參數(shù)大模型訓(xùn)練的萬卡算力平臺“飛星一號”。
華為AI數(shù)據(jù)湖解決方案，基于多套OceanStor專業(yè)存儲分級建設(shè)，依托智能數(shù)據(jù)分級與多集群故障隔離、高效數(shù)據(jù)治理的高性能存儲，為客戶提供TB級帶寬，端到端加速AI模型開發(fā)。
大模型建設(shè)中遇到了哪些問題？
星火認(rèn)知大模型從海量數(shù)據(jù)和大規(guī)模知識中持續(xù)進化，實現(xiàn)了從提出、規(guī)劃到解決問題的全流程閉環(huán)。人工智能技術(shù)從感知理解世界的專用領(lǐng)域向生成創(chuàng)造世界的通用領(lǐng)域進行跨越式演進，這一過程產(chǎn)生了對數(shù)據(jù)存儲的新挑戰(zhàn)：
GPU利用率低：AI大模型訓(xùn)練以多機多卡任務(wù)為主，故障頻率高，模型加載和斷點續(xù)訓(xùn)CheckPoint讀寫時，對存儲系統(tǒng)IO和帶寬性能要求很高，千卡以上集群平均每天故障1次，斷點恢復(fù)時間高達15分鐘+，每次損失幾十萬。
集群分散不可靠：多家存儲“煙囪式”建設(shè)，總?cè)萘繋资甈B，切分成幾十個PB級的分散小集群，極大地增加了管理復(fù)雜度，并采用軟硬分離的方式建設(shè)存儲集群，降低了存儲集群的可靠性同時也降低了帶寬能力。
數(shù)據(jù)治理困難：AI訓(xùn)練集的文件數(shù)量有百億個，當(dāng)前“煙囪式”存儲集群的建設(shè)模式，形成多個數(shù)據(jù)孤島，數(shù)據(jù)需要人工遷移，效率低。同時無全局?jǐn)?shù)據(jù)可視能力，無法識別冷熱數(shù)據(jù)與高價值數(shù)據(jù)，數(shù)據(jù)難以治理。
綜上可以看到大模型廠商對存儲的核心訴求是：
1、 高性能的存儲底座，以便支撐多機多卡的AI集群極致的訓(xùn)練時長和盡可能快的斷點續(xù)訓(xùn)能力，降低錯誤回滾率。
2、 統(tǒng)一的AI存儲數(shù)據(jù)湖管理能力，高效可靠的數(shù)據(jù)治理能力。
優(yōu)質(zhì)存儲成為大模型時代的“黃金門票”
華為數(shù)據(jù)存儲與科大訊飛聯(lián)合打造中國首個萬卡算力平臺AI數(shù)據(jù)湖存儲底座，針對通用AI大模型訓(xùn)練，科大訊飛采用算、存分離架構(gòu)，計算側(cè)追求更加極致的算力釋放，存儲側(cè)部署多套華為OceanStor AI存儲，提供可靠高效的幾十PB可得容量。
AI數(shù)據(jù)湖方案架構(gòu)圖
15min->1min，斷點續(xù)訓(xùn)恢復(fù)速度提升15倍，日節(jié)省幾十萬￥
斷點續(xù)訓(xùn)恢復(fù)速度提升15倍：集群最大提供TB級大帶寬，縮短CheckPoint讀寫耗時，斷點續(xù)訓(xùn)恢復(fù)時長從15min縮短到1min，速度提升15倍。
集群管理，99.999%高可靠
存儲集群安全可靠：華為OceanStor AI存儲單集群多Storage Pool的方案，管理面合一，數(shù)據(jù)面分離，通過數(shù)據(jù)面隔離避免AI集群故障擴散；同時通過亞健康管理、大比例EC等進一步提升存儲可靠性，單集群可靠性達99.999%。
全生命周期管理TCO降低30%
數(shù)據(jù)治理成本低：統(tǒng)一數(shù)據(jù)湖管理，GFS全局文件系統(tǒng)，無損多協(xié)議互通，免除數(shù)據(jù)孤島，數(shù)據(jù)全局可視、可管，高效流動，跨域調(diào)度效率提升3倍，數(shù)據(jù)零拷貝，端到端加速AI模型開發(fā)；千億元數(shù)據(jù)秒級檢索，智能識別數(shù)據(jù)熱度，精準(zhǔn)分級，實現(xiàn)存儲系統(tǒng)性能與容量均衡。
面向未來萬卡/十萬卡更大規(guī)模算力集群華為OceanStor AI存儲專為AI而生，與科大訊飛聯(lián)合打造中國首個萬卡算力平臺AI數(shù)據(jù)湖存儲底座，借助海量數(shù)據(jù)和知識加速星火認(rèn)知大模型持續(xù)進化，共建“讓機器能聽會說，能理解會思考，用AI建設(shè)美好世界”的美好愿景！
滬公網(wǎng)安備 31011202001934號
建議使用最新版瀏覽器,以獲得最佳瀏覽效果。
