采集前端数据速率对存储子系统的性能要求很高-nba今日新闻
点击关闭

连接计算-采集前端数据速率对存储子系统的性能要求很高-nba今日新闻

  • 时间:

长江无鱼之困

AI on the Fly™將整個AI工作流計算和存儲資源放于數據源邊緣,而不是數據中心。這一新的AI範式適用於自動駕駛汽車、預測個性化醫療、戰場指揮與控制以及工業自動化等多個領域。這些解決方案的共同要素是高數據率採集、高速低延遲存儲,以及高效高性能AI訓練與推理計算。這些要素與內存映射PCI Express系統無縫連接,並按需進行互連和自定義,從而滿足「現場」安裝的特定環境要求。這些系統的前端是高速數據採集技術,基於不同應用,傳感器陣列會生成大量數據。在自動駕駛車輛中,數據通過視頻和激光雷達傳感器陣列生成。

z

One Stop Systems最近宣布與一家大型國際網絡運輸公司合作,在其由150輛汽車組成的自動駕駛開發車隊中部署AI on the Fly組件。該車隊用於收集開發和測試AI算法所需數據,這些算法最終將部署在數千輛商用車中。在該用例中,AI on the Fly數據攝取系統與無數車內視頻、雷達和激光雷達傳感器連接,並通過冗餘的50gbps以太網連接,與存儲子系統聚合。然後,存儲子系統直接連接到多GPU機器學習訓練和推理計算引擎。整個系統部署在車輛後備箱中。

(圖片來源:One Stop Systems官網)

儘管應用數據速率根據部署的傳感器或傳感器陣列而變化,但是數據攝取子系統的基本要求是支持高速數據速率、不允許丟失數據、不對傳感器數據流施加流控制。許多AI on the Fly的本地數據速率可能非常高,可高達100 Gbps或以上,需要專門的PCIe數據捕獲硬件。作為捕獲過程的一部分,數據通常是實時處理的,以便在移動到存儲設備之前以可用的形式進行格式化。捕獲硬件可以採用PCIe FPGAs、視頻捕獲、幀捕獲器或智能NICs的形式,執行一系列功能,包括標記、編碼、排序、模擬到數字轉換、過濾、時間戳和通道同步。採集前端數據速率對存儲子系統的性能要求很高,因此需要使用直接附加PCIe的NVMe SSD存儲設備。這些系統的存儲空間需要能夠擴展到10或100TB,額外的存儲子系統需求包括高可用性/冗餘、安全性和可移動存儲介質支持。

訊 在許多AI應用中,將大量數據傳輸回遠程數據中心是不切實際的。據外媒報道,One Stop Systems公司推出了高性能計算技術應用AI on the Fly™,能使整個AI工作流駐留在數據源邊緣(edge at the data source),實現高速數據捕獲。

今日关键词:魔兽世界怀旧服