DeepSeek开源3FS背后：软硬一体的专用AI存储系统

近期，DeepSeek开源的3FS系统向全球科技圈力证，通过存储来优化AI推理工作负载，可有效提升大模型性能，同时大幅降低成本。

作为AI原生存储，3FS的链式复制机制、FFRecord格式优化等创新设计，不仅重新定义了AI存储的技术标准，更凸显了专用存储系统在支撑超大模型推理中的不可替代性。

从技术角度看，曙光存储ParaStor与3FS呈现出高度趋同性，二者通过相似的技术路径共同推动着AI基础设施的进化。

高性能数据存储为AI集群释放算力

曙光ParaStor和3FS都是典型的高性能并行文件系统，这类系统堪称是最适合AI的数据存储。

两者均以RDMA技术为核心传输协议，通过零拷贝机制将网络延迟降至微秒级，有效解决了传统TCP/IP协议栈在AI集群中产生的CPU资源争用问题，使200Gbps网卡利用率突破90%。在此基础上，两者创新性引入硬件卸载技术，将数据校验、协议解析等任务交由智能网卡处理。

实测显示，硬件卸载可使存储读响应时间缩短40%，同时释放30%以上CPU算力用于模型推理。

这种“存储即服务”的设计理念，彻底颠覆了传统存储依赖CPU资源的模式，为AI集群释放出更多算力空间。

AI专属优化：IO特征适配与智能缓存

针对AI训练特有的小文件高并发、数据访问局部性及混合负载特性，曙光存储ParaStor和3FS均构建了多层优化体系：

元数据分片技术：将百万量级小文件的元数据请求分散至多个控制节点，使查询吞吐量提升5倍以上，支撑万级客户端并发访问。

智能预取与缓存分层：通过分析训练任务的数据访问模式，提前将数据从HDD预加载至NVMe缓存，使ResNet-152单epoch训练时间缩短18%。

QoS感知调度引擎：动态分配带宽与IO优先级，确保模型训练关键路径的服务质量。

弹性进化：EB级存储的无缝扩展能力

为满足大模型训练对海量数据的需求，曙光存储ParaStor与3FS均采用去中心化架构：

全局命名空间：整合跨地域、跨介质存储资源，支持千亿文件统一管理。

无状态弹性扩展：节点可在线扩展至数千个，容量与性能随节点增加线性提升，在GPT-3级场景中实现超1TB/s聚合带宽。

自适应纠删码策略：对热数据采用多副本保障性能，温冷数据采用EC 8+3编码，使空间利用率突破85%。

软硬一体：构建自主可控的AI存储基座

3FS的技术突破与ParaStor的国产化创新，共同印证了一个行业共识：硬件加速、场景化优化与分布式架构的深度融合，是突破“存储墙”的必由之路。

在共性技术之外，曙光ParaStor依托国产硬件生态优势，实现了自研SSD控制器与智能网卡的协同优化，在国产AI芯片适配性上展现出独特价值。这种自主可控的技术路径，不仅提升了系统的稳定性与安全性，更为我国AI产业发展提供了坚实的基础设施保障。