TernFS：一個艾字節規模多區域分佈式檔案系統

呢個 TernFS 係 XTX Markets 啲工程師自己整出來嘅，專門用嚟應付佢哋海量數據嘅需求。由原本用 NFS 開始，之後發現唔夠用，就自己建咗呢個系統。喺 2023 年夏天開始正式用，到 2024 年中，全部機器學習工作都轉咗用 TernFS。依家已經儲存超過 500PB 數據，橫跨三個數據中心，唔使擔心數據丟失。佢可以擴展到幾十艾字節、數以兆計嘅檔案，同埋數百萬個客戶端同時連接。檔案係 immutable 嘅，即係寫完之後就唔改得，用 Reed-Solomon 編碼嚟保護數據，容許丟失幾個塊。仲有 snapshot 功能，防止意外刪除。跨區域嘅話，元數據有主要位置，檔案內容就异步複製。硬件方面，唔限定，用 TCP/IP，仲可以根據目錄政策嚟選擇唔同類型嘅儲存媒體，好似 flash 定硬碟。客戶端可以用自家 API、Linux 內核模塊、S3 閘道同 web UI 嚟訪問。總之，呢個系統設計得好穩陣，冇單點故障，仲有自動遷移壞碟同 scrubbing 嚟檢查數據完整性。雖然有啲限制，好似唔適合細檔案，或者目錄操作唔夠快，但對大檔案機器學習嚟講，正正係啱晒。XTX 已經開源咗佢喺 GitHub 上，歡迎大家用。