データセンターの分散化を加速させる、世界初の800G-ZRによる長距離接続とRDMA技術を活用した独自開発ツールによるデータの高速転送を実現
NTTドコモビジネス株式会社(旧NTTコミュニケーションズ、以下 NTTドコモビジネス)は、サーバーを異なるデータセンターに分散配置した環境において、800G-ZR※1による長距離接続とRDMA※2(Remote Direct Memory Access)技術を活用した独自開発ツール(以下 RDMA転送ツール)を世界で初めて組み合わせ、データの高速転送を実現しました(以下 本実証)。本実証の技術を用いることで、分散されたデータセンターにおけるネットワーク構成が簡素化され、消費電力や運用コストを削減しながら高速なデータの転送が可能になります。本実証の成果により、離れたデータセンターが1つのデータセンターのように利用できることで、データセンターの柔軟な利用を実現します。また、AI-Centric ICTプラットフォーム構想※3の実現へ本実証の成果を活かすとともに、IOWN構想(R)※4にもとづいた次世代におけるデータセンターの分散化を加速させます。
1．背景
生成AI、データ利活用、画像処理などの分野でGPUクラスタの重要性が高まる中、従来の単一データセンターでは、生成AIのモデルサイズ増大による処理量の変動やリソース確保の制約、データセンターごとのキャパシティや電力供給の制限に応じた運用が求められるなど、さまざまな課題が存在します。これらの課題に対して、データセンターの分散化が注目されており、各地に点在した大量データの高速な同期および転送が必要となっています。NTTドコモビジネスは、従来の単一データセンター構成の課題に対する新たな取り組みとして、IOWN APN※5を活用した分散型GPUクラスタの実証実験を進めてきました。本実証では、800G-ZRを用いて接続したデータセンター間において、RDMAによるデータ転送を行い、分散環境下でのGPUクラスタ処理の有効性を確認しました。
2．本実証の概要
本実証では、独自開発のRDMA転送ツールが搭載されたサーバーを約40km離れた三鷹と秋葉原のデータセンターに分散配置し、データセンター間を800G-ZR技術を用いて接続しました。RDMA転送ツールを使用して両拠点のサーバーを連携しデータを転送することで、従来の方式よりも効率的に高速なデータ転送が可能であることをパフォーマンス測定にて確認しました。
なお、本実証はジュニパーネットワークス株式会社*(本社:東京都新宿区、代表取締役社長:古屋知弘)およびキーサイト・テクノロジー株式会社(本社:東京都八王子市、代表取締役社長:寺澤紳司)によるルーターやテスタ、トランシーバなどの機器提供および協力のもとで実施しました。
本実証で用いた技術の主な特長は以下の通りです。
(1) 800G-ZR
800G-ZRは、急増するデータセンター間の通信量への対応において、800Gbpsの大容量かつ高速な伝送が可能な点に加え、効率的なネットワークの接続技術として注目されています。サーバーインターフェースが100Gや400Gへと進化する中、800G-ZRはこれらの集約トラフィックを低遅延で長距離伝送することが可能です。さらに、ネットワークの接続拠点間には伝送装置を必要とせずに、ルーターなどに直接接続できるため、ネットワーク構成の簡素化、消費電力や運用コストの削減にも貢献します。
(2) RDMA転送ツール
RDMAは通信先のサーバーのメモリに直接アクセスしてデータを転送できる仕組みです。CPUを介さずにNIC※6(Network Interface Card)からNICへデータを直接書き込むことで高速なデータ転送が可能です。一方、RDMAは長距離通信での利用においては転送処理の品質に課題がありましたが、この度独自に開発したRDMA転送ツールでは、CPUのリソース消費を抑えながら長距離通信においても高速なデータ転送が可能です。(特許出願中*)
3．本実証の成果
本実証は、世界で初めてIOWN APNの技術要素の一つである800G-ZRと独自開発したRDMA転送ツールを組み合わせることで、データセンター間の複数サーバーにおいて800Gbps級の広帯域の接続かつ高速なデータ転送の実現に成功しました。さらに従来技術と比較して、1,600GBのデータ転送所用時間は約389秒から約68秒となり、最大で1/6まで短縮されました。また、CPU使用率も20%から5%と低下し、最大で1/5の使用率まで削減できることを確認しました。これにより、AI時代に求められる高速・低負荷なデータ処理基盤の構築に向けた大きな前進となりました。また、800Gbpsによるデータセンター間接続を実現したことで、データセンターの処理における効率性がさらに向上し、柔軟なリソース活用と拠点間連携の強化に貢献します。
<本実証のイメージ図>
4．今後の展開
本実証の成果をもとに、IOWN APNで接続されたデータセンターにおけるGPUクラスタの可能性をさらに広げていきます。2026年度には、取り組みの１つであるGPU over APN※7の検証環境をお客さまへ提供開始する予定です。加えて、国内70拠点以上のデータセンター間などを接続可能な「APN専用線プラン powered by IOWN(R)」や、液冷方式サーバーに対応した超省エネ型データセンターサービス「Green Nexcenter(R)」などを組み合せたGPUクラウドソリューションの展開を強化していきます。また、本実証で得られた成果をAI-Centric ICTプラットフォーム構想の実現へ活かすとともに、IOWN Global Forum※8を通じたさらなるユースケースの創出と技術進化へも貢献していきます。
「NTTコミュニケーションズ株式会社」は2025年7月1日に社名を「NTTドコモビジネス株式会社」に変更しました。私たちは、企業と地域が持続的に成長できる自律分散型社会を支える「産業・地域DXのプラットフォーマー」として、新たな価値を生み出し、豊かな社会の実現をめざします。
https://www.ntt.com/about-us/nttdocomobusiness.html
※1：800G-ZRとは、OIF（Optical Internetworking Forum）で標準化された800Gbps対応の光通信技術です。小型モジュールとして実装され、ルーターやスイッチに直接挿入して使用できるため、従来必要だった専用の伝送装置を省略でき、ネットワーク機器の省電力化や運用コストの削減が可能になります。
※2：RDMA(Remote Direct Memory Access)とは、サーバー間でデータをやり取りする際に、CPU を介さずに相手のメモリへ直接アクセスして読み書きできる技術です。これにより CPUの負荷を抑えつつ、高速で効率的なデータ転送が可能になります。
※3：NTTドコモビジネス、ゲットワークス、NTTPCが発表した、「分散」「柔軟」「安全」「リーズナブル」といった今後の企業ニーズに合致したAI時代に最適な次世代ICTプラットフォーム構想です。
ニュース 2025年6月10日:NTT Com、ゲットワークス、NTTPCが戦略的業務提携を締結
https://www.ntt.com/about-us/press-releases/news/article/2025/0610_2.html
※4：IOWN(R)構想とは、最先端の光技術などを使って豊かな社会を創るためのネットワーク基盤構想のことです。「IOWN(R)」は、日本電信電話株式会社の商標または登録商標です。
※5：APN(All-Photonics Network)とは、IOWNを構成する主要な技術分野の1つとして、端末からネットワークまで、すべてにフォトニクスベース(光)の技術を導入し、エンド・ツー・エンドでの光波長パスを提供する波長ネットワークにより、圧倒的な低消費電力、高速大容量、低遅延伝送の実現をめざすものです。
※6：NIC(Network Interface Card)とは、パソコンやサーバーなどをネットワークに接続するためのインターフェースです。
※7：GPU over APNとは、IOWN APNで複数のデータセンターを接続し1つのGPUクラスタを稼働させ生成AIを学習させた実証です。
ニュース 2024年10月7日:NTT Com、IOWN APNを活用した分散データセンターでの生成AI学習実証実験に世界で初めて成功
https://www.ntt.com/about-us/press-releases/news/article/2024/1007.html
※8：IOWN Global Forumとは、これからの時代のデータや情報処理に対する要求に応えるために、新規技術、フレームワーク、技術仕様、リファレンスデザインの開発を通じ、シリコンフォトニクスを含むオールフォトニクス・ネットワーク、エッジコンピューティング、無線分散コンピューティングから構成される新たなコミュニケーション基盤の実現を促進する新たな業界フォーラムです。https://iowngf.org/
*RDMAに関連する技術においては、特許出願中となります。
*ジュニパーネットワークスはヒューレット・パッカードエンタープライズ（HPE）の傘下です。
【関連リンク】
NTT Com、IOWN APNを活用した分散データセンターでの生成AI学習実証実験に世界で初めて成功
https://www.ntt.com/about-us/press-releases/news/article/2024/1007.html
