スパコン級の並列ファイルシステム×企業向けNFS
Hammerspaceが提供するプラットフォームは、既存の2つの技術のコンバージェンス（融合）により生まれたという。その2つの技術とは、「スーパーコンピュータ級の高性能な並列ファイルシステム」と「企業向けネットワーク・ファイル・システム（NFS）」。これらの技術を統合することは業界でかねてニーズがあったが、同社はストレージ仮想化技術の「グローバル・ネームスペース」を作り上げ、さらに物理的に散在しているインフラ全体におけるデータの配置と移動を合理化することによってこれを実現した。
Flynn氏は「つまり、実質的には4つの技術を統合したのです」と説明する。これによって、異なる拠点やデバイスに保存されたデータに、1つのファイルシステムからアクセスできるようになった。
このような技術が実現した背景について、同氏は「Linuxが普及したこと、データセンターが十分な性能と帯域幅で接続できるようになったことに加え、新しいデータ管理のアーキテクチャーを採用したからです。このアーキテクチャーのおかげでLinuxのファイルシステムの利点を活用できました」と語る。
そのアーキテクチャーとは、データとそのデータが持つメタデータを分離し、メタデータを離れた施設やデバイスで同期させ、データを個別にきめ細かく移動させる手法だ。たとえば、LLM（大規模言語モデル）などのAI開発においては、大量のデータによる高い負荷の処理が必要だ。Hammerspaceの技術なら、高速な並列処理は標準のエンタープライズNASで展開でき、しかもデータセンター間での移動も可能だ。Flynn氏は「このような技術を持つ企業は、この地球上に存在しません」と話した。
image: Hammerspace
データを「より速く、よりグローバルに」提供するため創業
Flynn氏のキャリアで特筆すべきは、超高速半導体ストレージを手掛けるFusion-io（2014年にSanDiskが買収）での活躍だ。Fusion-ioはPCIeインターフェイスにフラッシュストレージを接続する技術を開発し、SSDなどに使われる、NVMe（Non-Volatile Memory Express）というフラッシュメモリを採用したストレージ技術の先駆けとなった。
「私はこの経験によって、データをより速く、よりグローバルに提供できるシステムを構築する必要性を感じました。会社を辞めた後は、高性能なデータ配信を可能にする新たなテクノロジーを構築するために立ち上がりました」
Flynn氏は、高速な読み書きが可能なフラッシュストレージに常駐してデータを配信するファイルシステムの開発をするべく、Linuxカーネル開発において20年以上の経験を持つTrond Myklebust氏（現CTO）と共に、2018年にHammerspaceを創業した。
Jeff Bezos氏のBlue Originもデータ管理に採用
同社の主な顧客には、Amazon.com創業者であるJeff Bezos氏が設立した宇宙開発企業Blue Originがあり、全米に数カ所ある施設とクラウド環境のデータ管理にHammerspaceを利用している。「❝ミスター・クラウド❞自身がハイブリッド・クラウド・コンピューティングの方法として使っているのです」
また、社名は明かさなかったが、世界規模のIT企業が、LLM開発のために利用しているという。このほか、『FORTNITE』で有名なゲーム会社Epic GamesもAIモデル開発に利用し、日本企業ではソフトバンクも数年前からユーザーだという。
世界中の拠点間を連携して利用しているユーザーが、映画やテレビを制作するスタジオMovieLabsだ。これは、パラマウント・ピクチャーズ、ソニー・ピクチャーズ、ユニバーサル・スタジオ、ウォルト・ディズニー・ピクチャーズ・アンド・テレビジョン、ワーナー・ブラザースなどが資金を提供している企業。同社では2030年に向けたビジョンとして、拠点に関係なく同じファイル名でデータを利用できるようにする考えを示した。グローバルでの業務分散による合理化が進む一方で、データのサイロ化問題を解消するインフラを求めていたのだ。
Flynn氏は「彼らのビジョンは、Hammerspaceの能力と合致しています。私たちは、MovieLabsのケーススタディを行うショーケース・ベンダーの1社に選ばれました。たとえば、ディズニーのスター・ウォーズ シリーズのドラマ『マンダロリアン』や、Netflixの人気ドラマ『ストレンジャー・シングス』の制作において、データ共有環境にHammerspaceを使っています。クラウド上のデータをコピーしてマージする手間をかけずに、直接レンダリングや編集を行うことができるからです」
ビジネスデータの活用が、スマホのクラウド同期のように手軽に
データの共有はクラウドデータウェアハウスのSnowflakeも得意な分野だが、Snowflakeがデータベースや構造化されたデータを得意としているのに対し、Hammerspaceは非構造化データに焦点を当てている。Flynn氏は「画像、ゲノム、ロケットの設計図など、この世のデータの大半は非構造化データです」と説明する。
Hammerspaceでは、複数のデータセンター間でのオーケストレーションを備えたプロダクトを2年前から提供している。2022年は300％の収益増を遂げており、今年は400〜500％成長を遂げる見通しだという。こうした勢いの背景には、AIと機械学習の進歩による高性能コンピューティングの需要の高まりがある。特に、多様なソースからのデータを取得し、そのデータの効果的なオーケストレーションの能力の重要性が高まっている。その大部分は画像や映像などの非構造化データだ。
Flynn氏は「Perfect Storm（好機が重なった状態）の渦中にいます。機械学習とAIの革命は、私たちがこれまで構築してきたテクノロジーへの需要をさらに高めるキーとなっています」と強調した。
Hammerspaceは、近いうちにアジア・太平洋地域にも進出するという。企業とのパートナーシップについては、ハイブリッド・クラウドやマルチ・クラウド、あるいは複数のデータセンターやプライベート・クラウドでのデータ連携に課題を持つ顧客を支援するSI企業などが該当するとみている。
現在、スマートフォンで扱うデータはクラウドに同期が可能で、端末を無くしたり機種変更をしたりしてもすぐにデータにアクセスが可能となっている。Flynn氏は、企業が扱う大量のデータについても同じように扱える世界が訪れるというビジョンを示し、最後に次のようにコメントした。
「今後わずか5年のうちに、企業のデータや非構造化データ、データ集約型ビジネスの基盤データなどもオーケストレーションされて、気軽にアクセスできるようになると思っています。Hammerspaceがこのビジョンを実現することができれば、私たちのデータに対する認識や扱い方が大きく変わるでしょう」
