ビジネスアイデアは自分の「困りごと」だった
Lowin氏は、投資会社でキャリアをスタートし、リスクマネジメントや大量のデータを処理する仕事に従事してきた。統計学や数学を駆使し、膨大なユースケースに応える大規模システムをつくる経験を積んだ後、機械学習のスタートアップを創業する。
だが、Airbnb用に最適化されたスケジューリングシステムApache Airflowの開発に携わった際、データワークフロー管理の課題について考えるようになる。データサイエンティストが、正しくデプロイされているかどうかを確認するために、非常に膨大な時間を費やしていること（ネガティブエンジニアリング）に気がついたのだ。
「私が機械学習の会社を始めた頃、最先端のある技術に関わっていたのですが、非常に驚くべきことが起こりました。それは、私の時間の大半が、最先端の分析や技術には使われていないということに気づいたのです。夜中に目が覚めてデータベースにデータが読み込まれていないことや、毎日9時に上司に届くはずのメールが届いていないといった課題の解消が、私の仕事を支配しました」（Lowin氏）
クラウドサービスやアプリケーションのコンテナ化によって、データを扱うシステムは組織内に点在する傾向にあり、それらの連携が重要になっている。正しく設定したつもりのスクリプトが動いていなかったり、サーバーの再起動が必要だったり、システム全体の監視項目が増え、エンジニアが本来の業務に時間を割けなくなっているのだ。
こうしてLowin氏は、自分の開発環境を改善するために現在のPrefectの元になるシステムを作り始める。当時のビジネスパートナーも同様な問題を抱えていることを知り、製品化を目指してPrefectを創業した。
データサイエンティストの仕事がクラッシュしたサーバーの対応で終わることがないように、手間をなくし、できるだけ専門分野に専念してもらおうというのが、Prefectのサービスを支える根本的な思想である。
データのプライバシーに関与せず、データの流れだけを監視する
Prefectのシステムは、「Prefect Core」と呼ばれるオープンソースで提供されており、さまざまなシステムに接続してデータのワークフロー監視ができるツールとなっている。「9時に実行してほしい」「3回リトライして失敗したら誰かにテキストメッセージを送ってほしい」といった命令セットを与えるエンジンと、管理画面で構成される。
これを使えば、企業はインフラに分散している何千ものワークロードの活動を調整することができ、全体が期待通りに運営されているか確認することができる。組織内の役割に応じ、権限を分けた管理もできる。
サービスの提供形態は、ユーザーがオープンソースを自社環境で使えるほか、Prefectの商用プラットフォームのサービスから従量課金にて利用できる。商用版は、無料で開始できるプランもある。利用料金は、得られる成果に応じて増えていく。
Prefectのプラットフォームが支持される理由のひとつに、データの秘匿性を守れることがある。データフローの監視ツールだから、その中を流れるコンテンツやプログラムソースには関与しないのだ。
Lowin氏は、これを「プラットフォームのソースは非常に特殊な方法で設計されており、いくつかの特許を申請しています。そのため、SaaS企業である私たちは、実際には顧客のデータやコードを見る必要がありません」と説明した。
ユーザーは情報漏洩を心配することなく利用できるため、金融やヘルスケア業界のユーザーも活用している。オープンソースとしても展開されているので、Slackのコミュニティには1万人以上が参加するなど、業種を問わずさまざまな企業が利用している。
Image: Prefect HP
有名企業の顧客にはCiscoやProgressive Insuranceがある。今年IPOしたオンラインデリバリーのDeliverooのも顧客で、まさにIPOのための財務報告書をつくるためのシステムのパイプラインに利用していたことから「PrefectなしにはIPOできなかった」との評価を得たという。
Prefectの本社はワシントンD.C.にあるが、メジャーリーグのワシントン・ナショナルズも顧客で、雨天や中止などによる試合のスケジュールを柔軟に組み替えられるようPrefectを利用している。
日本でも、東京エレクトロンや、PayPalに買収されたばかりのPaidyがユーザーだ。今後日本市場にもビジネスを拡大予定で、商用プラットフォーム、オープンソースともに適切なパートナー企業と日本のビジネスコミュニティとの交流を深めていきたいとした。
データサイエンティストの課題を解決していきたい
製品をリリースしてから約1年半足らずだが、監視を成功させたタスク数は2020年の6500万件から、2021年は11月時点で5億件近くにのぼるほど利用者は急拡大中。販促やマーケティングの専門スタッフがいなくても、オープンソースコミュニティなどを通じて彼らの存在を知ったユーザーから引き合いが絶えない。
2021年2月と6月に、Positive SumやTiger Global Managementなどから、それぞれ1150万ドルと3200万ドルの資金調達をした。調達した資金で次の1年間にさらに2倍の成長をさせたいと考えている。調達後にシカゴのコンサルティング企業を買収し、カスタマーサクセス、カスタマーサービス部門の核を形成した。今年の初めは19名だったメンバーは50名まで拡大し、さらに採用を強化していく計画を立てている。
2022年のリリースに向けて、次世代のプロダクト「Prefect Orion」を構築中で、2021年10月にベータテスターの募集を始めたところだ。Prefect Orionは、現行バージョンと違ってPython以外の言語にも対応して、Prefect のエンジンをシステムに組み込むことなくAPIベースでアクセスできるようになる。データフローを定義するためのDAG（Directed acyclic graph。どのプログラムがどの順序で実行されるかの記述される）が不要で、より柔軟かつシンプルな導入が期待できる。
Lowin氏はPrefectがデータフロー・オートメーションの標準になることを目標としているとして、次のようにミッションを語った。
「データがツールから別のツールへ、またはチームから別のチームへ、組織からまた別の組織へ流れていく瞬間、誰が責任を負うのでしょうか？ 私たちの製品はこの境界を埋め、データの移行がすべて正しく行われているという確信を与えるために存在しています。つまり、データの移動を支援することが私たちの使命です」
システム間でデータを受け渡しする部分に現れるネガティブエンジニアリングを一手に引き受け、顧客のプロダクトをより速く、スケーラブルにしていく支援をし続けたいとした。
