Microsoftは10月26日(米国時間)、「Microsoft and the .NET Foundation announce the release of version 1.0 of .NET for Apache Spark - Microsoft Tech Community」において、ビッグデータ解析フレームワークの「.NET for Apache Spark 1.0」のリリースをアナウンスした。.NET for Apache Sparkは、ビッグデータを対象としたオープンソースのコンピューティングフレームワーク「Apache Spark」で、.NETを利用してデータ解析アプリケーションを作成することができるフレームワーク。

Microsoftによれば、.NET for Apache Sparkは、ScalaやPythonを学ぶ代わりに.NETでビッグデータアプリケーションを構築したいという需要に対応する形で開発がスタートしたとのこと。2019年4月に最初のバージョンが公開され、定期的なリリースを繰り返しながら、正式版となるバージョン1.0のリリースに到達した。

  • .NET for Apache Spark

    .NET for Apache Spark

バージョン1.0における主な更新としては、次のような項目が挙げられている。

  • .NET Standard 2.0をターゲットとしたアプリケーションのサポート（.NET Core 3.1以降を推奨）
  • Spark SQL作成を含むApache Spark 2.4および3.0のDataFrame APIのサポート
  • .NETユーザー定義関数（UDF）を使用したSparkアプリケーション作成機能
  • 追加のSparkライブラリを導入するためのAPI拡張フレームワークの提供
  • PyroliteおよびApache ArrowsによるSparkランタイムと.NET UDF間でのデータ移動のパフォーマンスおよび相互運用性の向上
  • 競争力のあるパフォーマンスの実現

.NET for Apache Sparkプロジェクトチームでは、今後も.NET開発者と連携しながら、ビッグデータの使用方法や直面している課題についての解決策を提供していく方針だという。