Microsoft Azure Data Factory v2 (ADF) を9月にパブリックプレビューした後、さらに Microsoft は同サービスに対して新しい可視化ツールのパブリックプレビューを発表した。
ADF サービスの V2 リリースに伴い、以下のサポートを追加した。
- 一度のみ実行や複雑なスケジューリングシナリオを含む新しいスケジュール機能の提供
- 条件付きループを含む複雑なワークフロー制御
- データの入出力に対する Web エンドポイントのサポート
- クラウドベースに統合された実行環境での SSIS パッケージ実行機能
同サービスの9月リリースでは、ADF v2 コンポーネントとパイプラインの可視化ツールは利用できなかった。直近のリリースでは前バージョンに則して可視化ツールを提供した。
Azure Data Factory は Web ベースで、デプロイ後に Azure ポータルから実行可能だ。
同サービスを利用することで以下が利用可能だ。
- 新しい ADF パイプラインを作成することで、可視化インターフェースを利用してドラッグアンドドロップでの複雑な分岐や HDInsight や Azure Data Lake Analytics を含む処理コンポーネントをパイプライン処理に対して利用できる。更に Azure SQL Database やファイルといった従来のデータソースも Web ベースで利用可能だ。
- ADF コピーパイプライン作成：ADF v1 で利用したウィザードと同様にユーザが選んだデータセットからコピーパイプラインを作成できる。現在 33 データソースが利用可能であり、Amazon Redshift、Oracle、SAP HANA や 13 データソースが出力先として利用可能であり Azure サービスだけでなく Oracle や Salesforce も指定可能だ。
- SSIS 統合ランタイムの設定：Azure SQL Database 上での 新しい SSIS Integration Runtime は SSIS パッケージのリフトアンドシフトシナリオをサポートする。Microsoft は SSIS オンプレミスの SSIS パッケージが Azure 内でも同様の接続性と可用性で実行されることを要求している。
- Git リポジトリの構成：ADF インスタンスと Visual Studio Team Services アカウント間の接続が可能が、現時点では GitHub 上にホストされているリポジトリは現在未サポートだ。
コピーのコンピュータタスクをサポートするため、統合ランタイムコンポーネントが Azure ベースまたはセルフホストで追加される。データソースとコンピュートリソースの配置に依存してどちらを利用するか決める必要がある。
Image source: https://docs.microsoft.com/en-us/azure/data-factory/concepts-integration-runtime
オンプレミスリソースとの統合はセルフホスト統合ランタイムを通してサポートされ、On Premises Data Management Gateway の前バージョンで実行される。 同コンポ―ネントは ダウンロードして Windows ベースのシステムにインストールできるが、Linux バージョンは現時点でサポートされていない。 オンプレミスコンポーネントを高可用にするには最低限二つのノードが必要だが、ADF v2 サービスの Azure ベース統合ランタイムと関連付けできるのは 4 ノードまでとなる。
可視化ツールの提供により以前にはなかったユーザビリティ提供が可能され、Microsoft は似たデータマネジメントソリューションである Software AG webMethods、Talend Big Data Platform、Hitachi Pentahoへの対抗となる一方で、 大体となるのは Integration Platform as a Service (iPaaS) ツールである Azure Logic Apps、Mulesoft、Dell Boomi等は大規模なバッチ型データ移動には向いていない。
Azure ホストの統合ラインタイムに対する SSIS パッケージのマイグレーションの提供により、Microsoft はクラウドプラットフォームを利用したオンプレミス活用機能に投資を続けることを紹介した。
Azure Data Factory v2 は現在パブリックプレビューだが East US、East US2、West Europe で利用可能だ。
サービス利用のさらなる情報はMicrosoft ドキュメントから確認可能であり、V1 と V2 との比較、ツールの基礎的な利用方法を彼ら自身のビデオメディアチャンネルで公開している。