一貫性のないツールや複雑なハンドオフをパッチワークのように組み合わせるのは、理想的なデータエンジアリングとはいえません。本セッションでは、解決策となる Databricks の統合ソリューション Lakeflow をご紹介します。Lakeflow は、制御性、信頼性を備えたスケーラブルなデータパイプラインの容易な構築を可能にします。データの取り込み、変換、オーケストレーションを統合し、導入初期から複雑なワークフロー管理までを包括的にサポートします。
本セッションでは、Lakeflow Connect、Declarative Pipelines、Jobs、新機能の Lakeflow Designer(最小限のコードでパイプラインの構築と管理を効率化する視覚的インターフェース)など、主要なコンポーネントを説明します。ノーコードでのデータ取り込み、コード不要の変換、データ資産全体での統合オーケストレーションのライブデモも予定しています。
オープンソースツールのサポートやノーコード機能の拡張など、今後の展望についてもご紹介します。Lakeflow がいかにスタックを簡素化し、効率を高め、ガバナンスが確保された高性能データパイプラインを大規模に構築するための堅牢な基盤を提供するかを明確に理解していただくためのセッションです。






