主な詳細

時間タイプ: フルタイム

ワーカータイプ: 従業員

この役割の目的は、ビルドアーティファクトの効率的な提供を推進し、QBEのプラットフォームの設計、開発、および展開において技術的リーダーシップを提供することです。

• Azure Databricks内でPythonを使用してデータパイプラインとワークフローの設計、開発、最適化をリードします。
• プラットフォームチームと協力して、リソース、セキュリティプロトコル、およびDatabricks環境のスケーラビリティを適切に整合させるよう確保します。
• 最適化されたETLパイプラインを設計、実装、保守し、それらが信頼性があり、拡張性があり、効率的であることを確認します。
• ステークホルダーと密接に連携してビジネス要件を理解し、それらのニーズに応えるデータソリューションを設計します。
• 若手データエンジニアに技術的リーダーシップを提供し、データパイプラインの設計、データ処理、Databricks最適化のベストプラクティスを指導します。
• プラットフォームチームと連携し、基盤インフラストラクチャの可用性、信頼性、パフォーマンスを確保します。
• データ処理およびパイプラインの障害に関連するトラブルシューティングおよび問題解決の取り組みを主導し、ダウンタイムを最小限に抑えます。
• データパイプラインのパフォーマンスを監視し、処理時間を改善し、コストを削減し、全体的なプラットフォームの効率を向上させる最適化戦略を実装します。
• データアーキテクトおよびエンジニアと協力して、Databricksとシームレスに統合できるデータモデルを開発します。
• 特にAzureエコシステム内で、データエンジニアリングのベストプラクティスと新しい技術の知識を最新の状態に保ちます。

要件：

• データエンジニアリングで5年以上の経験があり、データパイプラインの構築と最適化に重点を置いています。
• Azure Databricksでの強力な経験があり、この環境での複雑なワークフローをリードして最適化する能力があります。
• データ処理、パイプライン開発、自動化のためのPythonの熟練した知識。
• Azure Data Lake、Azure SQL、およびAzure内の他のデータストレージおよび処理ソリューションの経験。
• パイプライン設計、自動化、およびトラブルシューティングを含むETLプロセスの深い理解。
• Databricks Delta Lake、Apache Spark、およびDatabricksでのパフォーマンスチューニングの実務経験。
• クラウドインフラストラクチャ(Azure)に精通しており、ネットワーキング、ストレージ、セキュリティの考慮事項を含みます。
• プラットフォームチームを含む、クロスファンクショナルなチームと協力し、効果的にコミュニケーションを取り、調整を行い、成功裡に提供する能力。
• 特にデータパイプラインのパフォーマンスと障害に関連する強力な問題解決およびトラブルシューティングスキル。
• 優れたコミュニケーションおよびリーダーシップスキルがあり、若手エンジニアを指導し指導する能力があります。

推奨資格：

• DevOpsプラクティスおよびデータエンジニアリングワークフロー用のCI/CDパイプラインの経験。
• AzureベースのデータサービスであるAzure Synapse Analytics、Azure Data Factoryに精通しています。
• プロジェクト管理ツールに精通したアジャイル環境での作業経験。

スキル：

コミュニケーション、批判的思考、カスタマーサービス、金融システム、計画的コラボレーション、パフォーマンス管理、プロセス改善、リレーショナルデータベース管理システム(RDBMS)、リスク管理、ソフトウェア開発、ソフトウェア開発ライフサイクル(SDLC)手法、ステークホルダーマネジメント、戦略的リーダーシップ、チームマネジメント、ウォーターフォールモデル

応募方法：

応募書類を提出するには、「Apply」をクリックし、ステップバイステップのプロセスに従ってください。

平等な雇用機会：

QBEは、平等な雇用機会のある雇用者であり、運営する各管轄区域で平等な雇用機会の法令に準拠することが求められています。

求人説明書をご参照ください。