GCP/Databricks 数据工程师(合同)

16个月前合同
Capgemini

Capgemini

location 纽约
unsaved
• 7年以上的经验,其中2年在Python、Airflow、GCP BigQuery和Databricks上,具备AWS和GCP背景,设计和实施高性能的数据摄取管道,使用Databricks、Python、Airflow、Apache Spark在GCP平台上。 • 在各种源系统上设计管道的专家。将管道从共享服务转换为独立服务器。 • 向项目利益相关者交付和展示关键技术组件的概念验证。 • 开发可扩展和可重用的框架,用于摄取地理空间数据集。 • 将端到端数据管道集成到源系统到目标数据存储库,确保数据的质量和一致性始终得到维护。 • 使用基于事件/流式技术进行数据摄取和处理。 • 与项目团队的其他成员合作,支持交付其他项目组件(API接口、搜索)。评估多个工具的性能和适用性,以满足客户需求。 • 在敏捷交付/DevOps方法论下工作,以迭代的方式交付概念验证和生产实施。