• 7年以上的经验,其中2年在Python、Airflow、GCP BigQuery和Databricks上,具备AWS和GCP背景,设计和实施高性能的数据摄取管道,使用Databricks、Python、Airflow、Apache Spark在GCP平台上。
• 在各种源系统上设计管道的专家。将管道从共享服务转换为独立服务器。
• 向项目利益相关者交付和展示关键技术组件的概念验证。
• 开发可扩展和可重用的框架,用于摄取地理空间数据集。
• 将端到端数据管道集成到源系统到目标数据存储库,确保数据的质量和一致性始终得到维护。
• 使用基于事件/流式技术进行数据摄取和处理。
• 与项目团队的其他成员合作,支持交付其他项目组件(API接口、搜索)。评估多个工具的性能和适用性,以满足客户需求。
• 在敏捷交付/DevOps方法论下工作,以迭代的方式交付概念验证和生产实施。