纽约，纽约 10001 发布于 2026年2月5日
寻找更多工作机会？点击这里！
工作类型：全职
工作类别：IT
职位：数据工程负责人
地点：纽约，纽约
仅限全职员工
职位描述
必须具备的技术/功能技能
AWS 数据工程服务（EMR/Glue, Redshift, Aurora, S3, Lambda），Spark，Python，Collibra，Snowflake/Databricks，Tableau。
角色与职责
从 API、文件/SFTP 和关系源获取和建模数据；使用 PySpark/SQL 和 dbt、Python 实施分层架构（原始/清洁/服务）。
设计和操作使用 Prefect（或 Airflow）的管道，包括调度、重试、参数化、SLA 和完善的运行手册。
在云数据平台上构建，利用 S3/ADLS/GCS 进行存储，利用 Spark 平台（例如 Databricks 或同等平台）进行计算；管理作业、密钥和访问权限。
发布受管数据服务并通过 Azure API 管理（APIM）进行身份验证/授权、策略、版本控制、配额和监控来管理其生命周期。
通过数据合同、验证/测试、血缘、可观测性和主动警报来加强数据质量和治理。
通过分区、集群、查询调优、作业大小和工作负载管理来优化性能和成本。
根据公司标准维护安全性和合规性（例如，PII 处理、加密、掩码）。
与利益相关者（分析、AI 工程和业务团队）合作，将需求转化为可靠的、可投入生产的数据集。
通过为下游消费打包数据集和元数据，启用 AI/LLM 用例，并在适当的情况下通过模型上下文协议（MCP）进行集成。
通过自动化常规任务、减少技术债务和维护清晰的文档，不断提高平台的可靠性和开发人员的生产力。
4-15 年专业数据工程经验。
较强的 Python、SQL 和 Spark（PySpark）技能，和/或 Kafka。
Snowflake（Snowpipe、Tasks、Streams）作为补充仓库。
Databricks（Delta 格式、工作流、目录）或同等 Spark 平台。
具有使用 Prefect（或 Airflow）、dbt、Spark 和/或 Kafka 构建 ETL/ELT 的实践经验。
具有将数据集引入云数据平台（存储、计算、安全、治理）的经验。
熟悉 Azure/AWS/GCP 数据服务（例如，S3/ADLS/GCS；Redshift/BigQuery；Glue/ADF）。
基于 Git 的工作流 CI/CD 和使用 Docker 的容器化（Kubernetes 是加分项）。
通用管理技能，如有
战略技术领导：定义数据架构、评估新技术、为基于 AWS 的管道设定技术标准
利益相关者沟通：弥合技术团队与业务利益相关者之间的差距，收集需求并报告进展
风险管理：主动识别数据工作流中的潜在瓶颈、安全风险或可扩展性问题
卓越运营：实施自动化、优化成本并保持高数据质量标准。
所需技能
DEVOPS 工程师
高级电子邮件安全工程师
