加入一个充满活力的团队，在这里，您的独特技能将为成功的文化和团队做出贡献。
作为摩根大通消费者与社区银行 - 连接商务技术部门的数据工程师 III - Python / 数据湖，您将作为敏捷团队的一名资深成员，设计并交付可信的数据收集、存储、访问和分析解决方案，以安全、稳定和可扩展的方式进行。您负责在多个技术领域内开发、测试和维护关键的数据管道和架构，以支持公司的业务目标。
工作职责
• 支持对控制措施的审查，以确保企业数据的充分保护
• 根据业务或客户的请求，建议并进行一到两个工具的自定义配置更改，以生成产品
• 根据新的用例更新逻辑或物理数据模型
• 经常使用 SQL，并理解 NoSQL 数据库及其在市场中的细分
• 为团队的多样性、机会、包容性和尊重文化做出贡献
所需资格、能力和技能
• 在数据工程概念方面接受过正式培训或认证，并具有 3 年以上的实际经验
• 在数据生命周期方面的经验
• 精通用于数据工程任务的 Python 编程语言（次要替代：Java）
• 精通集群计算框架，如 Spark 或 Flink
• 有构建数据湖仓平台的经验（AWS 数据湖或 Databricks 或 Hadoop）
• 有使用调度/编排工具（如 Airflow 或 AWS Step Functions 或类似工具）构建 DAGs/工作流的经验
• 精通 SQL（例如，连接和聚合）
• 对 NoSQL 数据库有工作理解
• 在统计数据分析方面有显著经验，能够确定适当的工具和数据模式进行分析
• 有在工具中自定义更改以生成产品的经验
优先资格、能力和技能
• 精通使用 AWS 服务（如 Glue、EMR、MSK、Kinesis 等）开发数据管道
• 有使用关系数据存储（Postgres 或类似）和 NoSQL 数据存储（Cassandra 或 Dynamo 或类似）的经验
• 精通基础设施即代码（Terraform）
• 了解数据序列化格式（例如，JSON、Avro、Protobuf）、大数据存储格式（例如，Parquet、Iceberg、Hudi）、数据处理方法（批处理、微批处理、流处理）和数据建模技术（维度模型、数据金库、Kimball、Inmon） 
