AWS 数据工程师 - ETL,Python 与安全(混合工作模式,纽约市)

1小时前全职
56.6万 - 70.8万 / 年 TSG Risk Management

TSG Risk Management

location 纽约
unsaved
位置要求: 此职位为混合工作模式,位于纽约市。 远程工作不可用 - 候选人必须居住在纽约地区或愿意搬迁到该地区。 职责: • 使用 Python、SQL 和 AWS 构建数据应用程序 • 根据需要从 API、数据库和其他来源构建批量数据摄取的 ETL 管道 • 将基本原则、方法和实践应用于简单和中等复杂的任务 • 积极识别并实施自动化任务的机会,开发可重用的框架 • 遵循编码、测试和设计可重用代码/组件的标准方法 • 在信息安全团队中担任数据工程师,使用多种数据、搜索和 AWS 技术 • 实施标准化、自动化的操作和质量控制流程,以提供准确及时的数据和报告,以满足或超越服务水平协议(SLA) • 与其他工程团队成员协作,确保所有服务可靠、可维护,并与现有平台良好集成 • 审查功能和技术设计,识别风险和/或缺失的需求 • 提供技术文档和图纸,以促进提议的解决方案 • 与工程师、项目经理和管理层合作,了解数据需求 • 设计、构建和部署高效的数据管道到第三方和内部开发的系统 • 使用 Tableau、Python 和 R 等可视化工具制作和构建报告/仪表板 资格: • 4-5 年 AWS 云及 AWS 服务(如 S3 存储桶、Lambda、API 网关、SQS 队列)经验 • 4-5 年批量作业调度和识别数据/作业依赖关系的经验 • 4-5 年使用 AWS 平台和 Python 进行数据工程的经验 • 熟悉 AWS 服务,如 EC2、S3、Redshift/Spectrum、Glue、Athena、RDS、Lambda 和 API 网关 • 熟悉软件 DevOps CI/CD 工具,如 Git、Linux 和 Shell 脚本 • 具备快速学习、组织和注重细节的能力 • 具有软件工程和开发经验 • 理解数据库模式设计 • 精通 Python • 有分析数据以发现机会和解决差距的经验 • 具备 Python、Tableau、SQL 和 Excel 的经验 • 具有在云或本地大数据技术中工作的经验 • 有数据质量验证的经验 • 寻找具有安全驱动态度的个人 • 4-5 年以上的 Python 和 SQL 经验 • 4-5 年以上的数据建模经验 • 4-5 年以上的 ETL 设计实施和维护经验