位置要求:
此职位为混合工作模式,位于纽约市。 远程工作不可用 - 候选人必须居住在纽约地区或愿意搬迁到该地区。
职责:
• 使用 Python、SQL 和 AWS 构建数据应用程序
• 根据需要从 API、数据库和其他来源构建批量数据摄取的 ETL 管道
• 将基本原则、方法和实践应用于简单和中等复杂的任务
• 积极识别并实施自动化任务的机会,开发可重用的框架
• 遵循编码、测试和设计可重用代码/组件的标准方法
• 在信息安全团队中担任数据工程师,使用多种数据、搜索和 AWS 技术
• 实施标准化、自动化的操作和质量控制流程,以提供准确及时的数据和报告,以满足或超越服务水平协议(SLA)
• 与其他工程团队成员协作,确保所有服务可靠、可维护,并与现有平台良好集成
• 审查功能和技术设计,识别风险和/或缺失的需求
• 提供技术文档和图纸,以促进提议的解决方案
• 与工程师、项目经理和管理层合作,了解数据需求
• 设计、构建和部署高效的数据管道到第三方和内部开发的系统
• 使用 Tableau、Python 和 R 等可视化工具制作和构建报告/仪表板
资格:
• 4-5 年 AWS 云及 AWS 服务(如 S3 存储桶、Lambda、API 网关、SQS 队列)经验
• 4-5 年批量作业调度和识别数据/作业依赖关系的经验
• 4-5 年使用 AWS 平台和 Python 进行数据工程的经验
• 熟悉 AWS 服务,如 EC2、S3、Redshift/Spectrum、Glue、Athena、RDS、Lambda 和 API 网关
• 熟悉软件 DevOps CI/CD 工具,如 Git、Linux 和 Shell 脚本
• 具备快速学习、组织和注重细节的能力
• 具有软件工程和开发经验
• 理解数据库模式设计
• 精通 Python
• 有分析数据以发现机会和解决差距的经验
• 具备 Python、Tableau、SQL 和 Excel 的经验
• 具有在云或本地大数据技术中工作的经验
• 有数据质量验证的经验
• 寻找具有安全驱动态度的个人
• 4-5 年以上的 Python 和 SQL 经验
• 4-5 年以上的数据建模经验
• 4-5 年以上的 ETL 设计实施和维护经验