地点要求:
这是一个位于纽约市的混合角色。不提供远程工作——候选人必须居住在纽约地区或愿意搬迁到该地区。
职责:
使用Python、SQL和AWS构建数据应用程序
为从API、数据库和其他来源批量数据摄取构建ETL管道
将基本原则、方法和实践的知识应用于简单和中等复杂的任务
主动识别和实施自动化任务和开发可重用框架的机会
遵循编码、测试和设计可重用代码/组件的标准方法
在使用多种数据、搜索和AWS技术的信息安全团队中担任数据工程师
实施标准化、自动化的操作和质量控制流程,以提供准确和及时的数据和报告,以满足或超出SLA
与其他工程团队成员合作,确保所有服务可靠、可维护并与现有平台良好集成
审查功能和技术设计,以识别风险区域和/或缺失的需求
提供技术文档和图纸以推广拟议的解决方案
与工程师、项目经理和管理层合作,了解数据需求
设计、构建和部署高效的数据管道到第三方和内部开发的系统
使用Tableau、Python和R等可视化工具制作和构建报告/仪表板
资格:
4-5年AWS云和AWS服务(如S3存储桶、Lambda、API网关、SQS队列)经验
4-5年批处理作业调度和识别数据/作业依赖关系经验
4-5年使用AWS平台和Python进行数据工程的经验
熟悉AWS服务,如EC2、S3、Redshift/Spectrum、Glue、Athena、RDS、Lambda和API网关
熟悉软件DevOps CI/CD工具,如Git、Linux和Shell脚本
具备快速学习、组织和注重细节的能力
具有软件工程和开发经验
了解数据库模式设计
精通Python
具有分析数据以发现机会和解决差距的经验
具有Python、Tableau、SQL和Excel经验
具有云或本地大数据技术工作经验
具有数据质量验证经验
寻找具有安全驱动态度的个人
4-5年以上Python和SQL经验
4-5年以上数据建模经验
4-5年以上ETL设计实施和维护经验