AWS大数据工程师

15个月前全职
Compunnel Inc.

Compunnel Inc.

location 洛杉矶
unsaved
主要技能 Python(Pandas)AWS云服务大数据批处理(非流式)Spark / PySpark数据并行处理精通面向对象编程最佳实践 数据/软件工程师 航班利润团队(航班票价工作平台) 处理和处理航班定价(票价)数据,以实时为竞争定价的消费者提供服务。 分析完成后,我们通过创建复杂逻辑来响应数据,并为UAL团队提供程序,以在内部和对外客户中显示航班价格。 所需技能集(将根据您过去的项目经验在以下领域进行面试): Python编码和OOP技能/专业知识+ NumPy,Pandas 在Docker和/或Kubernetes中进行容器化 部署在AWS云服务中(iam,s3,ec2,ecs)。 处理大容量数据集,并在Python中编写业务逻辑 批处理和数据工程。 软件设计架构知识-单例,观察者,DDD,DI等。 正式职位描述 通常负责开发,设计和实施新的或修改后的软件产品或正在进行的业务项目。 为市场销售或大规模专有软件内部使用设计,开发,文档化,测试和调试新的和现有的软件系统和/或应用程序。 作为开发项目的技术专家。 参与完整的开发生命周期,包括需求分析和设计。 根据概念设计和陈述的业务需求编写技术规范。 支持,维护和文档化软件功能。 分析代码以找出错误的原因,并根据需要修改程序。参与软件设计会议并分析用户需求以确定技术要求。 与最终用户咨询以原型,完善,测试和调试程序以满足需求。 主要职责 与其他开发人员,设计师,业务和系统分析师密切合作 开发高效处理大数据量的应用程序。 为应用程序/系统提供行业最佳实践,指南和治理的指导。 与质量保证部门密切合作,确保提供具有质量结果的最终产品。 对IT解决方案进行效益分析,并就技术方向提出建议。 研究,设计,实施和管理软件程序 测试和评估新程序 确定现有程序的修改区域,并随后开发这些修改 编写和实施高效的代码 确定操作可行性 开发质量保证程序 部署软件工具,流程和指标 维护和升级现有系统 必备条件 使用Python(Pandas)进行编程 数据库:MySQL,RDS,Redshift,Postgres或类似 具有大数据集的批处理经验 具有Spark,PySpark的经验 在AWS平台上的开发经验 通过Docker进行容器化 具有测试自动化经验 教育:学士学位