远程数据工程师

16个月前远程全职
AppleOne Employment Services

AppleOne Employment Services

location 旧金山
unsaved
• 全面福利:牙科、健康和视力 • 401k匹配 • 带薪休假和延长休假 • 高薪最高可达13万美元 使用PostgreSQL、Elasticsearch数据库、Spark、数据湖和事件驱动解决方案的组合,在云端和本地设计、构建、维护和优化大规模数据处理和报告模块。具备使用PostgreSQL等大数据处理和查询工具设计和开发高性能系统的实际经验。 合适的候选人需要具备开发ETL流水线的专业知识,其中涉及Postgres、SQL查询、pgPL/SQL、Python脚本、Spark、数据湖和Airflow。最好能够理解多语言文本数据匹配过程(音译、翻译和模糊匹配)。 • 在关系数据库和数据湖上设计、开发和维护高性能的复杂数据处理和查询逻辑。 • 参与与内部团队成员的各种需求会议,并将业务/功能需求转化为技术解决方案,同时提供支持材料,如用例、设计、流程图、模型、规范和报告。 • 为需求、开发和测试提供技术支持。 • 直接与项目管理、商业智能和数据工程合作,制定最终用户培训和参考资料。 • 起草影响数据分析和过程建模的标准和程序,以及大规模数据设计、处理、维护和管理。 • 支持与可扩展性和性能相关的倡议。 • 进行性能调优审查以提供改进,并准备书面报告,包括建议。 • 具有使用GitLab的经验,并能够在不同阶段(开发、QA、生产)上构建和实施持续开发的CI/CD流水线。 基本要求 • 在Postgres或Oracle上拥有8年以上的数据库开发经验,包括使用pgpl/sql或pl/sql编程语言的SQL、存储过程 • 5年以上的ETL过程经验。在云环境中,特别是在AWS上进行此操作将是一个重要的加分项。 • 4年以上的数据工程经验,特别是使用Spark、Scala或Pyspark • 4年以上的Python开发经验 • 4年以上的AWS环境(RDS、Lambda、Step Functions、Kinesis、Athena等)开发经验 • 4年以上的面向对象编程语言(Java、C、C++等)开发经验 • 必须具备Linux/Unix操作系统的工作经验。 • 必须具备容器化开发经验。 • 必须具备CI/CD自动化部署经验。 • 必须具备在PostgreSQL或Oracle中进行性能调优和优化的经验。 • 具有Elasticsearch索引构建和查询经验将是一个加分项。 • 具有Databricks工作经验将是一个加分项。 • 理解基于Web的应用程序工作将是一个加分项。 • 自信、积极主动的自我启动者,擅长采取主动,评估要求,制定计划,并在实现计划方面发挥领导作用。 • 具备与大数据/数据湖以及规范化、数据仓库、事实表、维度、视图、索引和分区等数据库结构的决策和智能系统概念的高级知识。 #1091 AppleOne自豪地成为一家机会均等的雇主。我们相信人才,我们致力于与各个背景的人合作,并将他们与与我们在多样性和包容性方面目标相一致的客户和公司联系起来。所有合格的申请人将获得平等就业机会,不论种族、宗教、血统、肤色、国籍、年龄、性别认同或表达、遗传信息、婚姻状况、医疗状况、残疾、受保护的退伍军人身份、性别(包括怀孕)、性取向或其他适用的联邦、州或地方法律所保护的特征。 对于持续13周或更长时间的临时任务,公司很高兴提供主要医疗、牙科、视力、401k和任何法定病假工资(如有需要)。 如果您因残疾或健康状况需要合理的住宿来搜索工作机会或申请职位,请联系您的招聘代表,他们将与我们的人力资源团队联系。 AppleOne根据法律要求在某些地点参加E-Verify计划。了解更多关于E-Verify计划的信息。https://e-verify.uscis.gov/web/media/resourcesContents/E-Verify_Participation_Poster_ES.pdf