远程数据工程师

16个月前远程全职
AppleOne

AppleOne

location 旧金山
unsaved
这个远程数据工程师职位具备以下特点: • 全面福利:牙科、健康和视力 • 401k匹配 • 带薪休假和延长休假 • 高薪,最高可达13万美元 使用PostgreSQL、Elasticsearch数据库、Spark、数据湖和事件驱动解决方案的组合,设计、构建、维护和优化大规模数据处理和报告模块,云端和本地端。具备使用PostgreSQL等大数据处理和查询工具设计和开发高性能系统的丰富经验。 合适的候选人需要具备开发ETL流水线的专业知识,其中涉及到Postgres、SQL查询、pgPL/SQL、Python脚本、Spark、数据湖和Airflow。最好能够理解多语言文本数据匹配过程(音译、翻译和模糊匹配)。 • 在关系型数据库和数据湖上设计、开发和维护高性能复杂数据处理和查询逻辑。 • 参与与内部团队的各种需求会议,并将业务/功能需求转化为技术解决方案,同时提供支持材料,如用例、设计、流程图、模型、规范和报告。 • 为需求、开发和测试提供技术支持。 • 与项目管理、商业智能和数据工程直接合作,开发最终用户培训和参考材料。 • 起草影响数据分析和过程建模的标准和程序,以及大规模数据设计、处理、维护和管理。 • 支持与可扩展性和性能相关的倡议。 • 进行性能调优评审,提出改进意见,并准备书面报告,包括建议。 • 具备使用GitLab并能够在不同阶段(开发、QA、生产)上构建和实施持续开发的CI/CD流水线的经验。 基本要求 • 在Postgres或Oracle上拥有8年以上的数据库开发经验,包括使用pgpl/sql或pl/sql编程语言的SQL、存储过程 • 5年以上的ETL流程经验。在云环境中特别是在AWS上进行此项工作将是一个重要的加分项。 • 4年以上的数据工程经验,特别是使用Spark、Scala或PySpark • 4年以上的Python开发经验 • 4年以上的AWS环境开发经验(RDS、Lambda、Step functions、Kinesis、Athena等) • 4年以上的面向对象编程语言开发经验(Java、C、C++等)。 • 必须具备Linux/Unix操作系统的工作经验。 • 必须具备容器化开发经验。 • 必须具备CI/CD自动化部署经验。 • 必须具备在PostgreSQL或Oracle中进行性能调优和优化的经验。 • 具备Elasticsearch索引构建和查询经验将是一个加分项。 • 具备Databricks工作经验将是一个加分项。 • 理解基于Web的应用程序如何工作将是一个加分项。 • 自信、积极主动、善于主动,擅长采取主动行动、评估需求、制定计划,并在实现计划方面发挥领导作用。 • 具备与大数据/数据湖以及规范化、数据仓库、事实表、维度、视图、索引和分区等数据库结构相关的决策和智能系统概念的高级知识。 #1091 AppleOne自豪地成为平等机会雇主。我们相信人们,并致力于与各种背景的人们合作,并将他们与分享我们多样性和包容性目标的客户和公司联系起来。所有合格的申请人都将得到平等的就业机会,不论种族、宗教、血统、肤色、国籍、年龄、性别认同或表达、基因信息、婚姻状况、医疗状况、残疾、受保护的退伍军人身份、性别(包括怀孕)、性取向或其他适用的联邦、州或地方法律特征。 《了解您的权利》海报请点击此处查看: https://www.eeoc.gov/sites/default/files/2023-06/22-088_EEOC_KnowYourRights6.12.pdf 支付透明政策请点击此处查看: https://www.dol.gov/sites/dolgov/files/ofccp/pdf/pay-transp_%20English_formattedESQA508c.pdf 对于持续13周或更长时间的临时工作,公司很高兴提供重大医疗、牙科、视力、401k和任何法定病假工资。 我们致力于与残疾人士合作,并为他们提供合理的住宿。如果您需要就业过程的任何部分合理的住宿,请与您的人员代表联系,他们将与我们的人力资源团队联系。 AppleOne根据法律要求在某些地点参与E-Verify计划。了解更多关于E-Verify计划的信息。 https://e-verify.uscis.gov/web/media/resourcesContents/E-Verify_Participation_Poster_ES.pdf