数据工程师/大数据开发者

15个月前全职
Sigmaways Inc

Sigmaways Inc

location 洛杉矶
unsaved
作为大数据团队的开发人员,您将通过为客户业务线开发数据应用程序,为解决业务需求提供高质量的技术解决方案。 您将为多个战略性数据计划和数据分析应用程序的开发和持续维护做出贡献。 职责: 数据工程师将负责设计、开发和支持数据应用程序和平台,重点关注大数据/Hadoop、Python/Spark和其他相关技术。 与领导层合作构思我们的下一代产品,为我们的数据平台技术架构做出贡献(包括改进我们的云基础设施和DevOps),领导分析和解决生产问题,并帮助不断改进我们的流程。 与产品管理、业务、工程师、跨职能分析师和数据科学家密切合作。 展示出驾驭组件从构思到最终产品交付的高超能力。 推荐并贡献软件工程最佳实践,包括那些对整个企业有影响的实践。 对所生产的任何组件或应用程序的质量、总拥有成本、可维护性和安全性负责。 在软件开发生命周期的所有阶段(例如编码、测试、开发)都表现出专家级的能力,并指导他人进行这些实践。 精通多种技术,并能快速学习新技术。 资格: 设计、开发和维护大数据平台,包括数据湖、运营数据仓库和分析数据仓库。 具有管理和优化Spark、Hadoop/MR、Hive等大数据生态系统以及Kafka等分布式系统的丰富经验。 具有使用BigData/Hadoop、Python/Spark等设计、开发数据应用程序或数据平台的经验。 具有使用云数据工具(如Hive、Spark、EMR、Glue ETL和Catalog、Snowflake等)设计、构建和管理数据湖摄取、验证、转换和消费服务的经验。 具有使用Cloudera/Hadoop、Nifi、Spark等ETL代码和工具的经验。 具有使用PostgreSQL和MySQL/MariaDB等SQL数据库系统的经验。 对AWS、Azure云基础设施、分布式系统和可靠性实践有深入的技术知识。 具有使用Terraform、Jenkins、Kubernetes和Docker的经验。 具有API使用和集成的经验。 具有使用Python和Shell脚本编程的经验。 #J-18808-Ljbffr