高级大数据工程师

15个月前远程全职
Amberdata

Amberdata

location 旧金山
unsaved
Amberdata提供全面的数字资产数据和区块链网络、加密市场和去中心化金融的见解,为金融机构提供重要的研究、交易、风险、分析、报告和合规数据。 我们正在寻找一位有经验的大数据工程师,希望能够帮助构建尖端平台,并对数字资产金融市场和大数据感到兴奋。 你将花时间在以下方面: • 解决有趣且复杂的技术挑战 • 设计端到端解决方案,处理和存储PB级数据 • 编写高效、清晰且经过良好测试的代码 • 使用持续交付实践和DevOps工具交付软件 • 定义大数据最佳实践和准则 • 在协作和快节奏的环境中工作 • 拥有很高的自主权,为创意和架构做出贡献 • 在高性能分布式系统上工作 我们所寻找的人才: • 8年以上的实际编码和软件设计经验 • 熟练掌握至少两种编程语言,并对Java、Scala、Go或Python中的一种有深入专业知识 • 使用大数据处理框架和工具(如Hadoop、EMR、Pig、Hive、Databricks等)实现可扩展和可靠的服务的经验。 • 使用Airflow、Luigi、Dagster等编排工具设计和管理数据工作流的经验。 • 在流处理框架(如Flink或Storm)中的工作经验 • 在管道监控、数据验证、测试等方面建立和推广高标准的经验。 • 对于分析/运营使用的高效数据模型有了解 • 对大数据问题、分布式系统充满热情,并有学习和成长的愿望 • 具备DevOps思维方式、基础设施即代码、持续交付和测试驱动开发的实际经验 • 具备AWS、云原生架构、Kubernetes、Docker等方面的实际经验 • 本科、硕士或博士学位(相关领域),或者有一个有趣的理由没有学位 • 出色的沟通能力 我们提供的福利: • 有竞争力的薪资,包括非常有吸引力的股票期权计划 • 员工福利,包括医疗保健(医疗、牙科、视觉)和401k计划 • 无与伦比的机会,帮助建立一个定义类别的公司 • 100%远程工作