大数据 - Hadoop 开发者

15个月前全职
Sysmind LLC

Sysmind LLC

location 纽约
unsaved
Hodoop - Databricks开发人员 马萨诸塞州波士顿 合同 混合型 职位描述: 角色概述 了解当前的应用基础架构并提出改进性能的新概念 记录与应用部署和基础架构支持相关的最佳实践和策略 开发可重用、高效、可扩展的程序,以及具有成本效益的迁移策略 在Databricks和不同的AWS服务中开发数据工程和机器学习流水线,包括S3、EC2、API、RDS、Kinesis/Kafka和Lambda,以构建无服务器应用 与IT团队和其他部门共同工作,将数据工程和机器学习应用迁移到Databricks/AWS 在需要时能够按紧迫时间表工作。核心/必备技能 良好的决策能力和问题解决能力 对Databricks基本原理/架构有扎实的理解,并具有在Databricks集群中设置Databricks模块(数据工程、机器学习和SQL数据仓库)的实际经验。 了解Databricks中的勋章架构、DLT和统一目录。 有将数据从本地Hadoop迁移到Databricks/AWS的经验 了解核心AWS服务、用途和AWS架构最佳实践 在不同领域有实际经验,如数据库架构、商业智能、机器学习、高级分析、大数据等。 对Airflow有扎实的了解 对AWS技术中的CI/CD流水线有扎实的了解 应用迁移,包括关系型数据库管理系统、Java/Python应用程序、模型代码、弹性等。 在Scala、Python方面有扎实的编程背景 关于公司: Sysmind LLC SYSMIND是一家平等机会雇主。 SYSMIND不会歧视,并将采取积极措施确保在雇佣、招聘、雇佣广告、薪酬、终止、晋升和其他雇佣条件方面不歧视员工或求职者。 公司规模: 100到499名员工 行业: 人力资源/就业机构 成立时间: 1999年 网站: http://www.sysmind.com