工作摘要:
Dexian 正在寻找一名 Hadoop 开发人员,为位于科罗拉多州山景城的客户提供机会。
职责:
• 构建 SQL/HIVE 数据库和表
• 使用 Spark、Elastic Search 在 HDP Hadoop 上开发分布式计算的大数据应用程序
• 及时识别、捕捉和沟通问题和风险
• 编写各种服务、组件,并参与 Java 和大数据/Hadoop 进程的开发
• 与内部和外部利益相关者进行技术讨论
• 与跨职能团队、测试团队协调,并推动未解决事项和问题的解决
• 关键战略和监管项目的端到端技术交付
• 通过用户故事和用户中心设计理解业务需求,并确定适当的解决方案
• 提供符合业务需求、可交付和可支持的解决方案设计
• 通过最小可行产品实验验证最佳技术选择和解决方案设计
要求:
• 熟练掌握 SQL 技能 - MySQL、HIVE、Impala、SPARK SQL 中的一种或多种
• 有来自消息队列、文件共享、REST API、关系数据库等的数据摄取经验,并熟悉 json、csv、xml 等数据格式
• 有使用 SPARK Structured steaming 的经验
• 有 Hadoop/大数据和分布式系统的工作经验
• 有使用 Spark、Sqoop、Kafka、MapReduce、HBase、SOLR、CDP 或 HDP、Cloudera 或 Hortonworks、Elastic Search、Kibana 等 NoSQL 数据库的经验
• 至少熟练掌握 Scala、Python、PHP 或 Shell 脚本等一种编程语言
• 有 Spark/MapReduce 或 SQL 作业的性能调优经验
• 具备 Linux 操作系统的经验和熟练度
• 具备近实时和批量数据管道的端到端设计和构建过程的经验
• 有在敏捷开发过程中工作的经验,并对软件开发生命周期的各个阶段有深入的理解
• 有使用 SVN、Git、Bit Bucket 等源代码和版本控制系统的经验
• 有使用 Jenkins 和 Jar 管理的经验
• 能够在最少的监督下自我启动,并具备在技能多样的团队中工作的能力
• 能够理解客户需求并提供正确的解决方案
• 具备解决复杂问题的强大分析能力
• 愿意解决问题并深入研究潜在问题的意愿
• 具备适应并继续学习新技术的能力非常重要
Dexian 是一家领先的人才供应、IT 和劳动力解决方案提供商,拥有超过 12,000 名员工和 70 个全球办事处。作为美国最大的 IT 人才供应公司和第二大少数民族拥有的人才供应公司,Dexian 于 2023 年通过 DISYS 和 Signature Consultants 的合并而成立。Dexian 的平台将人才、技术和组织连接起来,产生改变游戏规则的结果,帮助每个人实现他们的抱负和目标。
Dexian 的品牌包括 Dexian DISYS、Dexian Signature Consultants、Dexian Government Solutions、Dexian Talent Development 和 Dexian IT Solutions。访问 https://dexian.com/ 了解更多信息。
Dexian 是一家平等就业机会雇主,招聘和雇佣合格的候选人,不考虑种族、宗教、性别、性取向、性别认同、年龄、国籍、血统、公民身份、残疾或退伍军人身份。