大数据工程师

15个月前全职
PERSOLKELLY SINGAPORE PTE. LTD.

PERSOLKELLY SINGAPORE PTE. LTD.

location 新加坡
unsaved
角色与职责 关于客户 知名保险公司 职责 · 创建并维护最佳的数据流水线架构, · 组装满足功能/非功能业务需求的大型复杂数据集。 · 确定、设计和实施内部流程改进:自动化手动流程、优化数据交付、重新设计基础架构以提高可扩展性等。 · 构建所需的基础架构,以便使用SQL和AWS“大数据”从各种数据源中提取、转换和加载数据。 · 构建利用数据流水线提供对客户获取、运营效率和其他关键业务绩效指标的可行性洞察的分析工具。 · 通过多个数据中心和AWS地区在国家边界上保持我们的数据分离和安全。 · 为分析和数据科学家团队成员创建数据工具,以帮助他们将我们的产品建设和优化成为创新的行业领导者。 · 具备高级的SQL知识和与关系数据库的工作经验,包括查询编写(SQL),并熟悉各种数据库。 · 具备构建和优化“大数据”数据流水线、架构和数据集的经验。 · 具备对内部和外部数据和流程进行根本原因分析以回答特定业务问题并找到改进机会的强大分析能力。 · 具备处理非结构化数据集的分析技能。 · 构建支持数据转换、数据结构、元数据、依赖性和工作负载管理的流程。 技能/要求 · 在数据工程师角色方面至少有6年的经验,取得计算机科学、统计学、信息学、信息系统或其他数量化领域的研究生学位。 · 具备大数据工具的经验:Hadoop、Spark、Kafka等。 · 有关系SQL和NoSQL数据库的工作经验,包括Postgres和Cassandra。 · 具备数据流水线和工作流管理工具的经验:Azkaban、Luigi、Airflow等。 · 必须具备AWS云服务的经验:EC2、EMR、RDS、Redshift · 具备流处理系统的经验:Storm、Spark-Streaming等。 · 对面向对象/函数脚本语言(如Python、Java、C++、Scala等)有良好的理解。 · 有兴趣申请以上职位的候选人,请将简历发送至arun_balaji@persolkelly.com 我们很遗憾地通知,只有入围候选人将会收到通知。 PERSOLKELLY Singapore Pte Ltd EA许可证号:01C4394 EA注册号:R23118975(ABDUL RAHMAN ANSARI RAJA) • ********************************* 此电子邮件及其附件中包含的信息可能包含机密信息或受其他保护的信息。如果您不是本信息的预期收件人,或者如果本信息错误地发送给您,请立即通过回复邮件通知发件人,然后删除本信息,包括任何附件。任何非预期收件人传播、分发或使用本信息的内容都是严格禁止的。 通过向我们发送您的个人数据和简历(CV),您被视为同意PERSOLKELLY Singapore Pte Ltd及其在本国和海外的子公司和关联公司收集、使用和披露您的个人数据,以评估适用性就业的适合性,进行参考检查,管理与就业相关的服务以及在我们的隐私政策中所述的其他目的。我们的完整隐私政策可在www.persolkelly.com.sg上找到。如果您希望撤回您的同意,请给我们发送电子邮件告知我们。如果您有任何疑问,请随时与我们联系。 任何形式的劳动力参与方都必须严格遵守适用的法规和法律,以确保本地公平就业实践,并投入合理的努力来建立强大的新加坡核心劳动力,根据素质招聘和选拔候选人,并禁止基于年龄、种族、性别、宗教、婚姻状况和家庭责任或残疾进行歧视。有关更多信息,请参阅MOM和TAFEP网站。 • ********************************* 告诉雇主你拥有哪些技能 RDS Airflow 可扩展性 Scala 数据结构 Hadoop 数据转换 信息学 Cassandra EC2 工作流管理 EMR 客户获取