数据工程师

14个月前全职
RIDIK SOFTWARE SOLUTIONS PTE. LTD.

RIDIK SOFTWARE SOLUTIONS PTE. LTD.

location 新加坡
unsaved
工作职责 • 使用面向数据的编程语言和可视化软件,开发和实施技术和分析应用程序,将原始数据转化为有意义的信息。 • 应用数据挖掘、数据建模、自然语言处理和机器学习技术,从大型结构化和非结构化数据集中提取和分析信息。 • 可视化、解释和报告数据发现,并可能创建动态数据报告。 工作要求 • 计算机科学、数据工程或相关领域的学士学位。 • 必须具备数据工程经验,精通AWS服务、Databricks和/或Informatica IDMC。 • 熟练掌握Python、Java或Scala等编程语言,用于构建数据流水线。 • 评估潜在的技术解决方案,并提出解决数据问题的建议,特别是对于复杂数据转换和长时间运行的数据处理的性能评估。 • 对SQL和NoSQL数据库有深入了解。 • 熟悉数据建模和架构设计。 • 出色的问题解决和分析能力。 • 良好的沟通和协作能力。 • 有AWS认证(例如AWS认证数据分析-专业,AWS认证数据分析-专业)、Databricks认证和Informatica认证者优先考虑。 首选技能 • 在Databricks上具有Apache Spark和Hadoop等大数据技术经验。 • 熟悉Docker和Kubernetes等容器化和编排工具。 • 熟悉Tableau或Power BI等数据可视化工具。 • 理解用于管理和部署数据流水线的DevOps原则。 • 具有版本控制系统(例如Git)和CI/CD流水线的经验。 • 对数据治理和数据目录工具,特别是Informatica IDMC有了解。