大数据开发工程师是做什么的

开发工程师是负责设计、构建和维护大规模数据处理系统的专业人员。他们使用各种技术和工具，如Hadoop、Spark、NoSQL数据库等，来处理海量数据，以帮助企业进行数据分析和业务决策。以下是开发工程师的具体职责：

1. 数据处理工具ETL的建设和维护

开发工程师负责公司平台数据处理工具ETL的建设、功能规划、平台演进和维护调优等工作。ETL（Data Extraction, Transformation, and Loading）是指将各种格式的数据从不同的数据源中抽取、清洗、转化，并加载到目标数据仓库中。

2. 平台的设计和开发

开发工程师承担平台架构的整体设计，包括数据抽取、清洗、转化等数据处理程序的开发。他们还为业务运营提供技术支持，完成应用系统的搭建和维护。

3. 应用系统的后端开发

开发工程师负责企鹅游戏应用系统的后端开发工作，处理包括高并发场景和复杂业务逻辑下数据平台的开发设计。他们需要具备本科及以上学历，并熟悉各种技术和工具。

4. 参与规划设计和业务建模

开发工程师参与规划设计和业务建模工作，并为数据运营平台搭建提出可行性建议。他们需要了解企业的业务需求，将数据模型与业务需求相结合，以提供有效的数据分析和决策支持。

5. 数据分析和数据仓库建设

开发工程师负责数据仓库建设、ETL开发、数据分析、数据指标统计等工作内容。他们需要熟练掌握数据仓库、Hadoop生态体系、计算及二次开发工具，以及相关的数据分析技术。

6. 分布式计算平台的搭建和维护

开发工程师负责基于Hadoop/Spark/Hive/Kafka等分布式计算平台的搭建、维护和优化。他们需要了解这些分布式计算框架的工作原理和使用方法，以提高数据处理和分析的效率。

7. 工具和平台的架构设计

开发工程师主要负责公司平台的开发和维护，以及相关工具和平台的架构设计。他们需要根据业务需求和数据规模，选择和搭建适合的工具和平台，以支持企业的数据处理和分析。

开发工程师是负责设计、构建和维护大规模数据处理系统的专业人员。他们需要掌握各种技术和工具，熟悉数据分析和业务需求，以提供高效、可靠的数据处理和分析解决方案。