作为初创公司的第一位数据工程师，我学到了什么

对于有数据科学背景的人来说，数据工程并不复杂。作为数据科学家，我们感觉到没有可用的数据或工具来完成这项工作是多么的痛苦。但我们可以学习，Airflow、AWS、Spark、Git、Python，凡是你能想到的东西。只要你知道目标是什么，就能在短时间内学会它们。漫无目的的学习很难有成效。

了解公司

知道要做什么和动手去做是两码事。这与公司的文化有关。在面试的时候我就知道，我加入了一个可以让我拥有自主权的公司，可以用我认为正确的方式去解决问题。你可以在面试中问他们数据对公司来说有多重要。只是用于提供支持吗？还是公司发展战略的一部分？他们对你是真诚的吗？如果数据并不是公司发展战略的一部分，那么你很可能没办法花很多时间去计划和做正确的事情。

数据就是产品

将 API、模型和仪表盘作为独立的产品，这为数据团队提供了极大的灵活性。但它们必须符合某些标准，这样才能将它们打通。将数据作为一种产品，并形成文化，保护团队免受日常业务问题的困扰——可以让分析师们去回答这些问题。我们的经理可以让我们免受外界的干扰，让我们能够集中精力学习，把事情做好。

寻求帮助

有时候你需要独自完成一些工作，但有时候向那些有经验的人寻求帮助会为你节省很多时间。如果团队里有经验丰富的人，可以问问他们之前在其他公司是怎么做的。即使他们不知道该怎么做，至少也会知道什么行得通，什么行不通。寻求帮助肯定会把你引向正确的方向。

把时间花在刀刃上

有些事情可以通过第三方工具轻松搞定，比如我在本文开头所说的 ETL 解决方案。如果你的数据仓库中没有来自 Facebook 的数据，那就没有必要浪费时间学习如何连接 Facebook Insights API；如果没有运行在 EMR 上的作业，就不需要学习如何在 EC2 上搭建 Spark 集群；如果没有 Glue Job，就不需要使用 EMR；如果没有 Athena 查询，就不需要 Glue Job。

先从尝试使用最简单的解决方案（不需要花很多时间维护的解决方案）开始。当简单的解决方案不能满足需求时，再开始学习其他工具。如果从一开始就使用复杂的解决方案可能会浪费你的时间。要专注于用最简单的解决方案尽可能快地提供业务价值。

构建不需要花太多时间维护的东西

花大半天时间去修复一个有问题的东西，这是最糟糕不过的事情了。如果经常出问题，那么要么是你做事的方式错了，要么没有用对工具，或者两者兼而有之。从一开始就做对事情可能会花掉你更多的时间，但在未来会为你节省时间。

诚实

如果有什么东西是你不懂的，请说出来，但也要证明你可以以及愿意去学。这样你就可以用工作时间学习新东西。

分享你的知识

向其他团队成员分享他们不知道的东西。这样有助于你专注学习，也有助于减少不同工种之前的工作摩擦。如果数据工程师、数据科学家和机器学习工程师之间有了默契，工作就会变得更加顺畅。结对编程是一个很好的实践，可以借机分享你的知识，并获得实时反馈。花点时间分享你的知识，看看你能为别人提供些什么。

花点时间小憩

在完成一个大项目后，比如部署了一个新的 ETL 管道，就可以花点时间做一些次要的任务，比如写文档或修复遗留 bug。欲速则不达，马不停蹄地开始另一项大项目可能会让你走得更慢。

【编辑推荐】

1. 26 岁当上数据总监，分享第一次做 Leader 的心得
2. 这些方法解决了数据清洗 80% 的工作量
3. 重磅！谷歌发布用于保护数据隐私的开发工具
4. 知名数据公司被查，你的爬虫会送老板进监狱吗_技术栈微信半月刊第49期
5. 全球首个软硬件推理平台：NVDLA 编译器正式开源

（编辑：PHP编程网 - 黄冈站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!