减少作为SQL数据分析师的返工

本文概述

• 推荐工具
• 总结

从理论上讲, 我很乐意在工作中的每一分钟都”开创新”, 并朝着自己的目标取得进步。我知道这是不切实际的, 如果我真的想最大限度地提高生产力, 那甚至是不明智的。但是, 显然没有什么比重新做一些已经做好的事情没有效果的。而且, 不幸的是, 数据工作充满了如下情况：

产品经理或市场分析师重新编写了BI团队已经产生的查询, 因为发布的报告并非特定于其产品或市场。

一个新的, 有趣的问题导致在电子表格中生成一个临时报告, 该报告必须每天, 每周或每月认真地使用复制和粘贴的数据进行更新。

有人问我一个问题, 我知道我在6周前回答了吗？还是8周前呢？无论如何我将把这个问题放在哪里……等到我找到已经完成的作品时, -编写愚蠢的查询。

除非他们设置你的工作流来避免它, 否则分析人员可能会花费大量时间在他们(或团队中的某人)已经探索过的地面上旅行。这里有一些技巧, 可帮助你避免在一天的大部分时间内进行返工。

馆长：为你的最佳作品建立一个文档齐全的图书馆。从GitHub到桌面上的电子表格, 有数十种系统和工具可帮助你完成此任务。无论选择哪种系统, 请确保：

1. 你捕获可搜索的标签或类别。按时间顺序列出你所编写的所有有用查询总比没有好, 但是使用标签使你可以找到与特定问题或主题相关的所有查询, 这会使图书馆发挥更大的作用。
2. 该系统是你工作流程的一部分。如果你必须去搜索并打开文档以保存查询, 则可能要等到你至少重写了该查询六次之后才能执行。

你需要决定的一件事是, 是要保存每个查询还是要保存最有用的查询。有时很难知道你将来是否还会再次查询, 因此保存每个人可以消除预测未来的需要。但是, 你还需要对库中的更多查询进行排序以找到正确的查询。

分享：访问自己的作品是一个不错的开始。可以访问整个团队的工作是一个巨大的力量倍增器。对于刚开始的分析师或产品管理和市场分析师等职能部门中花费较少的总时间编写代码的人员而言, 尤其如此。产品经理通常可以查询由数据分析师或BI团队编写的查询, 并对其进行调整以回答与她/他的产品直接相关的类似问题。

分享时, 策划至关重要。还有更多的查询要分类, 搜索者缺乏作者通常具有的上下文。元数据(例如谁编写查询, 何时编写查询或最后一次运行查询)可以帮助缩小字段范围。允许”支持”的系统还可以帮助识别最有用的查询, 并将过时或垃圾的查询标记为删除。

发布：将结果放在协作空间中, 并将其链接回原始代码。无论是在BI平台上还是在共享电子表格中, 都可以让其他人访问你所做的工作, 并在需要时可以复制或编辑它。并确保你参与其他人以类似方式发表的作品。 BI仪表板是最精致的示例, 但是组织良好的电子表格系统可以提供有用但边际更小的报告, 并且可以使仪表板避免过度拥挤。

自动化：你发布的数据越多, 更新时间就越多。从技术上讲, 更新可能不会重做, 但可能会浪费大量时间。花一些时间适当地组织数据和设置自动化可以减轻你的负担。

推荐工具

• GitHub(Curate＆Share)入门价格：最多3位合作者免费

  Git的主要优势在于共享和版本控制。多个编辑者可以进行更改而不会覆盖过去的版本, 因此你始终可以根据需要进行跟踪, 并且错误地选择了旧版本的代码的风险也较小, 因为新版本显然已链接到该版本。 GitHub允许用户在可视界面(而不是命令行)中使用Git, 并将你的项目引入网络。

  GitHub面临的挑战是, 它通常无法与你的工作流完美融合。你需要将查询或编辑转移到存储库中的文件, 这增加了一个额外的步骤…这需要系统范围内的整个团队的纪律。

• SeekWell(Curate, Share, Publish, Automate)定价：Curate, Share, Publish免费, Automate每月49美元

  我们构建了SeekWell, 以允许团队围绕共享的SQL存储库以及与Google表格的集成进行协作。 SeekWell将共享的SQL存储库和与Google表格的集成相结合。你的团队可以编写SQL并在应用程序中获取数据, 也可以将数据直接发送到Sheets。然后可以将数据设置为按计划(每5分钟更新一次)进行更新。

  同时, 每个查询都会自动保存在存储库中, 团队中的任何人都可以根据查询的内容, 作者, 运行时间以及要回答的问题(如果标记正确)进行搜索。

  SeekWell的主要优势在于它与分析师工作流程的紧密集成。无需在程序之间切换即可在共享电子表格中写入, 保存, 搜索或发布数据。

• Snipplr(共享)定价：免费

  Snipplr是一个基于Web的存储库, 使你可以保存和与团队共享代码。它没有相同的Git版本控制, 但使用起来非常简单。

自己动手做

当然, 你始终可以”自己动手”。你可以在共享电子表格中保存和共享查询。要将数据发布和自动化到Google表格中, 请在此处了解如何开发自己的应用脚本。要将数据发送到Excel, 你需要设置ODBC连接。

总结

最大限度地利用花在回答有趣的新问题上的时间必然意味着要限制你花费在解决别人已经回答的问题以及手动更新报告上的时间。整理最佳代码, 与团队共享你的工作, 发布与源代码链接的结果以及自动执行更新过程, 可以最大程度地减少你在返工上花费的时间, 并将更多的时间用于开拓创新。

如果你想了解有关SQL基础知识的更多信息, 请参加srcmini的免费的SQL for Data Science入门课程。