我搭建了一条数据管道,追踪自己想进入的就业市场

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-10-22735 阅读💛 11 收藏
我搭建了一条数据管道,追踪自己想进入的就业市场

📌 One-Sentence Summary

本文介绍了作者如何搭建数据管道,追踪数据工程岗位的市场趋势,包括选择 Airflow 和 DuckDB 等工具、从 Hacker News 和 RemoteOK 等来源提取数据,以及使用 dbt 快照跟踪职位空缺随时间的变化。

📝 Summary

作者正转向数据工程领域,于是搭建了一条数据管道,用来监测相关岗位的就业市场。项目包括使用 DuckDB 设置增量加载系统、从 Hacker News 和 RemoteOK 提取数据,并利用 dbt 快照跟踪职位列表的状态。文章详细讲述了过程中遇到的技术难题,例如 API 限制和数据库配置问题,也列出了后续使用 Airflow 自动化这条数据管道的计划。

💡 Main Points

作者选择 Airflow 作为编排工具、DuckDB 作为数据仓库来搭建管道,尽管最初遇到了 BigQuery 的付费要求这一难题。

作者调研了招聘信息中最常用的工具后,选择 Apache Airflow 负责编排。但由于发现 BigQuery 意外要求付费,项目转而使用 DuckDB,无需一开始就投入资金,也能完成所需的数据转换和快照操作。

作者以 Hacker News 为测试数据源,成功实现增量加载,大幅减少了后续运行时需要处理的数据量。

管道会保存上次处理的故事 ID 作为水位标记,因此每次只获取上次运行后发布的新故事。这项优化将数据量从数百条减少到寥寥几条,展现了增量加载的效率。

作者发现 Remotive API 存在严重问题,无法返回动态数据,因此改用 RemoteOK API。

无论搜索条件或时间如何变化,Remotive API 返回的似乎始终是同一份静态职位列表。作者因此放弃这个数据源,转而使用能够正常提取职位信息的 RemoteOK。

作者使用 dbt 快照跟踪职位列表状态,以便区分仍在招聘的职位和已经关闭的职位。

通过在 dbt 快照中启用「hard_deletes」选项,职位信息从数据源消失时会在数据库中标记为已关闭,而不是直接删除。这样就能追踪职位供应情况随时间的变化。

💬 Key Quotes

我还没有数据工程师的工作,却已经在搭建生产级基础设施,追踪一个我尚未进入的就业市场。但这正是公开学习的意义所在。

📊 Article Meta

AI Screening: 85

Source: Towards Data Science

Author: Ibrahim Salami

Category: 人工智能

Language: 英文

Read Time: 9 min

Word Count: 2108

Tags:

AI 与智能应用 , 数据工程 , 职业成长 , 科技新闻 , ETL

#AI 与智能应用# 数据工程# 职业成长# 科技新闻# ETL

文章评论(12)

雪知秋24 天前

不错不错,已加入书签。

回复
墨沐雨24 天前

点赞,必须点赞

回复
月沐雨24 天前

很有价值的分享,感谢整理。

回复
月沐雨24 天前

不错不错,已加入书签。

回复
月沐雨24 天前

讲解得很细致,新手也能看懂。

回复
风倚栏24 天前

赞同,实践出真知。

回复
林拾贝24 天前

支持作者,持续关注中。

回复
郭超24 天前

不错不错,已加入书签。

回复
蓝归舟24 天前

赞同,实践出真知。

回复
墨沐雨24 天前

讲解得很细致,新手也能看懂。

回复
风拾光24 天前

刚好最近在找这方面的资料,太及时了。

回复
石佳琪24 天前

路过

回复