我搭建了一条数据管道,追踪自己想进入的就业市场

📌 One-Sentence Summary
本文介绍了作者如何搭建数据管道,追踪数据工程岗位的市场趋势,包括选择 Airflow 和 DuckDB 等工具、从 Hacker News 和 RemoteOK 等来源提取数据,以及使用 dbt 快照跟踪职位空缺随时间的变化。
📝 Summary
作者正转向数据工程领域,于是搭建了一条数据管道,用来监测相关岗位的就业市场。项目包括使用 DuckDB 设置增量加载系统、从 Hacker News 和 RemoteOK 提取数据,并利用 dbt 快照跟踪职位列表的状态。文章详细讲述了过程中遇到的技术难题,例如 API 限制和数据库配置问题,也列出了后续使用 Airflow 自动化这条数据管道的计划。
💡 Main Points
作者选择 Airflow 作为编排工具、DuckDB 作为数据仓库来搭建管道,尽管最初遇到了 BigQuery 的付费要求这一难题。
作者调研了招聘信息中最常用的工具后,选择 Apache Airflow 负责编排。但由于发现 BigQuery 意外要求付费,项目转而使用 DuckDB,无需一开始就投入资金,也能完成所需的数据转换和快照操作。
作者以 Hacker News 为测试数据源,成功实现增量加载,大幅减少了后续运行时需要处理的数据量。
管道会保存上次处理的故事 ID 作为水位标记,因此每次只获取上次运行后发布的新故事。这项优化将数据量从数百条减少到寥寥几条,展现了增量加载的效率。
作者发现 Remotive API 存在严重问题,无法返回动态数据,因此改用 RemoteOK API。
无论搜索条件或时间如何变化,Remotive API 返回的似乎始终是同一份静态职位列表。作者因此放弃这个数据源,转而使用能够正常提取职位信息的 RemoteOK。
作者使用 dbt 快照跟踪职位列表状态,以便区分仍在招聘的职位和已经关闭的职位。
通过在 dbt 快照中启用「hard_deletes」选项,职位信息从数据源消失时会在数据库中标记为已关闭,而不是直接删除。这样就能追踪职位供应情况随时间的变化。
💬 Key Quotes
我还没有数据工程师的工作,却已经在搭建生产级基础设施,追踪一个我尚未进入的就业市场。但这正是公开学习的意义所在。
📊 Article Meta
AI Screening: 85
Source: Towards Data Science
Author: Ibrahim Salami
Category: 人工智能
Language: 英文
Read Time: 9 min
Word Count: 2108
Tags:
AI 与智能应用 , 数据工程 , 职业成长 , 科技新闻 , ETL
不错不错,已加入书签。
点赞,必须点赞
很有价值的分享,感谢整理。
不错不错,已加入书签。
讲解得很细致,新手也能看懂。
赞同,实践出真知。
支持作者,持续关注中。
不错不错,已加入书签。
赞同,实践出真知。
讲解得很细致,新手也能看懂。
刚好最近在找这方面的资料,太及时了。
路过