目录
一、为什么做这个系统
二、整体架构:前端、后台、数据库、Spark 与模型服务
三、数据采集与清洗:把招聘文本变成可计算字段
四、统计分析:从岗位数量到薪资结构
五、智能预测:用 CatBoost 做薪资估计
六、后台管理:数据维护与用户管理
七、代码实现:保留结构,不公开敏感细节
八、可以继续扩展的方向
九、项目小结
每文一语
有需要本项目的代码、文档、完整资源,或者需要部署调试的朋友,可以私信博主。
这次整理的系统围绕“岗位供需统计分析”展开,核心思路很直接:先把招聘平台上的岗位信息沉淀成结构化数据,再借助 Spark 做批量清洗和统计计算,最后把结果做成后台管理、单页图表、可视化大屏和薪资预测页面。它不是单纯堆几个图表,也不是只跑一个模型,而是把数据采集、数据治理、指标分析、模型调用和页面展示串成了一个相对完整的应用闭环。
我做这个项目时,更关注两个问题:一是海量招聘数据如何变成可解释、可检索、可展示的指标;二是这些指标如何真正服务于岗位选择、薪资判断和就业趋势观察。很多招聘数据看起来只是岗位名称、薪资、学历、经验、企业性质等字段,但当它们被清洗、拆解、聚合以后,就能看到不同地区、不同企业类型、不同学历门槛、不同经验要求之间的差异。

图 1 系统入口与智能薪资预测页面展示
一、为什么做这个系统
招聘网站每天都会产生大量岗位信息,求职者关心薪资区间、岗位分布、学历门槛和经验要求,企业和学校也关心人才供需变化、岗位热度和技术方向趋势。如果只是人工浏览网页,很难形成系统性判断;如果只是把数据下载成表格,又缺少交互、统计和预测能力。这个项目的出发点,就是把零散的岗位信息整合为一个能查询、能分析、能展示、能预测的系统。
项目采集的岗位方向覆盖 Python、Java、C++、MySQL、Hadoop、大数据、算法工程师、数据分析、前端开发、后端开发等多个关键词,原始数据量超过四万条。经过字段规整、薪资格式处理、地区提取、行业清洗和缺失值处理后,形成了三万七千余条可用于分析的数据。这个规模不算夸张,但已经足够支撑一个毕业设计、课程项目或中小型数据分析应用的完整展示。
我没有把系统做成只有一张大屏的“静态成果页”,而是设计成多入口结构。普通用户可以登录后查看可视化结果、进入薪资预测页面;管理员可以维护岗位数据和用户信息;数据分析部分可以独立生成单页图表和大屏页面;模型部分可以根据输入条件返回预测月薪。这样后续无论是继续扩展推荐模块、增加岗位画像,还是接入新的招聘来源,都有比较清晰的承接位置。
二、整体架构:前端、后台、数据库、Spark 与模型服务
系统采用 Flask 作为后台服务框架,页面侧使用 HTML、CSS、Layui、ECharts 等资源组织登录、首页、预测、数据维护和可视化入口。后台提供用户登录、管理员登录、用户信息维护、岗位数据增删改查、数据筛选、可视化页面跳转、预测接口等功能。数据库侧使用 MySQL 存储用户、管理员和岗位数据,模型侧通过 CatBoost 回归模型完成薪资预测。
Spark 主要承担批量数据处理任务。原始 CSV 数据合并后,Spark 脚本会对空值、薪资为“面议”的记录、薪资上下限、发薪次数、所在城市、所属行业等字段进行统一处理。处理后的数据既可以写入数据库,也可以作为可视化和模型训练的数据来源。把 Spark 放在这一层,是为了让系统具备处理更大规模数据的扩展能力,而不是只能依赖单机 Pandas。
从工程结构看,项目资源可以分为六类:前端页面资源、Flask 后台接口、MySQL 脚本、Spark 分析代码、模型文件、可视化结果文件。这样的划分对后续部署比较友好:前端页面负责展示,后台负责接口和权限,数据库负责数据持久化,Spark 负责离线分析,模型文件负责预测调用,图表文件负责结果发布。

图 2 系统功能架构示意

图 3 项目资源结构概览(已脱敏)
三、数据采集与清洗:把招聘文本变成可计算字段
招聘数据的难点不在于字段多,而在于字段不规范。比如薪资字段可能是“1万-1.6万”“8千-1.2万·14薪”“面议”等格式;城市字段可能包含城市、区县、商圈等层级;所属行业也可能出现“计算机软件/互联网服务”这类组合表达。如果不做清洗,后面的统计和预测都会受到影响。
项目先按关键词抓取并保存为多个 CSV 文件,再用 Spark 统一读取目录下的数据。清洗时会删除空值记录,剔除无法参与薪资计算的“面议”岗位,拆分薪资上下限,识别“千”“万”等单位,并结合发薪次数计算标准化月薪。城市字段会提取到地区层级,行业字段会保留更适合统计的一级类别。清洗后的数据表包含岗位名称、公司名称、工作经验、学历、企业性质、公司规模、任职要求、所属行业、回复速度、薪资上下限、计算月薪、地区等关键字段。
为了让文章适合公开展示,具体爬虫登录信息、完整采集参数、数据库连接信息和本地路径都做了规避。真正值得展示的是流程:数据来源确定以后,先保证字段可用,再考虑统计指标和模型训练。如果一开始就直接做大屏,很容易出现图表好看但数据口径混乱的问题。

图 4 项目数据处理链路

图 5 Spark 数据清洗流程

图 6 不同岗位关键词采集数据规模
四、统计分析:从岗位数量到薪资结构
清洗后的数据可以围绕多个维度展开统计。岗位供需分析不能只看“岗位总量”,还要看岗位分布背后的结构。比如哪些技术关键词对应的数据量更高,哪些地区平均薪资更高,企业性质之间是否存在薪资差异,学历和工作经验对薪资区间有什么影响,这些问题都可以通过聚合统计和图表展示出来。
在图表设计上,我保留了柱状图、箱线图、饼图、热力图、散点图、词云图等多种形式。柱状图适合看地区和企业性质的平均薪资,箱线图适合看学历、经验、行业等维度下的薪资分布范围,词云图适合展示岗位名称和任职要求中的高频技能词。单页图表便于单独查看,大屏页面则适合汇总展示。
从当前数据看,地区平均薪资、企业性质平均薪资、学历薪资分布、经验薪资分布都能呈现较清晰的差异。比如高学历岗位的薪资中位数整体更高,经验要求越高的岗位薪资上界也更明显。需要注意的是,招聘数据受到行业、城市、岗位方向和样本来源影响较大,图表更适合作为趋势参考,不宜直接当作绝对薪资标准。

图 7 可视化大屏组合展示

图 8 企业性质与地区薪资统计展示

图 9 学历与工作经验维度薪资分布展示

图 10 岗位名称与任职要求高频词展示
五、智能预测:用 CatBoost 做薪资估计
除了统计展示,系统还加入了薪资预测模块。预测页面会收集企业性质、所属行业、地区、薪资发放次数、回复速度、公司规模、工作经验、学历和任职要求等字段,然后把这些字段组装成模型输入,调用后台加载的 CatBoostRegressor 模型,最终返回一个预测月薪值。
选择 CatBoost 的原因比较现实:招聘数据中有大量类别型字段,例如学历、企业性质、公司规模、地区、行业和任职要求。传统线性模型需要较多编码处理,而 CatBoost 对类别特征比较友好,适合这种混合型结构数据。项目中的模型训练过程保留在 Notebook 中,公开展示时只保留模型思路、输入字段和预测效果,不展开完整训练参数。
模型结果不能被理解成“准确报价器”,它更适合作为一个辅助估计工具。输入条件越接近真实岗位画像,预测结果越有参考意义;如果输入组合在训练数据中很少见,结果就需要结合统计图表一起判断。系统把预测模块和统计模块放在同一个项目里,也是为了避免只看单一预测数字,而忽略数据分布和岗位背景。

图 11 薪资预测模型特征重要性展示

图 12 智能薪资预测结果示意
六、后台管理:数据维护与用户管理
一个能演示的系统,不能只有前台页面。项目中保留了管理员入口,后台可以完成用户管理、岗位数据维护、条件筛选、新增数据、修改数据和删除数据等操作。岗位数据维护页面支持按学历、所属行业、企业性质等条件进行筛选,适合在数据量逐步增长后快速定位记录。
后台接口采用 REST 风格组织,岗位数据管理接口支持 GET、POST、PUT、DELETE 等请求方式。管理员可以通过页面触发数据操作,后台再完成 SQL 拼接和数据库执行。正式部署时,还可以继续补充参数校验、权限细分、日志审计和安全过滤,这些属于上线增强内容,展示版已经具备完整的管理流程。

图 13 后台岗位数据维护与用户管理入口
七、代码实现:保留结构,不公开敏感细节
项目代码中包含 Flask 路由、MySQL 工具类、Spark 清洗脚本、Spark 统计分析脚本、模型训练 Notebook、可视化生成脚本和 SQL 初始化文件。为了公开发布时更安全,数据库账号、密码、密钥、本地路径、平台登录信息等内容都不适合直接展示。截图中只保留了能够说明技术路线的清洗片段和目录结构。
从实现逻辑上看,代码并不复杂,关键是把各个环节顺起来:采集脚本负责拿到原始数据,Spark 脚本负责把数据清洗成可分析结构,分析脚本负责生成图表,Flask 负责把页面、接口、数据库和模型连接起来。这样写出来的项目比单个 Notebook 更完整,也比单纯页面模板更有说服力。

图 14 Spark 清洗逻辑片段展示(已脱敏)
八、可以继续扩展的方向
当前版本已经覆盖了岗位数据采集、清洗、统计、可视化、后台管理和薪资预测,但它仍然有不少可扩展空间。第一,可以增加岗位推荐模块,根据求职者技能、地区偏好和学历背景推荐更匹配的岗位类别;第二,可以增加时间维度,持续抓取后形成岗位热度变化曲线;第三,可以加入文本向量化和聚类,把任职要求拆成技能画像;第四,可以增加模型解释页面,让预测结果对应到具体影响因素。
如果后续用于课程答辩或项目展示,我建议把重点放在“数据流转完整性”和“系统可操作性”上。评委或读者看到的不只是几张图,而是从原始岗位数据到清洗数据、从统计图表到大屏、从输入条件到薪资预测、从前台展示到后台维护的全过程。这个闭环完整,项目的可信度就会高很多。
如果用于进一步开发,还可以考虑将采集、清洗、建模和可视化做成定时任务,把数据库中的岗位数据定期刷新;也可以把图表由静态 HTML 改成实时接口渲染,让前端页面根据筛选条件动态更新。这样系统就不只是一次性作品,而能逐步变成一个小型岗位数据分析平台。
九、项目小结
这个岗位供需统计分析系统最适合展示的地方,是它把 Spark、Flask、MySQL、ECharts 和 CatBoost 这些技术点放在了同一个应用场景里。Spark 解决批量数据清洗和分析,Flask 解决接口和页面组织,MySQL 解决数据管理,ECharts 解决图表表达,CatBoost 解决薪资估计。每个技术点都有清晰位置,不是为了堆技术而堆技术。
从最终效果看,系统既能展示岗位数据的整体结构,也能深入到地区、学历、经验、企业性质等维度进行分析;既有静态图表,也有大屏汇总;既有前台预测页面,也有后台数据维护入口。对想做数据分析系统、就业数据项目、Spark 综合实践、Flask 可视化平台或薪资预测项目的同学来说,这套资料有比较好的参考价值。
后续我还会继续把项目细节做得更顺,包括页面交互优化、接口安全增强、数据更新自动化和模型效果提升。一个好的数据项目,不只是把图画出来,更重要的是让数据能够持续进入系统、持续被治理、持续产生新的判断。
每文一语
真正能沉淀下来的项目,往往不是一开始就很完美,而是在一次次清洗数据、调整结构、优化页面和复盘逻辑中慢慢长出来的。





