Python旅游数据采集分析实战：从爬虫到推荐系统的完整构建

1. 项目缘起：当旅游规划遇上数据洪流

不知道你有没有这样的经历：计划一次旅行，打开手机，面对的是铺天盖地的攻略、评分、游记和广告。小红书、马蜂窝、携程、TripAdvisor……信息多到爆炸，但越看越迷茫。这家酒店评分4.8，但最新评论说隔音差；那个景点被吹成“此生必去”，可照片看起来人山人海。我们似乎拥有了前所未有的信息获取能力，却陷入了更深的“选择困难症”。这背后，本质上是信息过载与有效决策之间的矛盾。作为一名常年和数据打交道的从业者，我意识到，或许可以换一种思路：与其被零散、主观的信息淹没，不如主动去采集、清洗、分析这些海量的旅游数据，让数据自己“说话”，为我们提供更客观、更个性化的决策支持。

这就是“基于Python的旅游数据采集可视化分析推荐系统”项目的初衷。它不是一个简单的爬虫脚本，也不是一个花哨的图表堆砌，而是一个从数据源头到决策建议的完整闭环。简单来说，它的核心目标是：

自动化地从多个主流旅游平台采集真实、多维度的数据（如景点信息、酒店详情、用户评论、价格波动），通过清洗和分析，挖掘出潜藏在数据背后的规律（比如某个季节哪些景点人少景美、某类酒店在什么时间段性价比最高），最后以直观的可视化图表呈现，并基于你的个人偏好，生成定制化的旅行推荐

。

这个项目适合谁呢？如果你是对Python数据分析感兴趣的学习者，想找一个有完整链路、贴近实际应用的练手项目；如果你是旅游行业的从业者，希望用数据驱动的方式来优化产品、了解市场；或者，你就是一个热爱旅行、喜欢用技术提升生活效率的“极客”，那么这个项目都能为你提供一套可复现的方法论和工具箱。接下来，我将抛开理论，直接进入实战，分享我是如何一步步构建这个系统的，其中包含大量在官方文档里找不到的“踩坑”经验和调优技巧。

2. 系统架构全景与核心组件选型

在动手写第一行代码之前，清晰的架构设计能避免后期大量的返工。这个系统可以清晰地划分为四个核心层，每一层都有其关键的技术选型和考量。

2.1 数据采集层：稳、准、狠地获取原料

数据是分析的基石，采集层的目标是稳定、准确、高效地获取数据。这里我们主要面向公开的旅游网站。

核心工具选型：Scrapy vs. Requests + BeautifulSoup

对于大规模、结构固定的网站（如某个旅游平台的列表页-详情页），

Scrapy框架

是首选。它是一个为爬虫而生的异步框架，内置了请求调度、去重、管道处理等机制，开发效率高，易于扩展和维护。例如，爬取成千上万个景点的基本信息，用Scrapy能轻松管理。

而对于一些反爬策略复杂、需要处理大量JavaScript渲染的页面（比如很多现代网站），或者只是进行小规模的、临时的数据抓取，

Requests库配合BeautifulSoup或lxml

更为灵活轻便。有时还会用到

Selenium

或

Playwright

来模拟浏览器行为，解决动态加载问题。

注意：

无论使用哪种工具，都必须严格遵守网站的

robots.txt

协议，并设置合理的请求间隔（如

time.sleep(random.uniform(1, 3))

），避免对目标服务器造成压力，这是基本的网络礼仪和合规要求。

关键数据字段设计：

采集的数据不能是杂乱无章的。我们需要提前设计好结构化的字段。以“景点”数据为例，一个完整的记录可能包括：

• 基础信息：

  景点名称、所在城市、经纬度坐标、门票价格、开放时间。

• 内容信息：

  官方描述、标签（如“亲子”、“徒步”、“历史文化”）。

• 动态交互数据：

  用户评分（均分）、评论总数、收藏量。

• 时间序列数据：

  历史价格（如果可获取）、季节性热度指数。

• 关联数据：

  周边酒店、餐饮推荐列表（ID关联）。

2.2 数据存储与处理层：让数据住得舒服、用得顺手

采集来的原始数据（Raw Data）通常很“脏”，包含缺失值、重复项、不一致的格式等，必须经过清洗才能使用。

存储选型：MySQL + MongoDB

• MySQL：

  存储清洗后的、结构规整的核心业务数据，如景点、酒店的标准信息表。关系型数据库适合做复杂的关联查询和事务处理，例如“查找北京评分高于4.5且适合亲子的所有景点”。

• MongoDB：

  存储非结构或半结构化的数据，尤其是

  用户评论

  。评论文本长度不一，情感丰富，用MongoDB的文档模型存储非常灵活，便于后续的文本分析。你可以把一条景点下的所有评论，作为一个文档数组存起来。

数据处理核心：Pandas

Pandas是Python数据分析的“瑞士军刀”。我们将清洗后的数据加载到Pandas的DataFrame中，进行：

2.3 数据分析与可视化层：让洞见一目了然

这是将数据转化为信息的关键环节。

分析核心：统计与挖掘

• 描述性统计：

  使用Pandas和NumPy快速计算各景点的平均评分、价格分布、评论数的标准差等，形成初步认知。

• 关联分析：

  使用Apriori或FP-growth算法，分析“购买了景点A门票的用户，也常购买景点B门票”这类关联规则，用于捆绑推荐。

• 空间分析：

  利用经纬度数据，通过Geopandas或Folium库，在地图上可视化景点的分布密度，直观看到城市的热门旅游区域聚集情况。

• 文本情感分析：

  使用

  jieba

  分词后，结合

  snownlp

  或训练好的情感词典，对海量评论进行情感打分，量化游客对某个景点的整体满意度，这比单纯的星级评分更细腻。

可视化工具：Pyecharts vs. Matplotlib/Seaborn

• Pyecharts：

  强烈推荐用于制作交互式Web图表。它可以生成HTML文件，图表支持缩放、拖拽、数据点查看详情，非常适合构建仪表盘。例如，一个全国热门旅游城市热度排行柱状图，鼠标悬停可以看到具体数值。

• Matplotlib/Seaborn：

  更适合生成静态的、出版质量的图片，用于报告或PPT中。Seaborn基于Matplotlib，默认样式更美观，绘制统计图形（如分布图、热力图）非常方便。

一个典型可视化案例：景点评论情感趋势时间线

2.4 智能推荐层：从千人一面到千人千面

这是系统的“大脑”，旨在提供个性化建议。这里介绍两种实用且易于实现的算法。

1. 基于内容的推荐

原理：根据你喜欢的物品（景点A）的特征，推荐特征相似的其他物品（景点B）。

• 步骤：

  • 为每个景点构建特征向量，例如：[历史类权重0.8, 自然风光类权重0.2, 亲子权重0.9, 门票价格50, 市中心距离10km…]。
  • 当用户给“故宫”（历史类特征强）点赞后，系统计算故宫的特征向量与数据库中所有景点向量的余弦相似度。
  • 选出相似度最高的前N个景点（如“国家博物馆”、“天坛”）进行推荐。

• 优点：

  直观，可解释性强（“推荐这个是因为它和您喜欢的那个很像”）。

• 缺点：

  容易陷入“信息茧房”，难以发现用户潜在的新兴趣。

2. 协同过滤推荐

原理：利用群体智慧。“和你兴趣相似的其他用户喜欢的东西，你也可能喜欢”。

• 步骤：

  • 构建“用户-景点”评分矩阵（矩阵可能非常稀疏，因为大多数用户只评价过少数景点）。
  • 计算用户之间的相似度（如皮尔逊相关系数）。
  • 找到目标用户的K个最近邻。
  • 综合这些邻居对某个未评分景点的评价，预测目标用户可能给出的评分，推荐预测分高的景点。

• 优点：

  能发现跨类型的惊喜推荐。

• 缺点：

  存在“冷启动”问题（新用户或新景点没有数据时无法推荐），计算量随用户增长而增大。

实战心得：混合推荐策略

在实际项目中，我采用了一种简单的混合策略来平衡效果和复杂度：

3. 实战演练：以“采集与分析北京景点评论情感”为例

让我们聚焦一个具体任务，串联起爬虫、存储、分析和可视化的全流程。目标是：获取北京主要景点的用户评论，分析其情感随时间和景点的变化。

3.1 数据采集：应对反爬与解析动态内容

假设目标网站评论是通过Ajax动态加载的，且有一定反爬措施。

import requests
import json
import time
import random
from bs4 import BeautifulSoup

def fetch_attraction_comments(attraction_id, max_pages=10):
"""
获取某个景点的评论
"""
comments_list = []
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36…',
'Referer': 'https://www.example.com/attraction/…', # 关键：模拟真实来源
}

for page in range(1, max_pages + 1):
# 构造Ajax请求的URL，通常通过浏览器开发者工具抓包获得
ajax_url = f'https://www.example.com/api/comments?attractionId={attraction_id}&page={page}&pageSize=20'

try:
# 添加随机延迟，模拟人工操作
time.sleep(random.uniform(1.5, 4))

response = requests.get(ajax_url, headers=headers, timeout=10)
response.raise_for_status() # 检查请求是否成功

# 解析JSON响应
data = response.json()
if data['code'] != 200 or not data['data']['list']:
print(f"第{page}页无数据或请求失败，停止爬取。")
break

for item in data['data']['list']:
comment = {
'comment_id': item['id'],
'attraction_id': attraction_id,
'user_nickname': item['user']['nickname'],
'rating': item.get('rating', 0), # 用户打的星级
'content': item['content'].strip(), # 评论正文
'comment_time': item['commentTime'], # 评论时间
'upvote_count': item.get('upvoteCount', 0) # 点赞数
}
comments_list.append(comment)

print(f"成功爬取第{page}页，共{len(data['data']['list'])}条评论。")

except requests.exceptions.RequestException as e:
print(f"请求第{page}页时发生错误: {e}")
break
except json.JSONDecodeError as e:
print(f"解析第{page}页JSON时发生错误: {e}")
break

return comments_list

# 使用示例
beijing_forbidden_city_id = 'p123456' # 假设的故宫ID
comments = fetch_attraction_comments(beijing_forbidden_city_id, max_pages=5)
print(f"共爬取到{len(comments)}条评论。")

踩坑记录：

• 请求头（Headers）是关键：

  缺少

  User-Agent

  、

  Referer

  甚至

  Cookie

  ，很容易被识别为爬虫。需要从浏览器实际请求中复制。

• IP被封禁：

  过于频繁的请求会导致IP被临时封禁。除了设置延迟，对于大规模采集，需要考虑使用代理IP池。一个简单的本地策略是，每抓取50个页面，更换一次

  User-Agent

  字符串。

• 数据结构变化：

  网站前端改版后，API接口或HTML结构可能变化，爬虫需要定期维护。将解析逻辑封装成函数，并做好异常处理（

  try…except

  ），能让程序更健壮。

3.2 数据清洗与存储：处理噪声数据

爬取的数据往往存在大量噪声。

import pandas as pd
from pymongo import MongoClient
import re

def clean_and_store_comments(comments_list, attraction_name):
"""
清洗评论数据并存入MongoDB
"""
df = pd.DataFrame(comments_list)

# 1. 处理缺失值
# 评分缺失的，若内容情感极正面，可尝试推断，否则标记为未知或使用中位数
df['rating'].fillna(df['rating'].median(), inplace=True)

# 2. 清洗文本内容
def clean_text(text):
if not isinstance(text, str):
return ""
# 移除换行符、多余空格
text = re.sub(r'\\s+', ' ', text)
# 移除常见的无意义符号或广告（根据实际情况扩展）
ads = ['欢迎关注公众号', '加V', '点击链接']
for ad in ads:
text = text.replace(ad, '')
return text.strip()

df['content_cleaned'] = df['content'].apply(clean_text)

# 3. 过滤无效评论（如内容过短或为默认评价）
df = df[df['content_cleaned'].str.len() > 2] # 长度大于2
default_comments = ['好评', '不错', '很好'] # 定义一些默认评价
df = df[~df['content_cleaned'].isin(default_comments)] # 过滤掉

# 4. 统一时间格式
df['comment_time'] = pd.to_datetime(df['comment_time'], errors='coerce')
df = df.dropna(subset=['comment_time']) # 删除时间解析失败的行

# 5. 去重（根据评论ID或内容）
df.drop_duplicates(subset=['comment_id'], inplace=True)
# 基于内容的简单去重（防止同一用户刷评）
df.drop_duplicates(subset=['attraction_id', 'user_nickname', 'content_cleaned'], keep='first', inplace=True)

print(f"清洗后剩余 {len(df)} 条有效评论。")

# 6. 存储到MongoDB
client = MongoClient('localhost', 27017) # 连接本地MongoDB
db = client['travel_data'] # 数据库名
collection = db['beijing_attraction_comments'] # 集合名

# 将DataFrame转换为字典列表并插入
records = df.to_dict('records')
if records:
collection.insert_many(records)
print(f"成功将 {attraction_name} 的评论数据存入MongoDB。")
else:
print("无有效数据可存储。")

client.close()
return df

# 执行清洗与存储
cleaned_df = clean_and_store_comments(comments, "故宫")

3.3 情感分析与可视化：从文字到洞察

我们使用

snownlp

库进行简单的中文情感分析，并用Pyecharts可视化。

from snownlp import SnowNLP
import pandas as pd
from pyecharts.charts import Line, Bar, Grid
from pyecharts import options as opts
from pyecharts.commons.utils import JsCode

# 从MongoDB读取数据（接上一步）
client = MongoClient('localhost', 27017)
db = client['travel_data']
collection = db['beijing_attraction_comments']
df = pd.DataFrame(list(collection.find({})))
client.close()

# 情感分析函数
def get_sentiment_score(text):
try:
return SnowNLP(text).sentiments # 返回0-1之间的值，越接近1越正面
except:
return 0.5 # 分析失败时返回中性值

# 应用情感分析，由于可能较慢，可以采样或使用进度条
df['sentiment'] = df['content_cleaned'].apply(get_sentiment_score)

# 按月份聚合情感分和评论数
df['month'] = df['comment_time'].dt.to_period('M').astype(str) # 转换为年月周期，如‘2023-08’
monthly_stats = df.groupby('month').agg(
avg_sentiment=('sentiment', 'mean'),
comment_count=('sentiment', 'count')
).reset_index().sort_values('month')

# 使用Pyecharts绘制组合图表
line = (
Line()
.add_xaxis(monthly_stats['month'].tolist())
.add_yaxis(
"平均情感分",
monthly_stats['avg_sentiment'].round(3).tolist(),
yaxis_index=0,
color="#d14a61",
label_opts=opts.LabelOpts(is_show=False),
)
.set_global_opts(
title_opts=opts.TitleOpts(title="北京故宫评论情感趋势与热度"),
tooltip_opts=opts.TooltipOpts(trigger="axis", axis_pointer_type="cross"),
xaxis_opts=opts.AxisOpts(type_="category", boundary_gap=False),
yaxis_opts=opts.AxisOpts(
name="情感分",
type_="value",
min_=0,
max_=1,
axislabel_opts=opts.LabelOpts(formatter="{value}"),
),
)
)

bar = (
Bar()
.add_xaxis(monthly_stats['month'].tolist())
.add_yaxis(
"评论数量",
monthly_stats['comment_count'].tolist(),
yaxis_index=1,
color="#5793f3",
label_opts=opts.LabelOpts(is_show=False),
)
.set_global_opts(
yaxis_opts=opts.AxisOpts(
name="评论数",
type_="value",
position="right",
axislabel_opts=opts.LabelOpts(formatter="{value}"),
),
)
)

# 将折线图和柱状图组合在一个画布上
grid_chart = Grid()
grid_chart.add(line, grid_opts=opts.GridOpts(pos_left="5%", pos_right="20%"))
grid_chart.add(bar, grid_opts=opts.GridOpts(pos_left="5%", pos_right="20%"))

# 渲染成HTML文件，可在浏览器中交互查看
grid_chart.render("sentiment_trend_of_gugong.html")
print("情感趋势图已生成，请打开 'sentiment_trend_of_gugong.html' 查看。")

结果解读与心得：

生成的交互图表中，折线代表情感分，柱状图代表评论量。你可能会发现：

• 节假日效应：

  国庆（10月）、春节（2月）期间评论量激增（柱状图高峰），但情感分可能明显下跌（折线图谷底），这直观反映了“人多体验差”的问题。

• 季节影响：

  北京春秋季（4-5月，9-10月）情感分可能普遍高于酷暑和严冬。

• 事件影响：

  如果某个月份情感分突然骤降，可以回溯当时的新闻，看是否有负面事件（如景区维修、服务纠纷）发生。

注意：

snownlp

的通用情感模型可能对特定领域（如旅游评论）的表述不够精准。例如，“人山人海”在通用语境下偏负面，但在一些热闹的节日活动评论中可能中性甚至偏正面。要获得更准确的结果，可以考虑用标注好的旅游评论数据对

snownlp

模型进行微调，或使用更专业的领域情感词典。

4. 构建简易推荐引擎：混合策略的实现

我们将实现一个简单的、基于内存的混合推荐函数，它结合了基于内容的推荐和基于热门度的推荐。

import numpy as np
from sklearn.metrics.pairwise import cosine_similarity
from sklearn.preprocessing import StandardScaler

class SimpleTravelRecommender:
def __init__(self, attractions_df):
"""
attractions_df: DataFrame，包含景点的特征信息。
列至少包括：['attraction_id', 'name', 'tags', 'price', 'rating', 'sentiment_avg', 'location_score'…]
tags列可能是字符串，如'历史,文化,亲子'
"""
self.df = attractions_df.copy()
self._prepare_features()

def _prepare_features(self):
"""准备用于计算相似度的特征向量"""
# 1. 处理标签：将标签字符串转换为多列独热编码
all_tags = set()
for tags in self.df['tags'].dropna():
all_tags.update([t.strip() for t in tags.split(',')])
all_tags = list(all_tags)

for tag in all_tags:
self.df[f'tag_{tag}'] = self.df['tags'].apply(
lambda x: 1 if isinstance(x, str) and tag in [t.strip() for t in x.split(',')] else 0
)

# 2. 选择数值特征进行标准化
numeric_features = ['price', 'rating', 'sentiment_avg', 'location_score']
# 确保这些列存在且为数值型
for feat in numeric_features:
if feat in self.df.columns:
self.df[feat] = pd.to_numeric(self.df[feat], errors='coerce').fillna(0)
else:
self.df[feat] = 0 # 如果特征不存在，填充为0

scaler = StandardScaler()
self.df[numeric_features] = scaler.fit_transform(self.df[numeric_features].values)

# 3. 构建特征向量矩阵
tag_columns = [c for c in self.df.columns if c.startswith('tag_')]
feature_columns = numeric_features + tag_columns
self.feature_matrix = self.df[feature_columns].values
self.attraction_ids = self.df['attraction_id'].values

# 4. 计算景点间的相似度矩阵（余弦相似度）
self.similarity_matrix = cosine_similarity(self.feature_matrix)

def recommend_by_content(self, liked_attraction_id, top_n=5):
"""基于内容相似度推荐"""
try:
idx = np.where(self.attraction_ids == liked_attraction_id)[0][0]
except IndexError:
print(f"未找到ID为 {liked_attraction_id} 的景点。")
return []

# 获取该景点与其他所有景点的相似度
sim_scores = list(enumerate(self.similarity_matrix[idx]))
# 按相似度降序排序
sim_scores = sorted(sim_scores, key=lambda x: x[1], reverse=True)
# 取最相似的前 top_n+1 个（因为第一个是自己）
sim_scores = sim_scores[1:top_n+1]

# 获取推荐景点的索引和ID
recommended_indices = [i[0] for i in sim_scores]
recommended_ids = self.attraction_ids[recommended_indices].tolist()

return self.df[self.df['attraction_id'].isin(recommended_ids)][['attraction_id', 'name', 'tags', 'rating']].to_dict('records')

def recommend_by_popularity(self, top_n=5, min_rating=4.0):
"""基于热门度（评分和评论数）推荐"""
# 这里假设DataFrame中有'comment_count'列
if 'comment_count' not in self.df.columns:
# 如果没有评论数，仅按评分排序
popular = self.df[self.df['rating'] >= min_rating].sort_values(by='rating', ascending=False).head(top_n)
else:
# 可以设计一个简单的热度分数，例如：热度 = 评分 * log(评论数+1)
self.df['popularity_score'] = self.df['rating'] * np.log1p(self.df['comment_count'])
popular = self.df[self.df['rating'] >= min_rating].sort_values(by='popularity_score', ascending=False).head(top_n)

return popular[['attraction_id', 'name', 'tags', 'rating', 'comment_count']].to_dict('records')

def hybrid_recommend(self, liked_attraction_id=None, top_n=5):
"""混合推荐：结合内容推荐和热门推荐"""
final_recommendations = []

# 如果有喜欢的景点，优先基于内容推荐
if liked_attraction_id:
content_recs = self.recommend_by_content(liked_attraction_id, top_n=top_n)
final_recommendations.extend(content_recs)
# 如果内容推荐不足，用热门推荐补足
if len(final_recommendations) < top_n:
num_needed = top_n – len(final_recommendations)
# 获取热门推荐，并过滤掉已经推荐过的
popular_recs = self.recommend_by_popularity(top_n=top_n*2, min_rating=3.8)
existing_ids = {r['attraction_id'] for r in final_recommendations}
for rec in popular_recs:
if rec['attraction_id'] not in existing_ids and len(final_recommendations) < top_n:
final_recommendations.append(rec)
else:
# 如果没有输入，直接返回热门推荐
final_recommendations = self.recommend_by_popularity(top_n=top_n)

return final_recommendations[:top_n]

# 使用示例
# 假设attractions_df是已经准备好的景点特征DataFrame
recommender = SimpleTravelRecommender(attractions_df)

# 案例1：用户喜欢故宫（假设ID为'p123456'），想找类似的
print("=== 基于‘故宫’的相似景点推荐 ===")
recs = recommender.hybrid_recommend(liked_attraction_id='p123456', top_n=5)
for i, rec in enumerate(recs, 1):
print(f"{i}. {rec['name']} – 标签：{rec.get('tags', 'N/A')} – 评分：{rec.get('rating', 'N/A')}")

# 案例2：新用户，无偏好，推荐热门景点
print("\\n=== 热门景点推荐 ===")
recs = recommender.hybrid_recommend(top_n=5) # 不传入liked_attraction_id
for i, rec in enumerate(recs, 1):
print(f"{i}. {rec['name']} – 评分：{rec.get('rating', 'N/A')} – 评论数：{rec.get('comment_count', 'N/A')}")

这个简易引擎已经具备了核心功能。在实际部署时，你需要考虑性能问题。对于百万级以上的用户和物品，需要采用更高效的算法库（如Surprise、LightFM）和分布式计算框架（如Spark MLlib），并将相似度矩阵或模型预计算好存入Redis等缓存中，实现实时推荐。

5. 系统集成与部署思考

将上述各个模块集成起来，可以构建一个简单的Web应用（使用Flask或Django），提供交互界面。前端通过ECharts或直接使用Pyecharts生成的HTML展示可视化图表，后端提供推荐API。

部署注意事项：

这个项目从构思到实现，最深的体会是：数据驱动的旅行规划，其价值不在于替代人的决策，而是提供更丰富、更客观的决策维度。它帮你过滤噪音，呈现趋势，但最终选择哪个目的地、哪家酒店，那份属于旅行的期待和惊喜，依然留给你自己。技术让工具更聪明，而人，始终是旅程的意义所在。