欢迎光临
我们一直在努力

【字节跳动】# 大规模用户隐私数据导出管控规范 配套前文《加密盐值/私有协议规范》白皮书,针对**手机号、用户行为日志**批量导出场景,覆盖权限、脱敏、加密、审计、传输、销毁、应急全流程,密级:内部高

大规模用户隐私数据导出管控规范

配套前文《加密盐值/私有协议规范》白皮书,针对手机号、用户行为日志批量导出场景,覆盖权限、脱敏、加密、审计、传输、销毁、应急全流程,密级:内部高敏感,禁止对外流转。

一、适用范围

  • 导出数据类型
    • 核心隐私:手机号、身份证、设备唯一标识、实名信息、收货地址
    • 行为日志:页面点击、停留时长、搜索关键词、操作轨迹、埋点事件、会话记录、地理位置日志
  • 场景边界
    数据分析离线计算、第三方合规审计、内部风控复盘、监管协查、数据归档备份;
    禁止场景:业务开发调试批量拉取、无审批导出、外包无隔离导出、非合规商业外发。
  • 二、前置准入与权限分级(最小权限原则)

    2.1 角色权限分层

    角色批量导出权限可导出字段范围导出上限
    数据分析师(普通) 仅脱敏日志,无明文手机号 行为日志(脱敏ID),屏蔽手机号/实名 单日单任务≤100万条
    风控合规专员 脱敏日志+加密手机号密文 行为日志、加密手机号,不可直接解密 单日≤500万条,双人审批
    监管对接专员 完整明文隐私+全量日志 仅协查工单匹配用户,禁止全库导出 单工单限定用户集合,上限受工单约束
    DBA/存储运维 仅底层备份,不可对外交付 加密原始库备份,解密权限分离 仅定时归档,人工导出需三级审批

    2.2 审批流程强制要求

  • 导出申请必填项:用途、数据范围、用户量级、保存时效、接收人、存储介质、销毁时间、使用场景合规依据(隐私协议/监管文件);
  • 分级审批阈值:
    • <10万脱敏行为日志:部门负责人一级审批;
    • 10万~100万/含加密手机号:合规+部门二级复核;
    • >100万/明文手机号全量日志:安全、合规、技术负责人三级联审;
    • 全库整表导出:CTO+法务双人签字,留存纸质审批单。
  • 禁止临时口头审批,所有流程留痕至WORM审计存储,留存≥365天。
  • 三、数据分层脱敏规则(导出必执行)

    3.1 手机号脱敏标准(区分导出场景)

  • 离线分析/日常数据分析(无解密权限)
    原始:13800138000 → 脱敏输出:138****8000
    不存储完整明文,导出文件永久剔除原始手机号,仅保留掩码格式。
  • 风控审计(需匹配用户但不可裸漏)
    不输出明文手机号,输出加密密文(AES-GCM+用户独立盐USER_SALT);
    解密接口单独鉴权,单次解密上限100条,批量解密直接拦截。
  • 监管协查法定场景
    仅工单命中用户输出完整明文,其余无关用户手机号全部脱敏;明文文件单独隔离,禁止混入普通日志包。
  • 3.2 用户行为日志脱敏强制项

    所有导出日志必须移除/替换以下敏感字段:

  • 用户唯一标识替换:原始UID → 哈希匿名ID(HMAC(UID,全局根盐PROTO_ROOT_SALT),不可逆);
  • 设备信息:IMEI/IDFA/OAID做哈希混淆,不导出原值;
  • 地理位置:精确经纬度模糊至城市级,删除街道、小区定位;
  • 搜索/输入文本:含手机号、姓名、证件号的内容自动正则过滤脱敏;
  • 会话Token、登录凭证、签名私有参数、盐值:全部截断,绝不导出。
  • 3.3 脱敏兜底规则

  • 导出脚本内置敏感字段拦截器,检测明文手机号/实名则直接中断导出任务;
  • 定期扫描历史导出文件,发现未脱敏明文自动告警并强制回收删除。
  • 四、导出文件加密规范(复用私有协议盐值体系)

    所有批量导出文件(CSV/Parquet/ORC/压缩包)落地必须加密,禁止明文文件存储、传输。

    4.1 密钥派生逻辑

  • 导出任务一次性会话盐TMP_SALT(16字节CSPRNG随机);
  • 导出文件主密钥:
    ExportKey = PBKDF2HMAC(任务唯一密钥, PROTO_ROOT_SALT, PBKDF2_ITER_COUNT, 32Byte)
  • 文件加密算法:AES-GCM-256;
  • 附加校验AD:任务ID、审批单号、导出时间戳、操作人账号,防文件篡改。
  • 4.2 文件存储约束

  • 加密文件仅允许存放在隔离离线数据仓库,禁止落盘办公电脑、普通业务服务器;
  • 压缩包额外增加密码保护,密码由合规人员单独线下交付,不随文件线上传输;
  • 导出临时缓存文件:任务结束自动清零磁盘块,不残留明文碎片。
  • 五、大规模导出任务技术管控(千万级日志场景)

    5.1 流量与资源限流防雪崩

  • 单导出任务读取数据库/日志分片限速:读取QPS上限5000条/s,避免线上库CPU、IO打满;
  • 全量导出拆分分片任务,每片最大1000万条,分片之间间隔30s;
  • 业务高峰(早10点-晚22点)禁止发起千万级全量导出,仅低峰凌晨执行。
  • 5.2 数据隔离隔离机制

  • 生产库不直接导出,同步至独立离线数仓后再拉取,隔离线上读写压力;
  • 隐私数据(手机号)单独分文件存储,不和普通行为日志混放;
  • 多任务并行导出时,文件目录按用户、任务ID隔离,权限互相不可见。
  • 5.3 导出文件命名规范(便于审计追溯)

    exp_{审批单号}_{任务ID}_{日期分片}_加密.enc
    示例:exp_AUD20260620001_TSK9876_20260620_加密.enc

    六、传输分发安全规范

  • 内网传输:仅支持加密私有协议(前文AES-GCM通信规范)+TLS1.3双层加密;禁用HTTP、普通FTP;
  • 跨机房分发:文件加密后走专属加密传输网关,网关记录全量传输日志;
  • 对外交付(监管/第三方审计):
    • 离线介质:加密U盘,双人保管登记;
    • 线上交付:一次性临时下载链接,有效期≤24小时,下载次数上限3次,过期文件自动删除;
  • 禁止通过企业微信、邮箱、即时通讯工具直接发送原始/加密数据文件。
  • 七、全链路审计日志(不可篡改WORM存储)

    每条导出行为必须记录完整字段,日志只读不可删除,留存≥365天:

  • 操作人账号、内网IP、设备指纹;
  • 审批单号、审批人、审批时间;
  • 导出数据范围:时间区间、用户量级、数据表名;
  • 是否包含手机号明文/加密/仅脱敏日志;
  • 任务起止时间、分片数量、文件存储路径、文件哈希值;
  • 文件下载/分发记录、接收方、销毁时间;
  • 解密操作记录(如有手机号解密):解密条数、操作时间。
  • 审计告警规则:

    • 单次导出超阈值无三级审批;
    • 导出文件检测到未脱敏明文隐私;
    • 非工作时间大批量导出;
    • 高频批量解密手机号;
    • 文件未按规定时效销毁。

    八、数据生命周期与强制销毁

    8.1 保存时效标准

  • 内部分析脱敏行为日志:最长留存90天;
  • 含加密手机号审计文件:最长留存180天;
  • 监管协查明文隐私文件:结案后30天内全部销毁;
  • 8.2 销毁标准

  • 线上文件:调用存储底层粉碎删除,覆盖磁盘3次随机字节,仅删除标记不满足要求;
  • 离线U盘/硬盘:物理消磁或专业粉碎,留存销毁记录;
  • 备份副本:同步删除所有分片、镜像、快照,检索校验无残留;
  • 销毁操作双人在场,登记销毁台账。
  • 九、风险处置应急方案

  • 未脱敏文件误导出/泄露
    • 立即终止分发,全网回收文件;
    • 定位影响用户量级,安全合规评估;
    • 同步封禁对应导出权限,重生成本次任务临时盐与导出密钥;
    • 出具风险报告,必要时履行隐私泄露告知义务。
  • 大批量明文手机号违规导出
    • 紧急下线导出服务接口;
    • 复核所有审批流程漏洞,升级审批阈值;
    • 全量扫描历史导出任务,清理违规文件;
    • 对责任人追责并开展全员数据安全培训。
  • 导出加密密钥/会话盐泄露
    • 作废该批次所有导出文件解密权限;
    • 重新生成全局派生参数,短期限制批量导出功能。
  • 十、与前文私有加密规范联动要点

  • 用户手机号加密存储依赖USER_SALT,批量导出不返回盐原始值,仅输出密文;
  • 所有导出任务签名使用HMAC_SIGN_PRIVATE_KEY+PROTO_ROOT_SALT校验文件完整性;
  • 导出日志中禁止打印任何一级/二级私有参数、盐值、掩码常量;
  • 若需对导出文件内用户做二次匹配,解密接口复用统一KDF派生逻辑,保持加密体系统一。
  • 赞(0)
    未经允许不得转载:171主机测评 » 【字节跳动】# 大规模用户隐私数据导出管控规范 配套前文《加密盐值/私有协议规范》白皮书,针对**手机号、用户行为日志**批量导出场景,覆盖权限、脱敏、加密、审计、传输、销毁、应急全流程,密级:内部高
    分享到: 更多 (0)

    评论 抢沙发

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址