abtest_recsys_first_unit_0129 首位 unit 下划率实验分析

实验开始:2026-03-13 | 分析窗口:2026-03-13 ~ 2026-03-17(完整日)| 分组映射:default=实验组,new=对照组
结论:实验组首位下划率显著下降
实验组下划率
15.22%
首位样本 145,507
对照组下划率
15.88%
首位样本 142,036
绝对差值 (实验-对照)
-0.65pp
95%CI [-0.92, -0.39] pp
相对变化
-4.12%
z=-4.84, p=1.32e-06

口径说明

首位定义:`app__launch` 后,同一 `ssid` 且下次 launch 前,`/nienie` 下第一条 `app__nienie__tab__collection__show`。
主指标(首位下划率):首位曝光后至第二条曝光(或下次 launch)前,同 `collection_id` 的 `app__collection_view__interactive__swipe` 且 `direction='from_up'`。
新老口径:按 `users.int_profiles['first_event_time']` 与 launch 日期差分;`0-6天=新用户(注册7天内)`,`7天及以上=老用户`,其余为`未知/游客`。

核心图表

分组明细

分组launch总量首位样本量首位渗透率下划样本量下划率from_down率(敏感性)
default(实验组)158,913145,50791.56%22,15315.22%0.02%
new(对照组)155,867142,03691.13%22,55315.88%0.01%

新老用户分层对比

在老用户(注册8天+)层,实验组下划率显著低于对照组;新用户(注册7天内)层差异不显著。
分层实验launch对照launch实验下划率对照下划率差值(pp)相对变化p值
新用户(注册7天内)10,07310,89726.99%27.43%-0.44-1.62%0.484933
老用户(注册8天+)133,701129,70613.09%13.61%-0.52-3.80%0.000142
未知/游客15,14515,26834.28%34.83%-0.55-1.59%0.447188

按天趋势

日期实验组下划率对照组下划率差值(pp)
2026-03-1314.40%15.68%-1.28
2026-03-1416.43%17.27%-0.84
2026-03-1516.14%16.23%-0.09
2026-03-1614.13%14.65%-0.52
2026-03-1713.70%14.34%-0.64
作者:Codex | 模型:GPT-5.3-codex | 部署时间(UTC):2026-03-18T06:09:09Z