abtest_recsys_first_unit_0129 首位 unit 下划率实验分析
结论:实验组首位下划率显著下降
实验组下划率
15.22%
首位样本 145,507
对照组下划率
15.88%
首位样本 142,036
绝对差值 (实验-对照)
-0.65pp
95%CI [-0.92, -0.39] pp
相对变化
-4.12%
z=-4.84, p=1.32e-06
口径说明
首位定义:`app__launch` 后,同一 `ssid` 且下次 launch 前,`/nienie` 下第一条 `app__nienie__tab__collection__show`。
主指标(首位下划率):首位曝光后至第二条曝光(或下次 launch)前,同 `collection_id` 的 `app__collection_view__interactive__swipe` 且 `direction='from_up'`。
新老口径:按 `users.int_profiles['first_event_time']` 与 launch 日期差分;`0-6天=新用户(注册7天内)`,`7天及以上=老用户`,其余为`未知/游客`。
主指标(首位下划率):首位曝光后至第二条曝光(或下次 launch)前,同 `collection_id` 的 `app__collection_view__interactive__swipe` 且 `direction='from_up'`。
新老口径:按 `users.int_profiles['first_event_time']` 与 launch 日期差分;`0-6天=新用户(注册7天内)`,`7天及以上=老用户`,其余为`未知/游客`。
核心图表
分组明细
| 分组 | launch总量 | 首位样本量 | 首位渗透率 | 下划样本量 | 下划率 | from_down率(敏感性) |
|---|---|---|---|---|---|---|
| default(实验组) | 158,913 | 145,507 | 91.56% | 22,153 | 15.22% | 0.02% |
| new(对照组) | 155,867 | 142,036 | 91.13% | 22,553 | 15.88% | 0.01% |
新老用户分层对比
在老用户(注册8天+)层,实验组下划率显著低于对照组;新用户(注册7天内)层差异不显著。
| 分层 | 实验launch | 对照launch | 实验下划率 | 对照下划率 | 差值(pp) | 相对变化 | p值 |
|---|---|---|---|---|---|---|---|
| 新用户(注册7天内) | 10,073 | 10,897 | 26.99% | 27.43% | -0.44 | -1.62% | 0.484933 |
| 老用户(注册8天+) | 133,701 | 129,706 | 13.09% | 13.61% | -0.52 | -3.80% | 0.000142 |
| 未知/游客 | 15,145 | 15,268 | 34.28% | 34.83% | -0.55 | -1.59% | 0.447188 |
按天趋势
| 日期 | 实验组下划率 | 对照组下划率 | 差值(pp) |
|---|---|---|---|
| 2026-03-13 | 14.40% | 15.68% | -1.28 |
| 2026-03-14 | 16.43% | 17.27% | -0.84 |
| 2026-03-15 | 16.14% | 16.23% | -0.09 |
| 2026-03-16 | 14.13% | 14.65% | -0.52 |
| 2026-03-17 | 13.70% | 14.34% | -0.64 |