用戶體驗是決定互聯網產品能否長久生存的基礎，每一個基于產品功能、使用、外觀的微小體驗，都將極大關系到用戶留存影響。本文將講述火山引擎A/B測試（DataTester）助力企業協作平臺飛書進行用戶體驗優化的案例。

對飛書而言，用戶體驗旅程從打開產品頁面的一瞬間就已開始，這里有一個十分重要的指標——頁面秒開率，秒開率是指頁面在一秒之內打開的比率。為了能夠持續吸引用戶，一款產品則至少需要在1000毫秒以內呈現出交互內容。飛書為了提升用戶體驗，對其各項功能的秒開率指標的優化下了大功夫。在這個過程中，火山引擎DataTester通過嚴格的變量控制，落地更精準的實驗結果，幫助研發團隊直接佐證并明確了所選優化方案的收益。

影響秒開率其實有很多種因素，如代碼冗余，插件拖累…… 在其中，有一項重要的影響因素是“類加載”。類加載是指當頁面被打開時，背后是調用的多個元素的代碼，它們會經歷驗證、準備、解析、初始化等環節后，才能被使用，這個流程是比較耗費時間的。

(資料圖片)

以飛書的一項功能“飛書妙記”加載為例。當飛書整體進行冷啟動時，如果用戶是首次打開飛書妙記界面，就會伴隨著接近1600個類的大量加載，這對頁面啟動速度有著不可忽視的影響。如何減少如此高的類加載數量對秒開率的影響呢？飛書團隊希望嘗試采用的方案是：接入SnapBoost方案。

SnapBoost方案的思路是讓App能夠提前對頁面使用到的"類"進行加載，通俗來說，也就是在用戶打開頁面之前，將耗時較長的部分提前進行加載，當用戶在打開頁面的時候，這些代碼省去了編譯和解析的時間，可以直接執行，使秒開率得到提升。

那么SnapBoost方案是否能有效降低“飛書妙記”的加載時間呢？飛書團隊采用了火山引擎A/B測試（DataTester）進行方案可行性的重要驗證。

本次A/B實驗三大指標：

· 類加載數量

· Activity切換耗時 ：Activity通常指一個單獨的屏幕（頁面），此指標指在不同頁面之間的切換耗時。

· 可感知耗時  ：指用戶操作相關動作(點擊播放、滑動卡片等)到首幀渲染出來感知到的耗時。

優化前后收益驗證：

火山引擎DataTester的實驗結果，對SnapBoost方案的提升性能假設給予了強有力的佐證，通過SnapBoost方案等一系列優化，飛書妙記的秒開率可以達成37%的優化提升，目前該方案已經成功地進行了全量上線。

除了飛書妙記的秒開率提升，飛書的視頻會議等全線功能，其實都在使用火山引擎DataTester進行A/B實驗。DataTester為飛書的產品功能迭代帶來了明確收益佐證能力。

“ DataTester是結合A/B測試方法論最好的一個工具。”飛書的研發成員在采訪時講到。除了使用DataTester，飛書團隊也會通過灰度等方式來做對比實驗。相比起灰度等實驗方式，DataTester的最大優勢在于更加嚴格的變量控制，實驗創建者可以更直白地看清楚優化效果，在灰度的基礎上，進一步提升實驗結果的說服力。

火山引擎DataTester目前已服務了美的、得到、凱叔講故事等在內的上百家外部企業，支持了多種業務場景需求，為業務的用戶增長、轉化、產品迭代、運營活動等各個環節提供了科學的決策依據，將成熟的“數據驅動增長”經驗賦能給各行業。（作者：康晏）

關鍵詞：