Basecamp是知名的專案管理網站服務工具，現在獲得很多專案管理工作者的推薦。不過他們也不是一開始就一帆風順的，他們的網站開發者就披露了當年他們開發過程中的相關經驗，而這一篇就是其中關於失敗的案例。
故事發生在2014年2月，我們正式成立了Basecamp公司。這是一個重要的轉折點——我們要進行一系列改變，主要包括品牌重塑、部分產品下架、清倉和拆分等。
作為這個過程中的一部分，我們決定重新設計basecamp.com網站（我們的銷售網站），以傳達出這個網站不僅僅是Basecamp的服務集中地，也代表Basecamp的公司形象。
主要的改變：首頁拿掉了會員註冊欄位
改版後的網站在內容和視覺效果上都有全新的改變，但這次改版不僅僅侷限在落地頁上，最大的改變在網站首頁上。
▲Before 「Becoming Basecamp」（改版前）
▲After 「Becoming Basecamp」（改版後）
你可以看到在首頁上，最大的改變就是會員註冊區被拿掉了。對於這個決定，說實話，我們當初並沒有進行深入全面的考慮；也沒有針對拿掉註冊步驟這件事，對用戶的影響做足夠的測試。
在過去的幾年間，我們一直在權衡快速註冊（一開始能夠引入大量的新用戶）和完整註冊（只能引入少量用戶，但是這些用戶都能夠成為購買者）所帶來的價值的差別。但是我一直明白，我們不希望註冊流程太慢。這是我們在 「變成Basecamp網站」的過程中做的眾多決定之一。
為什麼我們沒有對改版網站做A/B測試
我們沒有對改版網站做A/B測試的原因有很多：我們沒有時間準備多個風格迥異的版本，我們需要在改版後維持和之前一致的視覺效果，以及我們覺得我們的改版設計很不錯。
變成行銷導向的網站後，很快我們就發現轉化率有所降低；過來瀏覽我們網站並進行註冊的用戶比例，要比改版之前減少很多。而這與我們預期的結果來說，差異很大。
我們之所以說感到意外，主要是因為我們的網站在先前已經有了很大的流量。我們透過對37signals.com的瀏覽者進行了重定位，引導他們至basecamp.com網站；我們從其他不知名網站也購買了一些科技媒體報導曝光和用戶流量，所以，對於改版初期註冊量的減低，完全出乎我們的意料。
新版本basecamp上線之後幾個月，註冊量趨於穩定，這比較符合我們的預期。
在變成行銷型網站後的頭兩個月，註冊量相比年初有所下降。但我們認為這並不是一個嚴重的現象：因為我們最大的註冊量集中在一月份，之後註冊量逐漸下降，在秋季又逐漸回升。由於網站是由部分小企業的季節性業務所驅動的（其中很多業務在年初展開），所以我們網站在新用戶的註冊量變化，有較強的季節屬性。
但經過一段時間的發展後我們最終發現，2014年夏天申請人數的下降幅度確實比往年同期下降的多。申請人數一直到了秋天，也沒有表現出季節性回升，很明顯還有別的原因。
到2015年上半年，數據仍然沒有任何提升。對此我們不時的進行討論但卻沒有採取任何改善行動。最後，在7月，我們在網站重新把會員的註冊表格放回首頁，並進行A / B測試，結果收到了立竿見影的成效：首頁有註冊表單的註冊率，相比首頁沒有註冊表單的版本提升了16％。根據A / B測試來調整設計，其效果是清晰可見的。
我們很高興能夠看到這樣的結果：基於現有業務規模，這樣的改進能帶來價值數百萬美元的收入。註冊量下降的那段時期雖然沒有威脅到公司的生計（2014年是我們收入最高的一年），但那段時期確實影響了收益。
我們錯在了哪裡？我們學到了什麼？
一個明顯的教訓是：根據Basecamp當時的特殊情況，讓用戶能夠越簡單快捷地訪問網站，越能為我們轉換更多的付費用戶；所以在行銷型的新版Basecamp的首頁，我們應該要讓他們盡快上線註冊區域。
但是，這些僅僅是一些表層教訓而已。在這個過程中我們得到的更深的教訓，我認為需要深刻反思的主要有兩點：
不知道缺少A/B測試的後果
我們沒有針對改版做A/B測試，這意味著很長一段時間後我們才知道改版的效果和影響。若早在2014年2月進行新舊版本的A/B測試，那就有可能在幾週內就發現新版本數據表現差的問題。
在A/B測試中，需要保證兩個版本的測試環境一致——同樣的測試時期，同樣的流量來源等。這樣可以讓你直觀的看到新版本的修改（設計、註冊流程步驟）和註冊率之間的關聯。
因為我們沒有對新版的設計進行A/B測試，我們僅對新舊網站做縱向比較，受季節性和其他變量影響（例如，當您重命名公司、停止部分產品），我們很難確定哪些因素影響了最終的註冊率，所以我們需要花費更多的時間定位問題。
決定不做測試是很容易的——你很忙沒有時間；你認為新版肯定更好，你不想面對對比測試帶來的問題。但是將來，我們很容易就能證明進行全面的A/B測試的價值——因為我們已經經歷了不做測試帶來的教訓。
我們不想再去經歷同樣的錯誤，但是我們需要考慮我們還會在哪裡遇到同樣的錯誤。這些我們沒有進行測試的部分是否會對商業本身或者用戶順暢訪問Basecamp產生重要影響？我們的設想是否可以量化？
缺乏有效的溝通
因為我們是一家小公司，類似於「註冊欄位放在哪裡」的決定，一般由小組討論即可確定，而不會經過更廣泛的討論。在這種情況下，不充分的討論就決定從首頁去掉註冊欄位是有風險的，如果回溯到2014年，我們可能會做出不同的決定。
在知道問題的原委後我們也未能迅速採取有效行動：從我們知道問題原因到採取行動中間經歷了六個多月。
我們是一個以計畫為導向的公司：我們往往把重心放在有特定時限的事情上並積極對待。重新設計至今，我們已經共同完成了很多不同的計畫，為Basecamp增加了許多新功能，參與了很多計畫的幕後工作，並一直為下一個版本的Basecamp做準備工作。我們也從一個網站設計師向Android設計師轉變，而且我們探討了有關廣告、贊助等行銷的新思路。
所有這一切導致我們沒有花很多的時間去思考我們的行銷網站的改版，這也反映在測試和更新的進度上。在2014年之前我們只進行了1/3的的A / B測試，也獲取了相當少的回饋訊息。這也就解釋了為什麼我們的進度如此緩慢：這是因為行銷網站沒有正在進行的計畫，所以我們沒有花太多時間去思考討論網站。
作為一個數據分析師，我本應做更多——我知道我們在重新設計時應該進行A / B測試，我知道我們應該在測試前就找回註冊欄位。但是在這兩種情況下，我既沒有找機會去做測試，也沒有努力地影響設計結果。現在回想起來我希望自己當時能更努力地去推進這些事情。
這些無疑都是慘痛且昂貴的經驗教訓。很幸運，我們的業務面比較廣泛，不會因為一些錯誤就輕易地引發生存危機。相信經歷過這些經驗教訓我們會成為一個更好的公司，希望將來我們不會再犯同樣或類似的錯誤。
請注意！留言要自負法律責任，相關案例層出不窮，請慎重發文！