Bezos 2010股東信:一家科技公司長什麼樣
導讀
Bezos罕見攤開技術家底:隨機森林、gossip協議、最終一致性……「發明無處不在」,SOA是讓發明規模化的地基。
重點
- 技術滲透所有團隊
- SOA為基本抽象
- 發明無處不在

原貼文全文
#Bezos致股東信2010年
It’s All About The Long Term.
Amazon的技術軍火展示,過去環繞在消費者體驗展開,在2010年倒是展現了一下科技巨頭還是必須在科技上的投資和佈局。
致我們的股東:
隨機森林、樸素貝葉斯分類器、REST架構服務、Gossip協議、最終一致性、資料庫sharding、反熵、拜占庭將軍問題、抹除碼、Vector clocks...這些詞都在Amazon的會議中出現了,而你可能誤以為自己走進了電腦科學的課堂……
如果你開啟一本現在關於軟體設計的書,你會發現幾乎沒有什麼模式我們不在Amazon使用。我們使用high-performance transactions systems(高效能交易系統), complex rendering and object caching(複雜渲染和物件快取), workflow and queuing systems(流程和排隊系統), business intelligence and data analysis(商業智慧和資料分析), matching learning and pattern recognition(機器學習和模式識別), neural networks and probabilistic decision making(神經網路和基於概率的決策), 以及其他一大批其他技術。
儘管我們非常多的系統都已經是基於最新的研究成果了,但這依然不夠,我們的架構師和工程師還不得不在那些學術界還沒有成果的領域探索。我們遇到的很多問題還沒有標準解法,所以我們會*開心的*研究新方法。
我們的技術幾乎只會以*服務*的形式植入:就像一個個封裝好的模組,將需要處理的資料包裝起來,僅僅提供一些外部介面來呼叫功能。這種方式就像搭樂高積木一樣,服務和服務互相之間不會相互影響,這樣每個服務自己可以發展,而不會影響整體的架構。
面向服務的體系結構(Service-oriented architecture,SOA)是Amazon技術的根本抽象結構。多虧了一批深思熟慮有遠見的工程師和架構師團隊,我們在SOA這個詞爆紅之前就已經一直這麼做了。
Amazon的電商平臺就是由幾百個服務組合而成,互相搭配完成從個性推薦到訂單處理再到庫存追蹤等一系列任務。比如,使用者所看到的商品介紹頁面,會呼叫200到300個服務來呈現一個高度訂製化的頁面。
狀態管理對於任何一個會變得非常大的系統都是至關重要的。多年以前,Amazon的需求到達了一個臨界點,我們的系統大到當時已經沒有任何一家提供技術服務的公司可以搞定了——我們核心的資料服務儲存了好幾PB的資訊,需要每秒處理幾百萬次請求。
要能夠滿足這種近乎變態的需求,我們開發了幾套有持久又具有針對性的替代方案,包括我們自己的Key-value store(譯者注:資料庫中的專業術語)和single table store。為了做到這些,我們大量利用了分散式系統和資料庫研究的核心原理,並且從這些地方開始自己的創新。我們業界領先的儲存系統在提供了特別好的延展性(譯者注:此處指可以儲存海量資料)的同時,還能夠保持對效能、穩定性和成本的高度控制。
為了達到超強的延展性,我們採取了一個新手段來做資料更新管理:通過放鬆需要被大量複製傳播的更新的同步性需求,讓這些系統依然能夠在嚴酷的效能和可供性要求下執行。這些系統是基於最終一致性的概念而設計的。正是這些由亞馬遜工程師設計開發的資料管理技術,衍生出了AWS提供的雲端儲存和資料管理服務。比如我們的Simple Storage Service, Elastic Block Store, 和SimpleDB都是從亞馬遜的技術中衍生出來的。
Amazon的其他業務也面臨著類似的複雜資料處理和決策問題,比如產品資料攝取和分類、需求預測、庫存分配和詐騙監測。
“規則我基礎的系統(Rule-based systems)”可以用,但是它們很難被維護並且時候久了就會變得脆弱。在很多情況下,先進的機器學習技術提供了更精準的分類,並且能對變化的環境進行自適應。比如,我們的搜尋引擎就是用資料探勘和機器學習的演算法,這些演算法在後臺執行來根據關鍵詞建立模型,然後我們用資訊提取演算法來識別特徵,並從未被結構化的商品介紹中提取相關內容,為使用者精準找出符合它們需求的商品。
我們為了能夠準確預測使用者興趣並最優化搜尋結果的排序,考慮了搜尋相關性裡非常多維度的因素。亞馬遜產品的多樣性決定我們必須採取現代迴歸技術,比如經過隨機森林演算法訓練過的決策樹(trained random forests of decision trees),來在形成搜尋結果排序時,靈活地合併數千條產品。這些幕後演算法的工作結果是什麼?精準的搜尋結果,幫你找到你想要的那件商品!
如果當時把技術直接塞到一個R&D之類的部門,我們在技術上做的這些投入或許就不會產生像現在這麼厲害的結果了。技術滲透進了每一個團隊,進入了我們每一個流程,我們的決策,以及我們每一項業務創新之中。技術深深的嵌入了我們做的每一件事。
舉個例子,Whispersync功能。這是一個Kindle的服務,它確保你無論在任何地方,任何裝置上,你都可以訪問你的圖書館以及你所有的高亮、筆記和書籤。
這個技術的難點在於同時在幾百萬kindle使用者上實現,其中涉及了數億本書,數百種裝置類型,在全球一百多個國家——並且還得保證24x7的可靠性。在Whispersync技術的核心是“最終一致性複製資料儲存(an eventually consistent replicated data store)”,其中有應用定義的衝突解決機制,能夠處理幾個星期以上不同步的裝置。
當然了,對於一個kindle使用者,我們把這些技術過程都隱藏了。所以你只需要知道,當你開啟Kindle的時候,所有的閱讀進度都同步好了!借用Arthur C. Clarke的一句話,所有足夠成熟的技術都和魔術一樣。
現在,如果我們的股東們盡職盡責讀到這,眼皮子都在打架了,沒關係,我就告訴你們一句話:這些技術不是隨便選的,它們都能直接指向*自由現金流*💰 💰 💰 💰 💰 💰 💰 💰 💰 💰
我們生活在一個可用頻寬、磁碟空間、計算效能都在飛速增長的時代,而且這些東西都在越來越便宜。我們的團隊正駕馭著這世上最複雜的技術,來解決現在能夠被解決的前沿問題。正如我們討論了很多遍,我們不可動搖的認為長期來看我們的股東利益和使用者利益高度一致。
創新寫在我們DNA中,技術是我們幫助改善使用者體驗的基本工具。我們仍然有很多東西需要學習,我希望我們能持續快樂學下去。在這個團隊裡我感到很自豪。
一如既往,97年的信在後面。不改初心,還是Day 1
Jeffrey P. Bezos
(Vinchent吐血翻譯)
——查核補註——
來源:Amazon 2010年致股東信(官方公開文件)。中文譯文轉載自得到App用戶Vinchent(依原貼文標示)。
查核:已比對官方原文(SEC EDGAR),抽核主要數字與事實,一致;未逐字比對全篇。
本站文章為個人筆記與書摘整理,引述數字與事件均為原文發表時點,非即時資訊,不構成任何投資建議。
DISCUSSION
讀者留言
這篇讓你想到什麼?歡迎分享不同觀點、實務經驗與具體建議。
留言送出後即公開。請勿填寫私人聯絡資料或外部連結。系統會攔截可疑招攬、違規交易及洗版;自動判斷仍可能有誤。
接近此區時載入留言。
網站管理者登入 登出管理帳號