淘寶技術(shù)這十年

淘寶網(wǎng)有著我國(guó)最大的hadoop分布式計(jì)算群集之一，日增加數(shù)據(jù)信息50TB，有40PB海量信息儲(chǔ)存。遍布在國(guó)內(nèi)各地80好幾個(gè)連接點(diǎn)的CDN互聯(lián)網(wǎng)，適用的總流量超出800Gbps。淘寶的百度可以對(duì)數(shù)十億的產(chǎn)品數(shù)據(jù)信息開(kāi)展即時(shí)檢索，此外還有著自主研發(fā)的文檔存儲(chǔ)系統(tǒng)和緩存文件系統(tǒng)，及其java中間件和消息中間件系統(tǒng)，這一切構(gòu)成了一個(gè)巨大的相應(yīng)實(shí)際操作系統(tǒng)。此外從金融數(shù)據(jù)上看來(lái)，AMAZON的財(cái)務(wù)報(bào)告表明2011年完成了大概 480億美元的成交額，EBAY2011年財(cái)務(wù)報(bào)告全年度完成了大概600億美元的成交額（不包括其單獨(dú)的車(chē)輛平臺(tái)交易）。無(wú)論從成交額、產(chǎn)品總數(shù)、同比增長(zhǎng)率等指標(biāo)值上看，淘寶網(wǎng)均遠(yuǎn)超在此，是現(xiàn)階段世界最大的相應(yīng)服務(wù)平臺(tái)。

一切網(wǎng)站的進(jìn)步都并不是一蹴而就的。它在快速發(fā)展歷程中會(huì)碰到各式各樣的情況和業(yè)務(wù)流程產(chǎn)生的工作壓力。恰好是這種難題和工作壓力推動(dòng)著技術(shù)的發(fā)展和發(fā)展趨勢(shì)，而技術(shù)的快速發(fā)展相反又會(huì)推動(dòng)業(yè)務(wù)流程的更高提高?，F(xiàn)如今淘寶網(wǎng)的關(guān)鍵字排名已經(jīng)是全世界前15名、中國(guó)前3名，其系統(tǒng)網(wǎng)絡(luò)服務(wù)器也從一臺(tái)發(fā)展趨勢(shì)到萬(wàn)部之上?！短詫毤夹g(shù)這十年》從技術(shù)工程師的視角敘述淘寶這一集成電路工藝互聯(lián)網(wǎng)技術(shù)系統(tǒng)的成長(zhǎng)過(guò)程，以及全部積極和被動(dòng)技能的技術(shù)轉(zhuǎn)型的來(lái)龍去脈。書(shū)里有背后小故事、商品工作經(jīng)驗(yàn)、構(gòu)架演變、技術(shù)啟蒙教育，也是有大神發(fā)展、業(yè)界八卦、不成功實(shí)例、勵(lì)志小故事?！短詫毤夹g(shù)這十年》筆風(fēng)順暢，有技術(shù)工作人員獨(dú)有的幽默風(fēng)趣；內(nèi)容積極主動(dòng)正臉，有臨場(chǎng)感，所有是創(chuàng)作者真實(shí)經(jīng)歷。

淘寶技術(shù)發(fā)展趨勢(shì)（本人網(wǎng)站）：

2003年4月7日，馬云，在杭州市，創(chuàng)立了一個(gè)隱秘的機(jī)構(gòu)。他喊來(lái)十位職工，要她們簽了一份協(xié)議書(shū)，這一份協(xié)議書(shū)規(guī)定她們馬上離去阿里，去做一個(gè)神密的新項(xiàng)目。這一新項(xiàng)目規(guī)定絕對(duì)信息保密，老劉譽(yù)為“連睡覺(jué)做夢(mèng)被媳婦聽(tīng)見(jiàn)都不好，誰(shuí)如果透漏出去，我將襲擊到海角天涯”。這一份合同是英語(yǔ)版的，匆忙之間，大部分人壓根趕不及看懂，但出自于對(duì)老劉的信賴(lài)，都翻卷被褥離開(kāi)阿里。她們來(lái)到一個(gè)隱秘的聚集點(diǎn)——湖畔花園住宅小區(qū)的一套未室內(nèi)裝修的房屋里，房屋的主人家是馬云。這伙人剛進(jìn)來(lái)的情況下，馬云給他布局了一個(gè)每日任務(wù)，便是在很短的時(shí)間內(nèi)作出一個(gè)本人對(duì)本人（C2C）的產(chǎn)品交易的網(wǎng)站。如今出一個(gè)難題考閱讀者，看著你適不適合做淘寶的創(chuàng)業(yè)者。親，如果使你來(lái)做，你怎么做？在講出這一回答以前，容我先賣(mài)個(gè)關(guān)子，介紹一下這一創(chuàng)業(yè)者的組員：三個(gè)研發(fā)工程師（虛竹、三豐、多?。?、一個(gè)UED（二當(dāng)家）、三個(gè)經(jīng)營(yíng)（寶寶、阿珂、誅魔）、一個(gè)主管（財(cái)神爺）、也有便是馬云和他的文秘。那時(shí)候?qū)θ繄F(tuán)隊(duì)而言側(cè)壓力較大的便是時(shí)間，怎樣在最少的時(shí)間內(nèi)把一個(gè)幾乎就沒(méi)有的網(wǎng)站從零開(kāi)始創(chuàng)建起來(lái)？掌握淘寶歷史時(shí)間的人了解淘寶是在2003年5月10日發(fā)布的，這中間僅有一個(gè)月。如果你一直在這一精英團(tuán)隊(duì)里，你怎么做？大家的回答便是：買(mǎi)一個(gè)來(lái)。買(mǎi)一個(gè)網(wǎng)站顯而易見(jiàn)比成一個(gè)網(wǎng)站要方便一些，可是它們的理想并不是做一個(gè)小網(wǎng)站罷了，要做大，就并不是隨意買(mǎi)一個(gè)就可以了的，要有較為低的維護(hù)保養(yǎng)成本費(fèi)，要可以方便快捷的擴(kuò)大和二次開(kāi)發(fā)。那下面便是第二個(gè)難題：買(mǎi)一個(gè)什么樣子的網(wǎng)站？回答是：輕巧一點(diǎn)的，簡(jiǎn)單一點(diǎn)的，因此購(gòu)買(mǎi)了那樣一個(gè)構(gòu)架的網(wǎng)站：LAMP（linux apache mySQL PHP）。這一直到如今或是一個(gè)很常見(jiàn)的網(wǎng)站構(gòu)架實(shí)體模型。這類(lèi)構(gòu)架的特點(diǎn)是：不用編譯程序，公布迅速，PHP功能齊全，能做從網(wǎng)頁(yè)頁(yè)面3D渲染到數(shù)據(jù)信息瀏覽全部的事兒，并且使用的技術(shù)全是開(kāi)源系統(tǒng)的，完全免費(fèi)。那時(shí)候大家是以一個(gè)外國(guó)人那邊買(mǎi)回來(lái)的一個(gè)網(wǎng)站系統(tǒng)，這一系統(tǒng)的名稱(chēng)稱(chēng)為PHPAuction（她們的官方網(wǎng)網(wǎng)站http://phpauction.net這一名稱(chēng)很直接，一眼就看出去這一系統(tǒng)是用什么語(yǔ)言做的、是做什么用的），PHPAuction有好多個(gè)版本號(hào)，大家買(mǎi)的是最大版的，作用比較多，并且最重要的是另一方接受了源碼。最大版較為貴，花了大家2000美元（好像如今減價(jià)了，只需946美金）。買(mǎi)回來(lái)以后并不是隨便就能用的，必須許多本土化的改動(dòng)，比如頁(yè)面設(shè)計(jì)改的好看一點(diǎn)，頁(yè)頭底部再加上自身的網(wǎng)站介紹等，在其中最有技術(shù)成分的是對(duì)數(shù)據(jù)庫(kù)查詢開(kāi)展了一個(gè)改動(dòng)。原先是以一個(gè)數(shù)據(jù)庫(kù)查詢開(kāi)展任何的存取數(shù)據(jù)，拿過(guò)來(lái)以后多隆把它給拆分為一個(gè)主庫(kù)、2個(gè)從庫(kù)，讀寫(xiě)分離。那么做的益處有幾個(gè)方面：存儲(chǔ)量提升了，擁有備份數(shù)據(jù)，促使安全系數(shù)提升了，讀寫(xiě)分離促使讀寫(xiě)能力高效率提高了。那樣全部系統(tǒng)的構(gòu)架就如下圖所顯示：在其中pear DB是一個(gè)PHP控制模塊，承擔(dān)數(shù)據(jù)信息瀏覽層。此外也用開(kāi)源系統(tǒng)的社區(qū)論壇系統(tǒng)PHPBB（http://phpbbchina）構(gòu)建了一個(gè)小的社區(qū)論壇，虛竹承擔(dān)設(shè)備購(gòu)置、配備、搭建等，三豐和多隆承擔(dān)編號(hào)，她們把買(mǎi)賣(mài)系統(tǒng)和社區(qū)論壇系統(tǒng)的客戶信息連通，給營(yíng)銷(xiāo)工作人員開(kāi)發(fā)設(shè)計(jì)出管理后臺(tái)（admin系統(tǒng)）的作用，把交易方式從僅有競(jìng)拍這一種提升為競(jìng)拍、一口價(jià)、購(gòu)買(mǎi)產(chǎn)品、宣傳海報(bào)產(chǎn)品（意思是還沒(méi)有發(fā)布的產(chǎn)品，先掛個(gè)宣傳海報(bào)出去）這四種。（PHPAuction僅有競(jìng)拍的買(mǎi)賣(mài)，Auction即競(jìng)拍的含意。@_行癲在新浪微博中提及：今天eBay全部買(mǎi)賣(mài)中競(jìng)拍買(mǎi)賣(mài)依然占了40%，而在我國(guó)，此類(lèi)方式在淘寶基本上從一開(kāi)始就無(wú)法占有優(yōu)點(diǎn)，現(xiàn)如今在流行的買(mǎi)賣(mài)中基本上可以忽略。身后的緣故一直匪夷所思。我大概可以得出在其中一種表述，eBay基本上在資本主義國(guó)家進(jìn)行業(yè)務(wù)流程，加工制造業(yè)業(yè)務(wù)外包后，相應(yīng)的基本上人群大多數(shù)只有表達(dá)為零散的個(gè)人間買(mǎi)賣(mài)。）在經(jīng)歷了此外一些有意思的事以后（這種有意思的事包含“淘寶”這一名字的來(lái)歷，職工好聽(tīng)的花名的來(lái)歷這些，因?yàn)檫@書(shū)關(guān)鍵敘述技術(shù)層面的小故事，對(duì)這種有感興趣的可以去在網(wǎng)上找），網(wǎng)站逐漸正式上線運(yùn)作了。在下面的半年多時(shí)間里，這一網(wǎng)站快速表明出了它的活力。這兒必須提一下當(dāng)初的市場(chǎng)環(huán)境，抗擊非典（SARS）的席卷促使大家都不敢出門(mén)，尤其是去大型商場(chǎng)這類(lèi)人多的地方。此外在大江南北上最開(kāi)始發(fā)生的C2C網(wǎng)站ebay易趣也正忙的樂(lè)此不疲，2002年3月，eBay以3000萬(wàn)美金回收了ebay易趣企業(yè)33%的股權(quán)，2003年6月以1.5億美金回收了ebay易趣企業(yè)剩下67%的股權(quán)。那時(shí)候淘寶網(wǎng)容許交易雙方留有聯(lián)系電話，容許同城送貨，全部操作流程簡(jiǎn)易輕輕松松。而eBay為了更好地扣除交易傭金，是嚴(yán)禁那么做的，這必定多了交易方式的難度系數(shù)。并且eBay為了更好地全世界統(tǒng)一，把ebay易趣原先的系統(tǒng)換成了英國(guó)eBay的系統(tǒng)，客戶體驗(yàn)一下子全發(fā)生變化，實(shí)際操作起來(lái)十分不便，這等因此把累積的客戶作揖贈(zèng)給了淘寶。為了更好地不造成eBay的留意，淘寶網(wǎng)在2003年里一直宣稱(chēng)自身是一個(gè)“本人網(wǎng)站”。因?yàn)檫@一創(chuàng)業(yè)者強(qiáng)勁的市場(chǎng)拓展和運(yùn)營(yíng)能力，淘寶網(wǎng)發(fā)展趨勢(shì)的十分迅速，2003年底就吸引住了申請(qǐng)注冊(cè)客戶XXX，最大每日31萬(wàn)PV，從5月到年末成交量4000萬(wàn)。這沒(méi)有造成eBay的留意，卻造成了阿里內(nèi)部許多公司員工的留意，她們感覺(jué)這一網(wǎng)站之后會(huì)變成阿里強(qiáng)悍的敵人。乃至有些人以內(nèi)網(wǎng)發(fā)帖子，告誡高管要當(dāng)心這一剛發(fā)展的網(wǎng)站，但高管好像視而不見(jiàn)。（這一精英團(tuán)隊(duì)的保密做的真棒）在銷(xiāo)售市場(chǎng)和經(jīng)營(yíng)的后才，淘寶網(wǎng)的技術(shù)精英團(tuán)隊(duì)也在迅速的做著系統(tǒng)的改善和自主創(chuàng)新。這兒也有個(gè)有趣的小故事，eBay和ebay易趣初期都是有職工在社區(qū)論壇上回應(yīng)客戶的要求，eBay的社區(qū)論壇用粉紅色背景來(lái)區(qū)別職工的講話，ebay易趣的公司員工在社區(qū)論壇上呢稱(chēng)都選各種各樣痘痘，比如黃豆豆、豇豆豆等。淘寶在探討運(yùn)營(yíng)策略的是提及這個(gè)問(wèn)題，規(guī)定全部的職工都去社區(qū)論壇上回應(yīng)客戶的難題。最開(kāi)始解答問(wèn)題的任務(wù)落在寶寶頭頂，那大家用什么名字好呢？“淘淘”？“小寶寶”？寶寶都不滿意，太男性化了。探討了好長(zhǎng)時(shí)間以后，寶寶靈光乍現(xiàn)，索性取個(gè)名字叫“寶寶”吧，寶寶帶七個(gè)媳婦來(lái)開(kāi)實(shí)體店，迎來(lái)諸位客官，很有故事類(lèi)。因此許多古代武俠小說(shuō)中的角色逐漸在社區(qū)論壇中俠義天下，這種呢稱(chēng)下邊意味著“淘寶店小二”，她們回應(yīng)著多種多樣的難題，快速響應(yīng)著客戶的各類(lèi)要求。如果是技術(shù)可以處理的，幾個(gè)人商量一下，立刻就開(kāi)發(fā)設(shè)計(jì)、檢測(cè)、公布發(fā)布。相反比照一下，ebay易趣被eBay回收以后，系統(tǒng)拆換變成全球通用的版本號(hào)，回應(yīng)客戶的一個(gè)要求必須逐層審核，反應(yīng)速率當(dāng)然慢了出來(lái)。那時(shí)候淘寶第一個(gè)版本號(hào)的系統(tǒng)里邊早已涵蓋了產(chǎn)品公布、管理方法、檢索、商品詳情、競(jìng)價(jià)選購(gòu)、點(diǎn)評(píng)舉報(bào)、我的淘寶這種作用（如今主流程中也是這種控制模塊。在2003年10月提升了一個(gè)作用連接點(diǎn)：“安全性買(mǎi)賣(mài)”，這個(gè)是支付寶錢(qián)包的原型）。伴隨著用戶需求和數(shù)據(jù)流量的持續(xù)提高，系統(tǒng)上邊干了許多的日常改善，網(wǎng)絡(luò)服務(wù)器由起初的一臺(tái)變成了三臺(tái)，一臺(tái)承擔(dān)推送email、一臺(tái)承擔(dān)運(yùn)作數(shù)據(jù)庫(kù)查詢、一臺(tái)承擔(dān)運(yùn)作webApp。過(guò)一段時(shí)間以后，商品查詢的作用占有數(shù)據(jù)庫(kù)查詢資源太大（用like檢索的，比較慢），又從阿里中文網(wǎng)站搬回來(lái)她們的百度搜索引擎iSearch，最初iSearch數(shù)據(jù)庫(kù)索引的文檔放到電腦硬盤(pán)上，伴隨著信息量的提高，又選擇了NetApp網(wǎng)絡(luò)服務(wù)器置放iSearch。這般節(jié)奏快的工作中，實(shí)際上大家都累到不好，有些人就建議大伙兒隨時(shí)的加強(qiáng)鍛煉，但是外邊SARS猖狂，在一個(gè)一百多方的房屋里，如何鍛煉呢？高挑美女阿珂建議大伙兒訓(xùn)練瘦腰操，這一提議遭受男性的一致，之后虛竹就教大伙兒訓(xùn)練倒立起來(lái)，這一大家都能接納。因此這一倒立起來(lái)的傳統(tǒng)式一直持續(xù)迄今，和好聽(tīng)的花名文化藝術(shù)、武俠江湖文化藝術(shù)一并承傳了出來(lái)。伴隨著瀏覽量和信息量的飛快增漲，難題迅速就出來(lái)，第一個(gè)難題發(fā)生在數(shù)據(jù)庫(kù)查詢上。mySQL那時(shí)候是第4版的，大家用的是正常的儲(chǔ)存模塊myisam，這類(lèi)種類(lèi)讀

文件目錄：

第0章 前言：?jiǎn)紊砉?jié)的歡樂(lè)第1章 本人網(wǎng)站LAMP構(gòu)架的網(wǎng)站武俠江湖和倒立起來(lái)文化藝術(shù)的發(fā)源第2章 本人網(wǎng)站的升級(jí)數(shù)據(jù)庫(kù)查詢從mySQL到Oracle支付手段的自主創(chuàng)新——支付寶錢(qián)包溝通交流方法的自主創(chuàng)新——淘寶淘寶旺旺第3章 公司級(jí)Java網(wǎng)站洗心革面的升級(jí)——拆換編程語(yǔ)言堅(jiān)若磐石——緊緊圍繞特性、容積和費(fèi)用的演變第4章 造就技術(shù)淘寶文檔系統(tǒng)——TFS淘寶KV緩存文件系統(tǒng)——Tair第5章 分布式系統(tǒng)相應(yīng)實(shí)際操作系統(tǒng)服務(wù)創(chuàng)新分布式數(shù)據(jù)庫(kù)Session架構(gòu)Session架構(gòu)開(kāi)發(fā)者平臺(tái)第6章 我還在淘寶這八年第一年（2004年—2005年）第二年（2005年—2006年）第三年（2006年—2007年）第四年（2007年—2008年）第五年（2008年—2009年）第六年（2009年—2010年）第七年（2010年—2011年）第八年（2011年—2012年）第7章 牛P本紀(jì)正明——集團(tuán)公司關(guān)鍵系統(tǒng)高級(jí)研究者正祥——淘寶高級(jí)研究者，OceanBase項(xiàng)目經(jīng)理畢玄——集團(tuán)公司關(guān)鍵系統(tǒng)杰出技術(shù)權(quán)威專(zhuān)家放翁——淘寶開(kāi)發(fā)者平臺(tái)項(xiàng)目經(jīng)理吳翰清——阿里云服務(wù)器集團(tuán)公司網(wǎng)絡(luò)信息安全核心高級(jí)安全性權(quán)威專(zhuān)家云錚——大數(shù)據(jù)平臺(tái)與產(chǎn)品研發(fā)杰出技術(shù)權(quán)威專(zhuān)家小龍——淘寶UED前面通用性服務(wù)平臺(tái)高級(jí)技術(shù)權(quán)威專(zhuān)家淘寶熱血傳奇技術(shù)工程師多隆的程序流程全球