Java架構(gòu)師干貨分享,分布式框架,高可用框架,微服務(wù)架構(gòu),數(shù)據(jù)庫(kù)優(yōu)化
2021-09-17 16:20:29

Java架構(gòu)師干貨分享,分布式框架,高可用框架,微服務(wù)架構(gòu),數(shù)據(jù)庫(kù)優(yōu)化

Java架構(gòu)師干貨分享,分布式框架,高可用框架,微服務(wù)架構(gòu),數(shù)據(jù)庫(kù)優(yōu)化

1. 不同系統(tǒng)不同語(yǔ)言之間的交互

現(xiàn)在我們常見的不同系統(tǒng)不同語(yǔ)言之間的交互使用WebService，Http請(qǐng)求。WebService，即“Web 服務(wù)”，簡(jiǎn)寫為 WS。從字面上理解，它其實(shí)就是“基于 Web 的服務(wù)”。而服務(wù)卻是雙方的，有服務(wù)需求方，就有服務(wù)提供方。服務(wù)提供方對(duì)外發(fā)布服務(wù)，服務(wù)需求方調(diào)用服務(wù)提供方所發(fā)布的服務(wù)。如果說(shuō)得再專業(yè)一點(diǎn)，WS 其實(shí)就是建立在 HTTP 協(xié)議上實(shí)現(xiàn)異構(gòu)系統(tǒng)通訊的工具。沒錯(cuò)！WS 說(shuō)白了還是基于 HTTP 協(xié)議的，也就是說(shuō)，數(shù)據(jù)是通過(guò) HTTP 進(jìn)行傳輸?shù)?。最早我們是用CXF開發(fā)SOAP服務(wù)實(shí)現(xiàn)WS，后面我們是用REST服務(wù)實(shí)現(xiàn)WS(這個(gè)目前使用比較多，也最我用得最多的這一種)?；贑XF也可以開發(fā)REST服務(wù)，不過(guò)我們一般直接使用springMVC或者其他MVC框架實(shí)現(xiàn)REST服務(wù)。

但是在很多人的印象中Web service的話一般指十來(lái)年前IBM主導(dǎo)的基于XML的各種交互技術(shù)，現(xiàn)在除了一些公司在用之外用得人也很少了。廣義的話Webservice就是Web 服務(wù)了，一切皆服務(wù)。

2. 不同系統(tǒng)相同語(yǔ)言之間的交互

常見的不同系統(tǒng)相同語(yǔ)言之間的交互用RPC(遠(yuǎn)程過(guò)程調(diào)用)，或者RMI(遠(yuǎn)程方法調(diào)用)實(shí)現(xiàn)，不用對(duì)外部提供服務(wù)，當(dāng)然上面說(shuō)的也可以使用在相同語(yǔ)言之間的交互,只是我常用的是RPC。

不同產(chǎn)品的架構(gòu)

3. 單個(gè)產(chǎn)品的架構(gòu)演進(jìn)

一般我們只是一個(gè)產(chǎn)品的情況下的架構(gòu)演進(jìn)歷程，如果需要對(duì)外提供webService，通常使用REST服務(wù)實(shí)現(xiàn)。

以下一段內(nèi)容來(lái)源于??知乎??

1. 分布式架構(gòu)的演進(jìn)系統(tǒng)架構(gòu)演化歷程-初始階段架構(gòu)

初始階段 的小型系統(tǒng) 應(yīng)用程序、數(shù)據(jù)庫(kù)、文件等所有的資源都在一臺(tái)服務(wù)器上通俗稱為L(zhǎng)AMP

特征：應(yīng)用程序、數(shù)據(jù)庫(kù)、文件等所有的資源都在一臺(tái)服務(wù)器上。

描述：通常服務(wù)器操作系統(tǒng)使用linux，應(yīng)用程序使用PHP開發(fā)，然后部署在Apache上，數(shù)據(jù)庫(kù)使用Mysql，匯集各種免費(fèi)開源軟件以及一臺(tái)廉價(jià)服務(wù)器就可以開始系統(tǒng)的發(fā)展之路了。

2. 系統(tǒng)架構(gòu)演化歷程-應(yīng)用服務(wù)和數(shù)據(jù)服務(wù)分離

好景不長(zhǎng)，發(fā)現(xiàn)隨著系統(tǒng)訪問(wèn)量的再度增加，webserver機(jī)器的壓力在高峰期會(huì)上升到比較高，這個(gè)時(shí)候開始考慮增加一臺(tái)webserver

特征：應(yīng)用程序、數(shù)據(jù)庫(kù)、文件分別部署在獨(dú)立的資源上。

描述：數(shù)據(jù)量增加，單臺(tái)服務(wù)器性能及存儲(chǔ)空間不足，需要將應(yīng)用和數(shù)據(jù)分離，并發(fā)處理能力和數(shù)據(jù)存儲(chǔ)空間得到了很大改善。

3. 系統(tǒng)架構(gòu)演化歷程-使用緩存改善性能

特征：數(shù)據(jù)庫(kù)中訪問(wèn)較集中的一小部分?jǐn)?shù)據(jù)存儲(chǔ)在緩存服務(wù)器中，減少數(shù)據(jù)庫(kù)的訪問(wèn)次數(shù)，降低數(shù)據(jù)庫(kù)的訪問(wèn)壓力。

描述：系統(tǒng)訪問(wèn)特點(diǎn)遵循二八定律，即80%的業(yè)務(wù)訪問(wèn)集中在20%的數(shù)據(jù)上。緩存分為本地緩存和遠(yuǎn)程分布式緩存，本地緩存訪問(wèn)速度更快但緩存數(shù)據(jù)量有限，同時(shí)存在與應(yīng)用程序爭(zhēng)用內(nèi)存的情況。

4. 系統(tǒng)架構(gòu)演化歷程-使用應(yīng)用服務(wù)器集群

在做完分庫(kù)分表這些工作后，數(shù)據(jù)庫(kù)上的壓力已經(jīng)降到比較低了，又開始過(guò)著每天看著訪問(wèn)量暴增的幸福生活了，突然有一天，發(fā)現(xiàn)系統(tǒng)的訪問(wèn)又開始有變慢的趨勢(shì)了，這個(gè)時(shí)候首先查看數(shù)據(jù)庫(kù)，壓力一切正常，之后查看webserver，發(fā)現(xiàn)apache阻塞了很多的請(qǐng)求，而應(yīng)用服務(wù)器對(duì)每個(gè)請(qǐng)求也是比較快的，看來(lái) 是請(qǐng)求數(shù)太高導(dǎo)致需要排隊(duì)等待，響應(yīng)速度變慢

特征：多臺(tái)服務(wù)器通過(guò)負(fù)載均衡同時(shí)向外部提供服務(wù)，解決單臺(tái)服務(wù)器處理能力和存儲(chǔ)空間上限的問(wèn)題。

描述：使用集群是系統(tǒng)解決高并發(fā)、海量數(shù)據(jù)問(wèn)題的常用手段。通過(guò)向集群中追加資源，提升系統(tǒng)的并發(fā)處理能力，使得服務(wù)器的負(fù)載壓力不再成為整個(gè)系統(tǒng)的瓶頸。

5. 系統(tǒng)架構(gòu)演化歷程-數(shù)據(jù)庫(kù)讀寫分離

享受了一段時(shí)間的系統(tǒng)訪問(wèn)量高速增長(zhǎng)的幸福后，發(fā)現(xiàn)系統(tǒng)又開始變慢了，這次又是什么狀況呢，經(jīng)過(guò)查找，發(fā)現(xiàn)數(shù)據(jù)庫(kù)寫入、更新的這些操作的部分?jǐn)?shù)據(jù)庫(kù)連接的資源競(jìng)爭(zhēng)非常激烈，導(dǎo)致了系統(tǒng)變慢

特征：多臺(tái)服務(wù)器通過(guò)負(fù)載均衡同時(shí)向外部提供服務(wù)，解決單臺(tái)服務(wù)器處理能力和存儲(chǔ)空間上限的問(wèn)題。

描述：使用集群是系統(tǒng)解決高并發(fā)、海量數(shù)據(jù)問(wèn)題的常用手段。通過(guò)向集群中追加資源，使得服務(wù)器的負(fù)載壓力不在成為整個(gè)系統(tǒng)的瓶頸。

6. 系統(tǒng)架構(gòu)演化歷程-反向代理和CDN加速

特征：采用CDN和反向代理加快系統(tǒng)的 訪問(wèn)速度。

描述：為了應(yīng)付復(fù)雜的網(wǎng)絡(luò)環(huán)境和不同地區(qū)用戶的訪問(wèn)，通過(guò)CDN和反向代理加快用戶訪問(wèn)的速度，同時(shí)減輕后端服務(wù)器的負(fù)載壓力。CDN與反向代理的基本原理都是緩存。

7. 系統(tǒng)架構(gòu)演化歷程-分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)

隨著系統(tǒng)的不斷運(yùn)行，數(shù)據(jù)量開始大幅度增長(zhǎng)，這個(gè)時(shí)候發(fā)現(xiàn)分庫(kù)后查詢?nèi)匀粫?huì)有些慢，于是按照分庫(kù)的思想開始做分表的工作

特征：數(shù)據(jù)庫(kù)采用分布式數(shù)據(jù)庫(kù)，文件系統(tǒng)采用分布式文件系統(tǒng)。

描述：任何強(qiáng)大的單一服務(wù)器都滿足不了大型系統(tǒng)持續(xù)增長(zhǎng)的業(yè)務(wù)需求，數(shù)據(jù)庫(kù)讀寫分離隨著業(yè)務(wù)的發(fā)展最終也將無(wú)法滿足需求，需要使用分布式數(shù)據(jù)庫(kù)及分布式文件系統(tǒng)來(lái)支撐。分布式數(shù)據(jù)庫(kù)是系統(tǒng)數(shù)據(jù)庫(kù)拆分的最后方法，只有在單表數(shù)據(jù)規(guī)模非常龐大的時(shí)候才使用，更常用的數(shù)據(jù)庫(kù)拆分手段是業(yè)務(wù)分庫(kù)，將不同的業(yè)務(wù)數(shù)據(jù)庫(kù)部署在不同的物理服務(wù)器上。

8. 系統(tǒng)架構(gòu)演化歷程-使用NoSQL和搜索引擎

特征：系統(tǒng)引入NoSQL數(shù)據(jù)庫(kù)及搜索引擎。

描述：隨著業(yè)務(wù)越來(lái)越復(fù)雜，對(duì)數(shù)據(jù)存儲(chǔ)和檢索的需求也越來(lái)越復(fù)雜，系統(tǒng)需要采用一些非關(guān)系型數(shù)據(jù)庫(kù)如NoSQL和分?jǐn)?shù)據(jù)庫(kù)查詢技術(shù)如搜索引擎。應(yīng)用服務(wù)器通過(guò)統(tǒng)一數(shù)據(jù)訪問(wèn)模塊訪問(wèn)各種數(shù)據(jù)，減輕應(yīng)用程序管理諸多數(shù)據(jù)源的麻煩。

9. 系統(tǒng)架構(gòu)演化歷程-業(yè)務(wù)拆分

特征：系統(tǒng)上按照業(yè)務(wù)進(jìn)行拆分改造，應(yīng)用服務(wù)器按照業(yè)務(wù)區(qū)分進(jìn)行分別部署。

描述：為了應(yīng)對(duì)日益復(fù)雜的業(yè)務(wù)場(chǎng)景，通常使用分而治之的手段將整個(gè)系統(tǒng)業(yè)務(wù)分成不同的產(chǎn)品線，應(yīng)用之間通過(guò)超鏈接建立關(guān)系，也可以通過(guò)消息隊(duì)列進(jìn)行數(shù)據(jù)分發(fā)，當(dāng)然更多的還是通過(guò)訪問(wèn)同一個(gè)數(shù)據(jù)存儲(chǔ)系統(tǒng)來(lái)構(gòu)成一個(gè)關(guān)聯(lián)的完整系統(tǒng)?？v向拆分：將一個(gè)大應(yīng)用拆分為多個(gè)小應(yīng)用，如果新業(yè)務(wù)較為獨(dú)立，那么就直接將其設(shè)計(jì)部署為一個(gè)獨(dú)立的Web應(yīng)用系統(tǒng)縱向拆分相對(duì)較為簡(jiǎn)單，通過(guò)梳理業(yè)務(wù)，將較少相關(guān)的業(yè)務(wù)剝離即可。橫向拆分：將復(fù)用的業(yè)務(wù)拆分出來(lái)，獨(dú)立部署為分布式服務(wù)，新增業(yè)務(wù)只需要調(diào)用這些分布式服務(wù)橫向拆分需要識(shí)別可復(fù)用的業(yè)務(wù)，設(shè)計(jì)服務(wù)接口，規(guī)范服務(wù)依賴關(guān)系。

10. 系統(tǒng)架構(gòu)演化歷程-分布式服務(wù)

特征：公共的應(yīng)用模塊被提取出來(lái)，部署在分布式服務(wù)器上供應(yīng)用服務(wù)器調(diào)用。描述：隨著業(yè)務(wù)越拆越小，應(yīng)用系統(tǒng)整體復(fù)雜程度呈指數(shù)級(jí)上升，由于所有應(yīng)用要和所有數(shù)據(jù)庫(kù)系統(tǒng)連接，最終導(dǎo)致數(shù)據(jù)庫(kù)連接資源不足，拒絕服務(wù)。

Q：分布式服務(wù)應(yīng)用會(huì)面臨哪些問(wèn)題？

(1) 當(dāng)服務(wù)越來(lái)越多時(shí)，服務(wù)URL配置管理變得非常困難，F(xiàn)5硬件負(fù)載均衡器的單點(diǎn)壓力也越來(lái)越大。

(2) 當(dāng)進(jìn)一步發(fā)展，服務(wù)間依賴關(guān)系變得錯(cuò)蹤復(fù)雜，甚至分不清哪個(gè)應(yīng)用要在哪個(gè)應(yīng)用之前啟動(dòng)，架構(gòu)師都不能完整的描述應(yīng)用的架構(gòu)關(guān)系。

(3) 接著，服務(wù)的調(diào)用量越來(lái)越大，服務(wù)的容量問(wèn)題就暴露出來(lái)，這個(gè)服務(wù)需要多少機(jī)器支撐？什么時(shí)候該加機(jī)器？

(4) 服務(wù)多了，溝通成本也開始上升，調(diào)某個(gè)服務(wù)失敗該找誰(shuí)？服務(wù)的參數(shù)都有什么約定？

(5) 一個(gè)服務(wù)有多個(gè)業(yè)務(wù)消費(fèi)者，如何確保服務(wù)質(zhì)量？

(6) 隨著服務(wù)的不停升級(jí)，總有些意想不到的事發(fā)生，比如cache寫錯(cuò)了導(dǎo)致內(nèi)存溢出，故障不可避免，每次核心服務(wù)一掛，影響一大片，人心慌慌，如何控制故障的影響面？服務(wù)是否可以功能降級(jí)？或者資源劣化？

這個(gè)好像是??大型網(wǎng)站技術(shù)架構(gòu) 核心原理與案例分析??開篇的內(nèi)容，不過(guò)作者總結(jié)得不錯(cuò)，我就轉(zhuǎn)載一下吧。

4. 產(chǎn)品線的架構(gòu)

還有一種就是上面也有提到的業(yè)務(wù)拆分?，F(xiàn)在我們需要做一個(gè)產(chǎn)品線，我們只需要一個(gè)數(shù)據(jù)層，一個(gè)通用業(yè)務(wù)邏輯層，前面還有各種應(yīng)用和界面層,不需要對(duì)外部系統(tǒng)(外部公司的系統(tǒng))提供服務(wù)的情況以前我們一般會(huì)選擇用EJB等來(lái)構(gòu)建分布式應(yīng)用，但是現(xiàn)在我們可以使用dobbo、thrift、avro、hessian這類RPC框架來(lái)構(gòu)建分布式應(yīng)用實(shí)現(xiàn)不同應(yīng)用和數(shù)據(jù)來(lái)源的交互。這種結(jié)構(gòu)模式下我們需要對(duì)其他公司提供服務(wù)，可以專門寫一個(gè)應(yīng)用對(duì)外部系統(tǒng)提供rest服務(wù)。一般大多數(shù)互聯(lián)網(wǎng)服務(wù)背后都要訪問(wèn)十幾個(gè)甚至幾百個(gè)內(nèi)部服務(wù)，它們之間的通信方式一般都是RPC：就像訪問(wèn)一個(gè)遠(yuǎn)程方法那樣，輸入?yún)?shù)后等待返回結(jié)果。這對(duì)于構(gòu)建復(fù)雜系統(tǒng)是最容易理解的方式。

如下圖的模型，文件系統(tǒng)，緩存那些沒有畫出來(lái)，大家理解就行。

?

?

?

?

?