3月23日上午10點,涂鴉智能技術(shù)總監(jiān)--柯都敏帶著“5個月完成涂鴉智能第一代技術(shù)架構(gòu),平穩(wěn)支撐涂鴉智能一年從零到幾十億數(shù)據(jù)發(fā)展。”的業(yè)界佳話參加了第四場發(fā)布:
本次分享主要為眾多開發(fā)者及技術(shù)愛好者、從業(yè)者介紹涂鴉智能云上架構(gòu)設(shè)計和借助阿里云實現(xiàn)輕運維高可用性監(jiān)控的實戰(zhàn)經(jīng)驗,同時也介紹了網(wǎng)絡(luò)安全、權(quán)限控制等特定場景下利用阿里云結(jié)合涂鴉自身優(yōu)勢效率的解決特定問題。
AM 9:36:
直播前半小時,柯總依舊在于阿里云技術(shù)負(fù)責(zé)人做最后的技術(shù)分享討論及細(xì)節(jié)確認(rèn)...
AM 10:00:
開始了...
涂鴉智能技術(shù)總監(jiān)--柯都敏
AM 10:43:
柯總在線上與眾多技術(shù)愛好者,開發(fā)者及同業(yè)伙伴精彩互動討論中。
涂鴉智能云第二代
隨著業(yè)務(wù)量的增加,數(shù)據(jù)庫壓力逐漸增大。涂鴉智能云第二代架構(gòu)中,進(jìn)行了拆分分層,相對于第一代架構(gòu),網(wǎng)關(guān)層幾乎不存在改動,實現(xiàn)風(fēng)險可控;
中間層進(jìn)行模塊化拆分,服務(wù)化治理方面采用阿里的Dubbo,同時也進(jìn)行了一些對應(yīng)的改進(jìn),使其更加適應(yīng)用于網(wǎng)關(guān)層,通過配置中心動態(tài)配置生效。
同時使用Dubbo monitor對服務(wù)進(jìn)行監(jiān)控,同時自行開發(fā)了服務(wù)化治理的調(diào)用依賴等。
目前,涂鴉智能內(nèi)部服務(wù)已經(jīng)有十幾種之多。數(shù)據(jù)庫方面,通過涂鴉科技自行開發(fā)數(shù)據(jù)庫中間件,實現(xiàn)路由、分庫分表、主從備份等操作。通過對架構(gòu)的優(yōu)化,第二代架構(gòu)對業(yè)務(wù)有了更好的支撐:
數(shù)據(jù)方面,目前可以處理日峰值30T數(shù)據(jù)上傳;可以運行幾十億用戶核心數(shù)據(jù);支持實時日志搜索和分析報警以及支持離線和實時數(shù)據(jù)處理。
模塊化方面,對業(yè)務(wù)服務(wù)模塊化拆分,做到可獨立發(fā)布部署;同時服務(wù)治理工具可分析服務(wù)調(diào)用情況按需擴(kuò)容;通過性能和可用性監(jiān)控,及時發(fā)現(xiàn)技術(shù)瓶頸,同時支持服務(wù)熱發(fā)布。
網(wǎng)關(guān)方面,通過網(wǎng)關(guān)隔離內(nèi)外數(shù)據(jù);同時采用網(wǎng)關(guān)服務(wù)組裝業(yè)務(wù)場景,使得模塊顆粒更細(xì)化;除此之外,網(wǎng)關(guān)提供了多種安全機(jī)制支持多業(yè)務(wù)場景;網(wǎng)關(guān)可以進(jìn)行平行擴(kuò)展,并且沒有性能瓶頸;網(wǎng)關(guān)作為統(tǒng)一的數(shù)據(jù)出入口,可以方便進(jìn)行日志分析跟蹤。
中間件方面,通過自主開發(fā)數(shù)據(jù)組件支持分庫分表、主從讀寫等操作;同時對Mq等中間服務(wù)封裝,便于架構(gòu)選型;此外架構(gòu)中盡量多的使用阿里云來減少維護(hù)成本。同時通過配置中心,滿足了網(wǎng)關(guān)接口的實時更新的需求。
涂鴉智能云使用經(jīng)驗技巧
涂鴉智能基于阿里云的深度定制優(yōu)化設(shè)計,在RAM權(quán)限,不同的客戶端使用不同的Key,隱藏超級Key,采用RAM自定義權(quán)限細(xì)化到每個用戶,通過對業(yè)務(wù)拆分減少了安全風(fēng)險。
在云監(jiān)控技巧,通過對ECS、RDS、OCS等常規(guī)監(jiān)控,如何出現(xiàn)報警時,可以做到及時的修改。通過自定義監(jiān)控服務(wù)的存活情況,由于自定義監(jiān)控的信息量有限,后期又開發(fā)了自主監(jiān)控,監(jiān)控信息內(nèi)加上日志分析出來的鏈接地址,如果有報警情況出現(xiàn)時,可用過該鏈接地址準(zhǔn)確找到問題所在。通過SLB進(jìn)行內(nèi)部服務(wù)管理,首先SLB內(nèi)網(wǎng)免費使用,十分靈活。前端Nodejs服務(wù)器調(diào)用后端API時,通過SLB搭建內(nèi)網(wǎng),避免內(nèi)網(wǎng)服務(wù)器更換、下線時帶來的不可用性。此外,還通過SLB管理ZooKeeper集群,無需對代碼進(jìn)行變更,避免了風(fēng)險。OSS方面,通過OSS的圖片服務(wù)降低了成本,還可以通過OSS管理內(nèi)部的運維小工具,通過OSS的Python的Client自主化運維一些服務(wù)器。
插播 Q&A:
(阿里云)問:作為技術(shù)人員,可以分享下這幾年的創(chuàng)業(yè)經(jīng)驗嗎?
(柯總)答:創(chuàng)業(yè)這一段時間感觸頗大,在公司時更專注于做自己的事情,對其他知識了解不多,比較安分。創(chuàng)業(yè)時,不僅要著重提高自己的技術(shù),同時還需要關(guān)注團(tuán)隊的發(fā)展,將整個鏈路連接起來,成長很大。
(阿里云)問:一個完美的架構(gòu)應(yīng)該經(jīng)歷哪些發(fā)展過程的?
(柯總)答:個人認(rèn)為沒有最完美的架構(gòu),最適合業(yè)務(wù)的架構(gòu)就是最好的,
目前涂鴉智能基于自身云架構(gòu)技術(shù)優(yōu)勢的設(shè)計、工具開發(fā)、運維經(jīng)驗無論安全性還是監(jiān)控效率都是業(yè)界領(lǐng)先且非常適合我們的客戶的...
“涂鴉云”基于ECS安全組的權(quán)限控制
涂鴉云基于阿里云ECS安全組的權(quán)限控制。在ECS安全組沒有上市前,采用的是在每臺機(jī)器上部署防火墻方式,在不同的服務(wù)器上部署的防火墻規(guī)則也不同,當(dāng)需要修改防火墻時,需要上機(jī)處理,十分繁瑣,
通過ECS安全組,將相應(yīng)的防火墻規(guī)則進(jìn)行梳理,比如可以將所有的日志分析服務(wù)器添加到日志分析服務(wù)安全組內(nèi),十分靈活。另外安全組內(nèi)可進(jìn)行內(nèi)網(wǎng)通信,阿里云自帶的安全組和自定義的安全組之間也進(jìn)行了打通。
涂鴉智能基于ECS API自行開發(fā)了一套工具:這套工具可以獲取機(jī)器列表和信息(RAM權(quán)限),然后通過主機(jī)Tag管理給每臺機(jī)器打上Tag,不同的開發(fā)人員只能接觸與之對應(yīng)的機(jī)器。通過Tag標(biāo)記,可以使得主機(jī)按需管理,批量運維,同時還可以根據(jù)Tag類型做對應(yīng)的可用性監(jiān)控。
通過對所有數(shù)據(jù)的實時分析,利用Tag的標(biāo)記來明確服務(wù)的類型,基于服務(wù)類型來調(diào)用分析結(jié)果。比如可以分析出網(wǎng)關(guān)在一定時間內(nèi)的錯誤量,以及網(wǎng)絡(luò)的響應(yīng)時間等信息。如果錯誤量或響應(yīng)時間超過一定的閥值,可以進(jìn)行自動化報警,無需人工,開發(fā)人員通過報警提供的URL地址快速定位問題的所在。
在安全性遠(yuǎn)遠(yuǎn)超過以前的基礎(chǔ)上,在主機(jī)管理、批量運維、可用性監(jiān)控、定位問題方面效率大大提高...
同時也保證了涂鴉智能云在網(wǎng)絡(luò)訪問時間、穩(wěn)定性、使用成本、技術(shù)支持上有了相較同業(yè)者更大的優(yōu)勢。
關(guān)于分享者:
柯都敏:涂鴉智能技術(shù)總監(jiān)。近10年互聯(lián)網(wǎng)從業(yè)經(jīng)歷,曾任職阿里巴巴(曾負(fù)責(zé)aliyun.com業(yè)務(wù)技術(shù)和架構(gòu),云os云服務(wù)架構(gòu),淘點點服務(wù)端等業(yè)務(wù)。團(tuán)隊成員多為阿里技術(shù)專家更有華為公有云業(yè)務(wù)負(fù)責(zé)人和知名互聯(lián)網(wǎng)餐飲品牌創(chuàng)業(yè)者),2014年9月加入涂鴉科技,5個月完成涂鴉科技第一二代技術(shù)架構(gòu),平穩(wěn)支撐涂鴉一年從零到幾十億數(shù)據(jù)快速發(fā)展
涂鴉智能:一家專業(yè)的智能硬件解決方案提供商,以云平臺為核心、軟硬件結(jié)合的方式提供智能生活服務(wù),安全快速穩(wěn)定地推進(jìn)中國制造業(yè)轉(zhuǎn)型升級,促進(jìn)傳統(tǒng)產(chǎn)業(yè)“互聯(lián)網(wǎng)+”有效深入的融合,“中國制造”轉(zhuǎn)型“中國智造”。基于涂鴉智能的一站式硬件智能化解決方案,廠商只需要專注于自己最擅長的領(lǐng)域,最大化提升硬件品質(zhì),讓產(chǎn)品更具競爭力,給用戶更好的體驗。目前涂鴉科技旗下?lián)碛型盔f智能硬件平臺和自有軟硬件產(chǎn)品。2015年獲得了NEA千萬美元A輪投資。