TDengine
北京濤思數(shù)據(jù)科技有限公司( TAOS Data ) 瞄準(zhǔn)日益增長的物聯(lián)網(wǎng)數(shù)據(jù)市場，專注時(shí)序空間大數(shù)據(jù)的存儲、查詢、分析和計(jì)算，不依賴任何開源或第三方軟件，開發(fā)了擁有自主知識產(chǎn)權(quán)、100% 自主可控的高性能、分布式、支持SQL的時(shí)序數(shù)據(jù)庫 TDengine。TDengine 可廣泛運(yùn)用于物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、IT運(yùn)維等領(lǐng)域。公司已經(jīng)申請多項(xiàng)技術(shù)發(fā)明專利，且全部提交 PCT 專利申請。
（一）開源項(xiàng)目情況簡介
申報(bào)人：北京濤思數(shù)據(jù)科技有限公司
項(xiàng)目名稱：TDengine
開源許可協(xié)議：AGPL
項(xiàng)目主導(dǎo)企業(yè)：濤思數(shù)據(jù)
所在開源社區(qū)：無
開發(fā)者：187 位開發(fā)者，其中 48 位外部開發(fā)者
（二）開源項(xiàng)目功能與性能簡介
TDengine是一款開源、高性能、分布式、支持 SQL 的時(shí)序數(shù)據(jù)庫，其核心代碼包括集群功能全部開源。同時(shí) TDengine 還帶有內(nèi)建的緩存、流式計(jì)算、數(shù)據(jù)訂閱等系統(tǒng)功能，能大幅減少研發(fā)和運(yùn)維的復(fù)雜度。TDengine 可以讓大量設(shè)備、數(shù)據(jù)采集器每天產(chǎn)生的高達(dá) TB 甚至 PB 級的數(shù)據(jù)能得到高效實(shí)時(shí)的處理，對業(yè)務(wù)的運(yùn)行狀態(tài)進(jìn)行實(shí)時(shí)的監(jiān)測、預(yù)警，并從大數(shù)據(jù)中挖掘出商業(yè)價(jià)值。
TDengine 的獨(dú)特優(yōu)勢有：
高性能：通過創(chuàng)新的存儲引擎設(shè)計(jì)，無論是數(shù)據(jù)寫入還是查詢，TDengine的性能比通用數(shù)據(jù)庫快 10倍以上，也遠(yuǎn)超其他時(shí)序數(shù)據(jù)庫，而且存儲空間也大為節(jié)省。
分布式：通過原生分布式的設(shè)計(jì)，TDengine提供了水平擴(kuò)展的能力，只需要增加節(jié)點(diǎn)就能獲得更強(qiáng)的數(shù)據(jù)處理能力，同時(shí)通過多副本機(jī)制保證了系統(tǒng)的高可用。
TDengine采用 SQL作為數(shù)據(jù)查詢語言，減少學(xué)習(xí)和遷移成本，同時(shí)提供 SQL 擴(kuò)展來處理時(shí)序數(shù)據(jù)特有的分析，而且支持方便靈活的
schemaless數(shù)據(jù)寫入。
完全開源，TDengine的核心代碼包括集群功能全部開源，全球超過 109.0k個(gè)實(shí)例，GitHub Star 18k，F(xiàn)ork 4.3k，社區(qū)活躍。
（三）項(xiàng)目應(yīng)用場景及效果
TDengine 能被廣泛運(yùn)用于物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、IT 運(yùn)維、能源、金融等領(lǐng)域。自 2018 年商業(yè)化版本發(fā)布后，TDengine 已經(jīng)在全球 400 多個(gè)城市中，被廣泛應(yīng)用在了物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、IT運(yùn)維、車聯(lián)網(wǎng)、能源和金融等各行業(yè)，為各企業(yè)的數(shù)字化改造和轉(zhuǎn)型、效率提升以及存儲、運(yùn)維成本降低上做出很大貢獻(xiàn)。在已發(fā)布的70余個(gè)Case 文章中，我們可以看到各種傳統(tǒng)監(jiān)控平臺的性能癥結(jié)被解決，數(shù)字化、智慧化轉(zhuǎn)型變得更順暢，一部分案例如下：
順豐科技：根據(jù)容量規(guī)劃完成相關(guān)參數(shù)調(diào)整后，在理想情況下，TDengine集群寫入速度最高達(dá)到90w條/s的寫入速度。服務(wù)端物理機(jī)
由 21 臺降至 3 臺，每日所需存儲空間為 93G（2副本），同等副本下僅為OpenTSDB+HBase的約 1/10。
零跑科技：不用再像 MongoDB 一樣，在查詢前還需要根據(jù)業(yè)務(wù)加工出需求數(shù)據(jù)，TDengine的列式存儲，直接以 SQL 計(jì)算即可，大大提高了業(yè)務(wù)的靈活性，同時(shí)其高壓縮算法提升了 10 到 20倍的壓縮性能。
跨越速運(yùn)：應(yīng)用TDengine后服務(wù)器數(shù)量從 21 臺降至 3 臺，壓縮一個(gè) 5 萬行、每行在 600 字節(jié)以上的表，壓縮后的磁盤 size 是 1665KB，壓縮率高達(dá) 1%。
浙商銀行：目前微服務(wù)可視化服務(wù)治理平臺對并發(fā)要求較高，但是TDengine可以很好地滿足需求，插入/查詢平均耗時(shí)均在 10ms 以內(nèi)。
同花順：在穩(wěn)定性上，改造前調(diào)用數(shù)據(jù)情況共40W次，共出現(xiàn)異常 0.01% 的異常，使用TDengine改造后出現(xiàn)異常降低至 0.001%。
得物：在批量寫入設(shè)置上設(shè)置最大寫入條數(shù)，耗時(shí)基本也能保持在毫秒。目前 Sentinel 的數(shù)據(jù)沒有使用副本，全量數(shù)據(jù)分散在三臺機(jī)器中，根據(jù)計(jì)算得知TDengine對于 Sentinel 監(jiān)控?cái)?shù)據(jù)的壓縮率達(dá) 10%，相當(dāng)可觀。
貨拉拉：將監(jiān)控的數(shù)據(jù)存儲由 MySQL 改造為TDengine后，不僅頂住了監(jiān)控?cái)?shù)據(jù)增長所帶來的壓力，還節(jié)約了存儲空間，成本壓縮到了原來的 1/10 甚至更低。歷史原生監(jiān)控?cái)?shù)據(jù)可回溯時(shí)間也變得更長，之前存儲 3 天原生數(shù)據(jù)及聚合數(shù)據(jù)的空間，現(xiàn)在可供原始數(shù)據(jù)存儲 45 天。
AII微信公眾號
AII頭條號