前言

changestream是monggodb的3.6版本之后出現(xiàn)的一種基于collection(數(shù)據(jù)庫集合)的變更事件流，應(yīng)用程序通過db.collection.watch()這樣的命令可以獲得被監(jiān)聽對象的實時變更

想必對mysql主從復制原理比較熟悉的同學應(yīng)該知道，其根本就是從節(jié)點通過監(jiān)聽binlog日志，然后解析binlog日志數(shù)據(jù)達到數(shù)據(jù)同步的目的，于是，基于mysql主從復制原理，阿里開源了canal這樣的數(shù)據(jù)同步中間件工具

Change Stream 介紹

Chang Stream(變更記錄流) 是指collection(數(shù)據(jù)庫集合)的變更事件流，應(yīng)用程序通過db.collection.watch()這樣的命令可以獲得被監(jiān)聽對象的實時變更。

關(guān)于changestream做如下說明，提供參考

• 在該特性出現(xiàn)之前，開發(fā)者可通過拉取 oplog達到同樣的目的；
• 但 oplog 的處理及解析相對復雜，而且存在被回滾的風險，如果使用不當?shù)脑掃€會帶來性能問題；
• Change Stream 可以與aggregate framework結(jié)合使用，對變更集進行進一步的過濾或轉(zhuǎn)換；
• 由于Change Stream 利用了存儲在 oplog 中的信息，因此對于單進程部署的MongoDB無法支持Change Stream功能，其只能用于啟用了副本集的獨立集群或分片集群

changestream可用于監(jiān)聽的mongodb目標類型

• 單個集合，除系統(tǒng)庫(admin/local/config)之外的集合，3.6版本支持
• 單個數(shù)據(jù)庫，除系統(tǒng)庫(admin/local/config)之外的數(shù)據(jù)庫集合，4.0版本支持
• 整個集群，整個集群內(nèi)除去系統(tǒng)庫( (admin/local/config)之外的集合 ，4.0版本支持

一個Change Stream Event的基本結(jié)構(gòu)如下所示：

{
_id : { <BSON Object> },
“operationType” : “<operation>”,
“fullDocument” : { <document> },
“ns” : {
“db” : “<database>”,
“coll” : “<collection”
},
“documentKey” : { “_id” : <ObjectId> },
“updateDescription” : {
“updatedFields” : { <document> },
“removedFields” : [ “<field>”, … ]
}
“clusterTime” : <Timestamp>,
“txnNumber” : <NumberLong>,
“lsid” : {
“id” : <UUID>,
“uid” : <BinData>
}
}