云社區 | 超融合服務器和超融合一體機有什么區別？Ceph一個OSD應該分配多少內存？

　　云社區的聲音 - 原廠專家支持云平臺問答精選！

　　本期專家：

　　吳 樺 SmartX超融合 產品經理

　　鐘錦鋅 SmartX超融合 產品經理

　　景顯強 紅帽企業級開源解決方案中心 軟件架構設計師

　　呂作令 XSKY 資深解決方案專家

　　01 超融合平臺中的數據是否需要獨立的放在外置存儲上？

　　@吳樺 SmartX超融合 產品經理：

　　完全沒必要，因為超融合的核心之一就是分布式存儲，對于專業廠商提供的超融合產品，分布式塊存儲都有類似副本的技術，保證硬盤和節點在冗余度之內的損壞數據都不會丟失 。

　　如果是用在生產環境里，基于數據可靠性的考慮，需要獨立的備份系統用于保護數據，防止因為誤刪除外部因素導致的數據損壞和丟失，這不是針對超融合系統，因為無論多么高端的存儲，備份都是不可替代的。

　　如果是更高級別的數據可用性，比如同城雙活，需要購買對應的軟件模塊或者配備第三方的方案。現在Nutanix、SmartX、VMware的vSAN都是自帶雙活功能的。

　　02 超融合服務器是什么？和超融合一體機什么區別？

　　@吳樺 SmartX超融合 產品經理：

　　首先，超融合是近幾年興起的一種新的 IT 基礎架構，這種架構具備以下特點：

　　符合軟件定義數據中心理念，一定是通過軟件結合標準的 x86 服務器來構建分布式存儲，而不使用基于定制硬件的傳統集中式存儲；

　　這個概念強調的是分布式存儲軟件和虛擬化軟件的融合部署，并不是單純的指軟、硬件融合。

　　基于這種架構，廠商給用戶提供的產品形態一般有兩種：

　　1.超融合軟件。用戶可以基于超融合軟件和自己選定的 x86 服務器硬件構建超融合基礎架構；

　　2.超融合一體機。廠商根據客戶的需求，和自身的產品策略，為用戶提供的開箱即用，一體機化的交付方式，一體機包含了軟件和 廠商選定并適配的 x86 服務器。

　　在以下示例中， SMTX OS 是超融合軟件，可以基于 x86 服務器構建超融合基礎架構，也可以 SmartX Halo 超融合一體機方式購買。

　　那么超融合服務器是什么？目前市場上還會有“超融合服務器”這樣的概念，這并不是一個標準的概念，其中包含兩種可能：

　　1.就是指超融合一體機；

　　2.指支持超融合軟件的服務器，而這類服務器，一般就是標準的 x86 服務器。

　　03 超融合三副本模式，能避免任意3塊硬盤故障嗎？節點故障時引起的數據復制對集群性能造成的影響，會不會影響生產系統性能？

　　@鐘錦鋅 SmartX超融合 產品經理：

　　題主的問題主要來自對超融合平臺的數據可靠性方面的質疑，我們可以圍繞這兩個問題進行一下探討。

　　a. 三副本是否能允許任意 3 塊硬盤故障？

　　三副本是允許單一集群內部任意 2 塊硬盤同時故障而不導致數據丟失的數據可靠性保護手段，也就是說無法允許任意 3 塊硬盤同時故障。

　　這里有兩個關鍵詞，第一個是 “任意”，由于三副本是將數據寫三份，強制分布在 3 臺服務器上的不同硬盤之中，任意丟失 2 個副本，依然可以通過剩下的 1 個副本進行數據恢復，不會引發數據丟失，那就意味著如果故障硬盤都在同一個服務器上的話，即使多于 2 塊硬盤也不會導致數據丟失，因為肯定可以在其他節點中有其他可用副本。第二個關鍵字是 “同時”，如果這個故障是先后發生也是不在限制范圍，例如有 1 塊硬盤故障，經過自動地數據恢復完成后，再次故障 2 塊硬盤，這樣也不會導致數據丟失的情況。

　　目前主流的超融合產品都是支持 2 副本 和 3 副本的，基本上沒有更高級別的冗余，因為這樣容量開銷比較大，實際可用空間就太少了。

　　b. 當數據恢復的時候是否會影響現有生產環境性能？

　　首先觸發數據恢復或者數據重構，動作本質上是發生存儲讀寫 IO 的，它必然是占用一部分存儲性能的。但是現在做得比較好的超融合產品，會自動控制單節點數據恢復的速度，利用多個節點進行并發恢復，這樣既能在較短的時間窗口恢復數據可靠性級別，又能盡可能保障生產環境性能。另外超融合使用的副本技術與傳統 raid 數據冗余保護有所不同，raid 組出現硬盤故障，是需要全盤數據重構的，無論這塊盤是否寫滿數據甚至是基本是空的都要全盤數據恢復；而副本技術只會恢復寫入的數據，某些情況下可以大幅減少數據恢復量，縮短數據恢復窗口，減少對生產環境的影響。

　　04 Ansible是否適合做自動化采集工作？如何與CMDB進行結合？

　　@景顯強 紅帽企業級開源解決方案中心 軟件架構設計師：

　　Ansible在某些客戶數據中心已經實現了系統數據采集的應用場景，比如CPU，內存，磁盤容量，IO等參數的抓取。直接編寫playbook即可，無需和CMDB對接。如果需要對接，可從CMDB從查詢設備信息，然后去相應設備上抓取指定參數。實現需要詳細討論

　　05 Ansible系統損壞，對被管理系統有什么影響？

　　@景顯強 紅帽企業級開源解決方案中心 軟件架構設計師：

　　損壞后如果playbook也對丟了影響比較大，如果數據沒丟，可以重建然后重新建互信即可快速恢復。

　　生產環境下ansible以及tower的建設需要有高可用架構，對于tower的高可用架構，前端需要F5或者haproxy這些負載均衡器，后端的狀態同步需要有postgresql 的replication多副本保證。

　　對于playbook的保護，最好有備份機制，或者放到代碼庫或者共享存儲中。

　　06 上線新的對象存儲平臺，應該從哪些方面對新產品進行細致的測試？

　　@呂作令 XSKY 資深解決方案專家：

　　上新的存儲系統都需要對存儲平臺進行穩定性，兼容性，性能，異常進行全方面測試。需要應用部門，技術部門一起協同測試。

　　比如：

　　兼容性——

　　需要與前端對象應用部門聯合測試，通過API，腳本充分測試和對象存儲的對接驗證，并配合性能，穩定性持續測試。

　　性能——

　　對于對象存儲來說，數據類型分為大對象，小對象。衡量對象存儲性能是否滿足業務需求，可以通過cosbench模擬4k 1M在大并發下存儲性能表現，當然也要和業務進行對接測試，用業務系統真實跑一輪性能測試，在性能測試過程中也要進行穩定性測試，進行拔盤，斷節點查看在異常的狀態下存儲性能表現。

　　穩定性——

　　長期跑IO測試集群性能。

　　07 Ceph一個OSD應該分配多少內存？

　　【問題描述】一個OSD應該分配多少內存？最近在測試Ceph集群，發現OSD占用的內存隨著寫入的數據越來越多，占用的內存也越來越多，最終都把系統內存完了。

　　root 31383 28.2 8.3 2593676 920976 ? Ssl Mar01 332:07 /usr/local/hstor/ceph_dir/bin/ceph-osd -i 42 --pid-file /var/run/ceph/osd.42.pid -c /usr/local/hstor/ceph_dir/etc/ceph/ceph.conf --cluster ceph

　　root 32534 21.2 8.4 2591672 936432 ? Ssl Mar01 249:22 /usr/local/hstor/ceph_dir/bin/ceph-osd -i 44 --pid-file /var/run/ceph/osd.44.pid -c /usr/local/hstor/ceph_dir/etc/ceph/ceph.conf --clust

　　@呂作令 XSKY 資深解決方案專家：

　　現在分配了多少內存出現問題了呢？Ceph 集群出現異常比如數據重平衡會大量使用內存， OSD 內存消耗通常與系統中每個守護進程的 PG 數有關。內存問題需要多注意，內存不夠會導致 OSD 重啟，集群異常。ceph.com 也給出了推薦的 OSD 內存配置，可以參考一下建議3-5GB吧。

　　OSDs (ceph-osd)

　　By default, OSDs that use the BlueStore backend require 3-5 GB of RAM. You can adjust the amount of memory the OSD consumes with the osd_memory_target configuration option when BlueStore is in use. When using the legacy FileStore backend, the operating system page cache is used for caching data, so no tuning is normally needed, and the OSD memory consumption is generally related to the number of PGs per daemon in the system.END