MOE（Molecular Operating Environment）是加拿大化學(xué)計算集團(tuán)公司Chemical Computing Group Inc.開發(fā)的一套計算機(jī)輔助藥物分子設(shè)計的平臺。
做化學(xué)/生物這一類計算，場景很多，應(yīng)用選擇范圍也相當(dāng)大，甚至同一場景可能用到很多不同的應(yīng)用。就拿分子對接舉例，相關(guān)軟件就有開源的和商業(yè)的不下數(shù)十種。
熟悉并習(xí)慣一種應(yīng)用，已經(jīng)需要不低的學(xué)習(xí)成本，何況這些應(yīng)用往往還留了一些API接口給用戶，需要寫一些腳本才能運行。
而且很多時候，現(xiàn)成的應(yīng)用是無法滿足用戶的研究需求的，需要用戶自己來編程。
另一個角度：
如果計算量突增，就會涉及到大規(guī)模計算資源的調(diào)用，可能涉及本地服務(wù)器、集群，甚至超算和公有云。
或者計算量還好，但是不想再重復(fù)勞動，能不能一次操作完成所有需要手動一次次做的事，一百次就忍了，一千次，一萬次呢？
或者不需要團(tuán)隊每個人重復(fù)一遍同樣的學(xué)習(xí)過程，做個模板它不香嗎？
工具的最大價值，是把人從機(jī)械性的重復(fù)勞動中解放出來，騰出時間來思考更重要的事。
今天我們就通過一個MOE實證來聊聊，我們怎么幫你降低工作量（偷懶），節(jié)約時間，甚至預(yù)測未來。
用戶需求
某高校課題組使用MOE對數(shù)據(jù)庫中的約200000個分子進(jìn)行模擬，希望在2天內(nèi)完成計算。根據(jù)以往經(jīng)驗，單核CPU模擬一個分子所需的時間約為4分鐘，該課題組當(dāng)前可使用的機(jī)房CPU資源最多為64核，需要一周以上才能完成任務(wù)。
課題組老師希望借助云端獲取更多計算資源，而且由于課題組團(tuán)隊有多名學(xué)生，所以需要一個既能快速啟用滿足需求，同時又操作簡單便于管理的解決方案。
實證目標(biāo)
1、MOE任務(wù)是否能在云端有效運行？
2、fastone平臺能否將大規(guī)模MOE任務(wù)的運算時間縮短到2天以內(nèi)？
3、fastone平臺能否快速啟用，同時方便老師對整個團(tuán)隊進(jìn)行管理？
4、由于不是所有的學(xué)生的計算機(jī)基礎(chǔ)都非常強(qiáng)，fastone能否為其提供相對簡單可行的操作方式？
實證參數(shù)
平臺： fastone 企業(yè)版產(chǎn)品
應(yīng)用： MOE
操作系統(tǒng)：Linux CentOS 7.5
適用場景：3D分子可視化、基于結(jié)構(gòu)/片段的藥物設(shè)計、蛋白質(zhì)/DNA/RNA建模、虛擬篩選、分子模擬、化學(xué)信息學(xué)
云端硬件配置：計算優(yōu)化型實例本任務(wù)屬于CPU密集型任務(wù)，對內(nèi)存的需求不高，因此我們選擇了高性價比的云端計算優(yōu)化型實例（CPU/內(nèi)存=1:2）。
技術(shù)架構(gòu)圖：
第一步：我們先做一波應(yīng)用優(yōu)化
應(yīng)用優(yōu)化分成兩部分，自定義工作流和并行化改造。
1、自定義工作流模板一次制作，反復(fù)使用
正如我們開頭說的，很多時候，現(xiàn)成的應(yīng)用往往無法滿足用戶的需求，需要根據(jù)自己的模型和研究目標(biāo)，自定義設(shè)置一套獨有的工作流程。
在生命科學(xué)領(lǐng)域，可以說幾乎沒有一模一樣的工作流。
而用戶在進(jìn)行了一次或多次復(fù)雜的設(shè)定之后，如果能把這些設(shè)定保存成固定模板，就不用重復(fù)手動去一步步重新設(shè)置。十次百次還能忍，一千次呢？一次制作，反復(fù)使用，省時省力，還不用擔(dān)心中間出錯。
我們fastone平臺已經(jīng)實現(xiàn)包括MOE在內(nèi)多款應(yīng)用的自定義工作流，可以根據(jù)用戶的實際使用場景自定義模板。
而且，這套自定義的設(shè)置是可以跨應(yīng)用存在的，不一定局限在一個應(yīng)用范圍內(nèi)。自己重復(fù)用，共享給團(tuán)隊的其他人用，都可以。
我們這套自動化的原則，不僅存在于應(yīng)用層面，同時也能在資源的調(diào)度和部署層面實現(xiàn)。比如不用再一臺臺機(jī)器手動安裝配置，不用時刻盯著任務(wù)進(jìn)程。
自動化部署相比手動模式究竟有哪些優(yōu)勢？看這里《EDA云實證Vol.1：從30天到17小時，如何讓HSPICE仿真效率提升42倍？》
2、應(yīng)用并行化改造
應(yīng)用并行化改造，通俗地講，就是你在云端弄到了1000核資源，怎么把任務(wù)扔到云端，讓其能夠在1000核資源上高效地跑起來，這就是應(yīng)用并行化改造需要解決的問題。
像MOE這樣的應(yīng)用，由于單分子計算時間短，分子計算獨立，子任務(wù)之間沒有通信開銷，輸入輸出數(shù)據(jù)量小，特別適合并行化運行。改造完成后，MOE任務(wù)可在云端分為若干子任務(wù)獨立計算，節(jié)省大量時間。
如何從零開始進(jìn)行應(yīng)用并行化改造，可以看這篇《EDA云實證Vol.7：揭秘20000個VCS任務(wù)背后的“搬桌子”系列故事》
這一波應(yīng)用優(yōu)化做完后，用戶可以省時省力地利用云端資源，輕松提升應(yīng)用運行效率。
第二步：我們開始大規(guī)模MOE任務(wù)上云
云端擴(kuò)展性驗證
本地/云端計算優(yōu)化型實例
3000個分子
結(jié)論：
1、同等核數(shù)下，云端計算優(yōu)化型實例的表現(xiàn)與本地計算資源相差無幾；
2、對應(yīng)用進(jìn)行并行化改造后，隨著云端核數(shù)的增加，運算時間呈線性下降。當(dāng)CPU核數(shù)從64核增加到384核（6倍）之后，運算時間從188.9分鐘縮短為32.2分鐘（5.9倍）。
實證過程：
1、本地使用64核計算資源運算一組MOE任務(wù)（模擬約3000個分子），耗時190.4分鐘；
2、云端調(diào)度64核計算優(yōu)化型實例運算一組MOE任務(wù)（模擬約3000個分子），耗時188.9分鐘；
3、云端調(diào)度128核計算優(yōu)化型實例運算一組MOE任務(wù)（模擬約3000個分子），耗時94.7分鐘；
4、云端調(diào)度256核計算優(yōu)化型實例運算一組MOE任務(wù)（模擬約3000個分子），耗時47.4分鐘；
5、云端調(diào)度384核計算優(yōu)化型實例運算一組MOE任務(wù)（模擬約3000個分子），耗時32.2分鐘。
云端大規(guī)模業(yè)務(wù)驗證 200000個分子
結(jié)論：云端調(diào)度384核計算資源，將一組MOE任務(wù)（模擬約200000個分子）的計算周期從本地預(yù)估的8.7天縮短為1.5天，符合“2天內(nèi)完成”的任務(wù)目標(biāo)。
實證過程：
1、云端調(diào)度64核計算優(yōu)化型實例運算一組MOE任務(wù)（模擬約200000個分子），耗時12576分鐘（與本地機(jī)房64核的預(yù)估時間相仿）；
2、云端調(diào)度128核計算優(yōu)化型實例運算一組MOE任務(wù)（模擬約200000個分子），耗時6290分鐘；
3、云端調(diào)度256核計算優(yōu)化型實例運算一組MOE任務(wù)（模擬約200000個分子），耗時3146分鐘；
4、云端調(diào)度384核計算優(yōu)化型實例運算一組MOE任務(wù)（模擬約200000個分子），耗時2138分鐘。
在本實證中，無論是模擬3000個分子還是200000個分子，MOE的線性擴(kuò)展都相對良好，當(dāng)云端資源增加到384核之后，運算時間已經(jīng)成功縮短到了2天以內(nèi)。
即便模擬的分子數(shù)量增加到百萬甚至千萬級別，經(jīng)過應(yīng)用并行化處理的MOE依舊可以很好地應(yīng)對，同時fastone平臺還支持使用對象存儲自動優(yōu)化存儲效率和費用，以最大化地降本增效。
有些應(yīng)用特性不一樣，如LS-DYNA和Fluent這兩個應(yīng)用，隨著計算節(jié)點規(guī)模的增加，節(jié)點間通信開銷會指數(shù)級上升，性能的提升便隨之變緩。這種情況，我們也有經(jīng)驗：
《怎么把需要45天的突發(fā)性Fluent仿真計算縮短到4天之內(nèi)？》
《LS-DYNA求解效率深度測評 │ 六種規(guī)模，本地VS云端5種不同硬件配置》
第三步：智能預(yù)測成本，提前心里有底
在期限內(nèi)成功完成了200000個分子的模擬之后，課題組開始計劃下一步任務(wù)。 出于對課題總體預(yù)算的把控，老師希望能對幾個大規(guī)模MOE運算任務(wù)的花費進(jìn)行預(yù)估，做到心中有數(shù)，以便及時調(diào)整計劃。
這時候，就輪到fastone平臺的智能預(yù)測功能發(fā)揮了。
用戶在fastone平臺的圖形化操作界面運算MOE任務(wù)，完成以下步驟：
1、用戶上傳數(shù)據(jù)文件（平臺自動解析文件，判斷其中包含的分子數(shù)量）
2、用戶輸入期望的運算時間（平臺推薦用戶適配機(jī)型或用戶自行選擇機(jī)型）
3、系統(tǒng)得出預(yù)測成本：
根據(jù)不同用戶的需求，fastone平臺還可以為用戶分別提供成本優(yōu)先和時間優(yōu)先的智能調(diào)度策略《生信云實證Vol.3：提速2920倍！用AutoDock Vina對接2800萬個分子》
老師可以根據(jù)預(yù)測成本提前權(quán)衡，并在此基礎(chǔ)上進(jìn)行預(yù)算管控。
而對于企業(yè)用戶，涉及到預(yù)算審批流程，這塊就顯得更為重要，項目負(fù)責(zé)人能夠非常方便地使用該功能預(yù)估項目費用，完成項目規(guī)劃和申請。
第四步：權(quán)限和角色管理，團(tuán)隊必備
對于團(tuán)隊來說，fastone平臺的權(quán)限和角色管理功能，支持管理員角色對每一個用戶進(jìn)行相關(guān)權(quán)限設(shè)定，包括預(yù)算使用上限和CPU核數(shù)使用上限。
這是很多團(tuán)隊在上云時都可能面臨的問題——團(tuán)隊成員共用一個賬戶，共享一個資源池和總預(yù)算額度。團(tuán)隊管理者——通常是課題組老師——對于項目整體消耗的總資源和總預(yù)算有一個清晰的概念，但往往很難對具體的操作人員進(jìn)行計算資源和預(yù)算上限管控。
云計算的靈活性和擴(kuò)展性使得這種管理的重要性大大提升，這里就有一個反面教材《2小時，賬單47萬！「Milkie Way公司破產(chǎn)未遂事件」復(fù)盤分析》
fastone平臺的權(quán)限控制功能方便管理員從全局角度管控項目的資源消耗。該功能與智能預(yù)測配合使用，能夠從多個層面對預(yù)算和資源進(jìn)行全方位規(guī)劃。
實證小結(jié)
1、MOE任務(wù)能夠在云端有效運行；
2、fastone平臺成功將大規(guī)模MOE任務(wù)的運算時間縮短到了2天以內(nèi)；
3、fastone平臺自定義工作流模板功能讓用戶一次制作，反復(fù)使用，既適配生命科學(xué)領(lǐng)域應(yīng)用特性，又大幅提升用戶和團(tuán)隊工作效率；
4、fastone平臺的智能預(yù)測、權(quán)限和角色管理功能讓課題組老師能夠更輕松進(jìn)行團(tuán)隊管理和項目規(guī)劃。
本次生命科學(xué)行業(yè)云實證系列Vol.9就到這里了。下一期的生信云實證，我們聊Schr?dinger。 請保持關(guān)注哦！
關(guān)于fastone云平臺在其他應(yīng)用上的表現(xiàn)，可以點擊以下應(yīng)用名稱查看：HSPICE │ Bladed │ Vina │ OPC │ Fluent │ Amber │ VCS │ LS-DYNA
- END -
我們有個生物/化學(xué)計算云平臺
集成多種生命科學(xué)領(lǐng)域應(yīng)用，大量任務(wù)多節(jié)點并行
應(yīng)對短時間爆發(fā)性需求，連網(wǎng)即用
跑任務(wù)快，原來幾個月甚至幾年，現(xiàn)在只需幾小時5分鐘
快速上手，拖拉點選可視化界面，無需代碼
支持高級用戶直接在云端創(chuàng)建集群
掃碼免費試用，送200元體驗金，入股不虧~
更多電子書歡迎掃碼關(guān)注小F（ID：imfastone）獲取
你也許想了解具體的落地場景：
LS-DYNA求解效率深度測評 │ 六種規(guī)模，本地VS云端5種不同硬件配置
揭秘20000個VCS任務(wù)背后的“搬桌子”系列故事
155個GPU！多云場景下的Amber自由能計算
怎么把需要45天的突發(fā)性Fluent仿真計算縮短到4天之內(nèi)？
5000核大規(guī)模OPC上云，效率提升53倍
提速2920倍！用AutoDock Vina對接2800萬個分子
從4天到1.75小時，如何讓Bladed仿真效率提升55倍？
從30天到17小時，如何讓HSPICE仿真效率提升42倍？
關(guān)于為應(yīng)用定義的云平臺：
2小時，賬單47萬！「Milkie Way公司破產(chǎn)未遂事件」復(fù)盤分析
高情商：人類世界模擬器是真的！低情商：你是假的……
【2021版】全球44家頂尖藥企AI輔助藥物研發(fā)行動白皮書
EDA云平臺49問
國內(nèi)超算發(fā)展近40年，終于遇到了一個像樣的對手
幫助CXO解惑上云成本的迷思，看這篇就夠了
花費4小時5500美元，速石科技躋身全球超算TOP500
