中國多模態(tài)大模型產(chǎn)業(yè)洞察——未來展望

通過不同策略構建多模態(tài)輸入輸出空間、設計對齊架構與訓練策略、進行全面可靠評測，以及將輸入輸出擴展框架應用于具身智能場景，最終目標是構建具有一般性能力的世界基座模型

多模態(tài)大模型未來展望分析（將離散或連續(xù)模態(tài)表示與文本空間結合）

主流策略

構建混合空間：以連續(xù)形式整合模態(tài)信息，并與離散文本對齊。

統(tǒng)一離散表示：使用離散化的形式建模多種模態(tài)，確保生成與理解任務的統(tǒng)一處理。

優(yōu)勢對比

混合空間：在理解類任務上表現(xiàn)出色，但在多模態(tài)生成任務中支持有限。

統(tǒng)一離散表示：適配生成與理解任務，在理解任務上的效果略遜。

未來展望

學術社區(qū)正在積極探索更高效的模態(tài)表示方法和編碼器，旨在兼顧生成和理解任務。

離散與連續(xù)模態(tài)表示的選擇和優(yōu)化目標密切相關，兩者在設計思路和訓練方法上存在互相借鑒和促進的可能性。

多模態(tài)大模型未來展望分析（設計模型架構與訓練策略）

問題2：如何設計模型架構與訓練策略，完成多模態(tài)輸入輸出空間的對齊？

模型架構

根據(jù)輸入空間設計對應的輸入端對齊模塊，根據(jù)不同模態(tài)的輸出形式設計輸出對齊模塊。

引入額外的內部模塊，以更好地建模跨模態(tài)的交互。

訓練策略

經(jīng)歷預訓練和指令微調兩個階段，前者用于對齊多模態(tài)表示，后者學習多模態(tài)場景下的指令遵循能力。

根據(jù)應用和優(yōu)化的目標選擇和混合訓練數(shù)據(jù)，確保數(shù)據(jù)的豐富度、質量和規(guī)模。

根據(jù)模型架構設定合適的參數(shù)，如可訓練參數(shù)等。

挑戰(zhàn)與機遇

模型架構的設計存在多種選擇，且不同設計間存在tradeoff，需要通過實證性分析獲取相對較優(yōu)的設定。

訓練策略的選擇同樣重要，需要平衡數(shù)據(jù)豐富度、質量和規(guī)模，以及模型架構的復雜性。

知前沿，問智研。智研咨詢是中國一流產(chǎn)業(yè)咨詢機構，十數(shù)年持續(xù)深耕產(chǎn)業(yè)研究領域，提供深度產(chǎn)業(yè)研究報告、商業(yè)計劃書、可行性研究報告及定制服務等一站式產(chǎn)業(yè)咨詢服務。專業(yè)的角度、品質化的服務、敏銳的市場洞察力，專注于提供完善的產(chǎn)業(yè)解決方案，為您的投資決策賦能。

轉自頭豹信息科技南京有限公司 研究員：袁栩聰/陳慶民