證券時報網(wǎng)
王一鳴
2025-04-30 20:45
小米進軍大模型，最擅長“以小博大”。
4月30日，小米宣布開源首個為推理而生的大模型Xiaomi MiMo。值得注意的是，其經(jīng)過強化學(xué)習(xí)訓(xùn)練形成的MiMo-7B-RL模型，用僅僅70億的參數(shù)，在多項權(quán)威基準(zhǔn)測試中得分超過了OpenAI的閉源推理模型o1-mini 和阿里通義千問320億參數(shù)的QwQ-32B-Preview，實現(xiàn)了“以小博大”。
受此消息影響，今日小米股價漲5.37%，金山云和金山軟件更是分別大漲14.20%和7.07%。業(yè)內(nèi)人士認為，小米作為國產(chǎn)頭部的手機品牌廠商，此次開源的小參數(shù)規(guī)模模型展現(xiàn)了較強的性能，為AI在手機端側(cè)的應(yīng)用和運行提供了更堅實的模型基礎(chǔ)。
小米開源MiMo推理大模型
4月30日，小米宣布開源首個為推理而生的大模型Xiaomi MiMo。據(jù)介紹，在數(shù)學(xué)推理（AIME 24-25）和代碼競賽（LiveCodeBench v5）公開測評集上，MiMo僅用7B的參數(shù)規(guī)模，超越了OpenAI的閉源推理模型o1-mini和阿里Qwen更大規(guī)模的開源推理模型 QwQ-32B-Preview。
以70億的小規(guī)模參數(shù)，實現(xiàn)了卓越的性能，MiMo展現(xiàn)了小米“以小博大”的能力。據(jù)悉，這一成績的取得，主要源于團隊在預(yù)訓(xùn)練和后訓(xùn)練的數(shù)據(jù)和算法方面進行了多層組合創(chuàng)新努力。預(yù)訓(xùn)練是讓模型領(lǐng)略更多的推理模型，而后訓(xùn)練則是打磨高效穩(wěn)定的強化學(xué)習(xí)算法及框架。
具體來看，MiMo背后包含了許多技術(shù)細節(jié)，包括使用改進的組相對策略優(yōu)化（GRPO）算法進行訓(xùn)練，移除KL（Kullback-Leibler散度）損失、動態(tài)采樣和增加上界裁剪等策略；提出測試難度驅(qū)動的獎勵機制，將測試用例按難度分組，并根據(jù)難度分配獎勵；采用易數(shù)據(jù)過濾和重采樣策略，提高采樣效率并穩(wěn)定策略更新等等。
小米大模型團隊也已公開了MiMo的技術(shù)報告，展現(xiàn)了相關(guān)的技術(shù)細節(jié)。此外，MiMo-7B全系列已開源，包括預(yù)訓(xùn)練模型MiMo-7B-Base，監(jiān)督微調(diào)模型MiMo-7B-SFT以及強化學(xué)習(xí)模型MiMo-7B-RL和MiMo-7B-RL-Zero。
小米大模型團隊表示，MiMo來自于全新成立不久的“小米大模型Core團隊”的初步嘗試。業(yè)內(nèi)人士普遍認為，MiMo的開源標(biāo)志著AI發(fā)展從盲目追求參數(shù)規(guī)模轉(zhuǎn)向注重算法效率和能力密度的理性發(fā)展期，通過技術(shù)創(chuàng)新，小模型同樣可以實現(xiàn)高效率、大智慧，帶來“性價比革命”。
小米全面發(fā)力AI大模型
隨著MiMo模型的開源，小米剛剛成立不久的小米大模型Core團隊也終于浮出水面。小米創(chuàng)始人雷軍曾在2023年表示，自2016年組建AI團隊以來，到2023年4月第一時間成立專職大模型團隊，經(jīng)過多次擴展，小米AI團隊相關(guān)人員規(guī)模已達3000多人，逐步建立了視覺、語音、聲學(xué)、知識圖譜、NLP、機器學(xué)習(xí)、多模態(tài)等AI技術(shù)能力。
小米大力“押寶”大模型早在去年底便已有消息傳出。DeepSeek-V3爆火之后，背后的AI“天才少女”羅福莉引發(fā)了大眾的關(guān)注，彼時就有媒體報道稱，雷軍以千萬年薪招攬DeepSeek開源大模型DeepSeek-V2的關(guān)鍵開發(fā)者之一羅福莉，領(lǐng)導(dǎo)小米AI大模型團隊。
此外，小米也搭建了自己的GPU萬卡集群，并持續(xù)提升算力儲備，為大模型研發(fā)提供更充分的算力供給。今年3月，小米發(fā)布2024年報，明確2025年將投入70億元以上資金用于AI研發(fā)，約占總研發(fā)經(jīng)費的1/4，重點聚焦AI基礎(chǔ)設(shè)施、大模型開發(fā)及應(yīng)用場景搭建。
從招兵買馬到“補充彈藥”，小米全面發(fā)力AI大模型，將AI視為下一個“新戰(zhàn)場”。值得注意的是，與其他大模型廠商追求高性能、大參數(shù)不同，小米大模型主攻輕量化、本地部署，也是業(yè)界第一個在手機芯片上跑通十億參數(shù)規(guī)模大語言模型，驗證了端側(cè)小模型在部分目標(biāo)場景可以取得媲美云端大模型效果。
雷軍曾表示，“小米擁有品類眾多的設(shè)備，是全球規(guī)模領(lǐng)先的消費級物聯(lián)網(wǎng)平臺。設(shè)備多樣，使用場景也各不相同，一個大模型難以兼顧。如果把一部分大模型能力下放到端側(cè)，不僅能更好地保護用戶隱私、而且有機會在本地實現(xiàn)千人千面的個性化定制。”因此，在訓(xùn)練策略上，小米一直致力于減少參數(shù)的浪費，達到效率和效果的最佳均衡。
同時，小米發(fā)力AI，致力于將大模型與自身業(yè)務(wù)深度協(xié)同，圍繞硬件生態(tài)做深場景，讓AI真正服務(wù)于產(chǎn)品。目前，小米的AI技術(shù)能力已逐步接入手機、汽車、AIoT、機器人等業(yè)務(wù)板塊，端側(cè)賦能加速。業(yè)內(nèi)人士認為，小米作為國產(chǎn)頭部的手機品牌廠商，此次開源的小參數(shù)規(guī)模模型展現(xiàn)了較強的性能，為AI在手機端側(cè)的應(yīng)用和運行提供了更堅實的模型基礎(chǔ)。
中信建投研報表示，大模型能力不斷迭代增長，但模型之間差異在縮小。這些技術(shù)需要在終端設(shè)備上應(yīng)用落地，最終通過這些應(yīng)用/終端實現(xiàn)商業(yè)價值的轉(zhuǎn)化，從而形成一個從投資到變現(xiàn)的完整閉環(huán)。目前，Meta、字節(jié)、小米等巨頭已經(jīng)開始大力布局端側(cè)AI，搶奪AI Agent入口。除了手機、PC、眼鏡、耳機外，潛在的端側(cè)AI基數(shù)巨大，家電、機器人、智能車、教育辦公設(shè)備、玩具等都受益于端側(cè)AI的趨勢，AI嵌入將帶來廣泛的硬件升級。重點關(guān)注算力、存儲、連接、電力等硬件環(huán)節(jié)。
責(zé)編：萬健祎
校對：廖勝超
