(資料圖片僅供參考)
4 月 23 日,騰訊混元 Hy3 preview 語言模型發布并開源。據介紹,Hy3 preview 是一個快慢思考融合的混合專家模型,總參數 295B,激活參數 21B,最大支持 256K 上下文長度。這是混元重建后訓練的第一個模型,也是混元迄今最智能的模型,據稱在復雜推理、指令遵循、上下文學習、代碼、智能體等能力及推理性能上實現了大幅提升。
騰訊首席AI科學家姚順雨表示,Hy3 preview是混元大模型重建的第一步,希望通過這次開源和發布,獲得來自開源社區和用戶的真實反饋,幫助提升 Hy3 正式版的實用性。同時,騰訊也在繼續擴大預訓練和強化學習的規模,提升模型的智能上限,并通過與騰訊眾多產品的深度Co-Design,提升模型在真實場景中的綜合表現,并開始探索特色模型能力。