北京
DoNews4月9日消息，據AIPress報道，剛剛，拳打字節Seedance2.0，腳踢快手可靈的AI視頻生成模型Happy Horse 1.0開源了。目前在官網可通過文本生成和圖片生成兩種方式體驗生成視頻。不同模型對制作時長的限制各不相同。
Happy Horse 1.0的核心賣點，是把視頻和音頻的生成徹底合并進了同一個流程。大多數開源視頻模型的工作方式是：先生成一段沒有聲音的視頻，再找另一個模型配音，再找另一個工具做口型對齊，幾道工序下來，時間和誤差都在疊加。
而Happy Horse 1.0用一個統一的Transformer同時處理視頻和音頻，一次前向推理直接輸出帶聲音的成片，口型、腳步聲、環境音全部在同一個過程里生成，不需要任何后期拼接。
模型參數量是150億，架構上是純自注意力Transformer，沒有交叉注意力，沒有獨立的音頻分支，也沒有專門的條件網絡。整體設計刻意追求極簡——把所有模態（文本、圖像、視頻、音頻）的token拼成同一個序列，讓模型在去噪過程中自己學會跨模態對齊。
在結構上，40層Transformer采用了一種“三明治”布局：頭4層和尾4層用模態專屬的投影層處理各自的輸入輸出，中間32層則是所有模態共享參數。實際的跨模態推理就發生在這32層里，這也是整個架構參數效率最高的地方。
此外，每個注意力頭都有一個可學習的標量門控，用sigmoid激活，專門用來穩定多模態聯合訓練時的梯度——畢竟音頻損失和視頻損失同時反傳，很容易互相打架。
速度方面，模型采用了DMD-2蒸餾技術（Distribution Matching Distillation v2），把去噪步數從通常的25到50步壓縮到了8步，同時不需要無分類器引導（CFG），這一項本身就能砍掉將近一半的計算量。再配合MagiCompiler全圖編譯運行時帶來的約1.2倍額外加速，在單張H100上，生成一段1080p視頻只需要大約38秒，256p的預覽版本則在2秒左右就能出來。
同時，模型原生支持英語、普通話、粵語、日語、韓語、德語和法語七種語言唇形同步，這些語言的口型、語調和語音時序是和視頻一起聯合訓練出來的，不是后期貼上去的。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
