提交您的產(chǎn)品 
Ai應(yīng)用
Ai資訊
AI生圖
AI生視頻
開源AI應(yīng)用平臺FramePack：斯坦福大學(xué)團(tuán)隊(duì)開發(fā)的開源AI視頻生成工具
FramePack 是什么？
FramePack 是一個(gè)由斯坦福大學(xué)博士、ControlNet 作者張呂敏（Lvmin Zhang）團(tuán)隊(duì)開發(fā)的開源ai視頻生成工具，它通過幀上下文壓縮和抗漂移采樣技術(shù)，打破了AI視頻生成的高硬件壁壘。
FramePack核心特性
首尾幀視頻支持：用戶可以指定首尾幀來生成完整的視頻片段，創(chuàng)作者專注于關(guān)鍵畫面設(shè)計(jì)，軟件自動填補(bǔ)中間部分，適合制作動畫短片或廣告宣傳片。
批量生成：支持批量處理多個(gè)視頻項(xiàng)目，設(shè)置好參數(shù)后可一次性生成多個(gè)視頻文件，提高內(nèi)容創(chuàng)作者的工作效率，適用于為社交媒體平臺準(zhǔn)備系列宣傳視頻等場景。
分辨率調(diào)節(jié)：提供靈活的分辨率調(diào)整選項(xiàng)，從高清到超高清，再到適合移動設(shè)備的小尺寸視頻，能滿足不同應(yīng)用場景的需求。
兼容 50 系顯卡：支持 NVIDIA GeForce 50 系列顯卡，6GB 顯存的要求使得大多數(shù)現(xiàn)代顯卡都可勝任，利用 GPU 加速計(jì)算，縮短視頻生成的等待時(shí)間。
長達(dá) 120 秒的視頻支持：用戶可生成最長 120 秒的視頻，能滿足大多數(shù)短視頻平臺的需求，便于講述完整故事、傳達(dá)信息。
FramePack技術(shù)優(yōu)勢
智能幀壓縮：通過改變 Transformer 的 Patchify 核大小，對不同重要性的幀進(jìn)行不同程度的壓縮，將輸入上下文壓縮到恒定長度，使生成工作負(fù)載不隨視頻長度增加而增加，降低了顯存占用，提高計(jì)算效率。
雙向記憶采樣：引入抗漂移采樣技術(shù)，讓模型在生成當(dāng)前幀時(shí)既能參考最近的幀，也能回溯到初始幀的核心特征，避免了傳統(tǒng)逐幀預(yù)測模型中容易出現(xiàn)的漂移問題，提高視頻質(zhì)量，使模型能夠生成更長的視頻序列。
靈活調(diào)度策略：支持幾何壓縮、首幀優(yōu)先、對稱壓縮等多種模式，可適配實(shí)時(shí)直播、圖生視頻、教學(xué)演示等多場景應(yīng)用。
FramePack應(yīng)用場景
視頻編輯：在視頻編輯和后期制作中，通過預(yù)測下一幀來幫助用戶創(chuàng)建連續(xù)的視頻內(nèi)容。
動畫制作：能高效完成動畫制作中連續(xù)動作的生成任務(wù)。
游戲開發(fā)：為游戲開發(fā)提供實(shí)時(shí)的幀生成，助力實(shí)時(shí)視頻反饋。
教育應(yīng)用：幫助教育工作者更直觀地展示教學(xué)內(nèi)容，例如批量制作動態(tài)課件。
FramePack安裝及使用方法
安裝步驟
1. 環(huán)境準(zhǔn)備
你需要安裝 Python 環(huán)境，建議使用 Python 3.9 及以上版本。
GPU：支持 fp16 和 bf16 的 Nvidia GPU，如 RTX 30XX、40XX、50XX 系列。
操作系統(tǒng)：Linux 或 Windows。
GPU 內(nèi)存：至少 6GB。
2. 克隆倉庫
打開終端或命令提示符，運(yùn)行以下命令克隆 FramePack 的 GitHub 倉庫：
git clone https://github.com/lllyasviel/FramePack.git cd FramePack
3. 創(chuàng)建并激活虛擬環(huán)境
python -m venv framepack_env # 在Windows上 .\framepack_env\Scripts\activate # 在Linux或macOS上 source framepack_env/bin/activate
4. 安裝依賴
在激活虛擬環(huán)境后，安裝項(xiàng)目所需的依賴包：
pip install -r requirements.txt
使用方法
1. 配置參數(shù)
在項(xiàng)目目錄下找到配置文件（通常是.yaml格式），根據(jù)你的需求修改配置參數(shù)，例如視頻的分辨率、時(shí)長、生成模式等。
2. 生成視頻
準(zhǔn)備好首尾幀的圖片文件，將其放置在指定的文件夾中。然后在終端中運(yùn)行以下命令來生成視頻：
python main.py --input_path /path/to/input/images --output_path /path/to/output/video
其中，/path/to/input/images是首尾幀圖片所在的文件夾路徑，/path/to/output/video是生成視頻的保存路徑。
3. 查看結(jié)果
生成完成后，你可以在指定的輸出路徑中找到生成的視頻文件，使用視頻播放器進(jìn)行查看。
相關(guān)鏈接
GitHub 地址：https://github.com/lllyasviel/FramePack
項(xiàng)目官網(wǎng)：https://lllyasviel.github.io/frame_pack_gitpage/
技術(shù)論文：https://lllyasviel.github.io/frame_pack_gitpage/pack.pdf
