柚子快報(bào)邀請碼778899分享：從零開始之AI視頻制作篇

http://yzkb.51969.com/

從零開始之AI視頻制作篇

文章目錄

從零開始之AI視頻制作篇前言一、工具列表二、成片展示三、制作流程1、獲取圖片素材2、圖片生成視頻2.1 Runway操作流程

3、文本生成語音3.1 Fish Audio操作流程

4、視頻剪輯4.1 音頻素材4.2 字幕生成

四、Runway提示詞參考：參考

前言

現(xiàn)在是2024年8月。雖然AI現(xiàn)在發(fā)展得很快，但離完全替代人類還是有部分的距離。AI作為提高效率的工具確實(shí)是不爭的事實(shí)。本文將詳細(xì)描述在這個(gè)時(shí)間節(jié)點(diǎn)上可達(dá)到的基于圖片的AI視頻制作的整個(gè)流程，適合小白食用。

一、工具列表

基于圖片的AI視頻制作需要準(zhǔn)備的工具列表有：

圖片素材 本文采用的圖片素材來源（已獲許可）：汐木桃ART的木桃日記 圖片生成視頻的平臺(tái) Runway Gen3傳送門（本文采用） Luma Dream Machine傳送門 可靈AI傳送門 即夢AI傳送門 清影AI傳送門 TTS工具 TTS工具用于根據(jù)文本內(nèi)容生成語音。 Fish Audio傳送門 (本文采用) Cosy Voice傳送門 ChatTTS的autodl云平臺(tái)部署版?zhèn)魉烷T 視頻剪輯工具 adobe premiere pro （本文采用） 剪映

二、成片展示

木桃日記

三、制作流程

1、獲取圖片素材

可通過國內(nèi)各個(gè)文生圖的平臺(tái)生成，或者通過自己搭建webui/comfyui云平臺(tái)服務(wù)進(jìn)行創(chuàng)作生成。webui的autodl云一鍵部署傳送門、comfyui的autodl云一鍵部署傳送門，本文采用的圖片素材來源（已獲許可）：汐木桃ART的木桃日記。如果需要去水印，可用WPS等工具，或者用comfyui搭建一個(gè)去水印的工作流操作。comfyui去文字和水印的工作流可供參考：去水印和文字工作流傳送門

2、圖片生成視頻

本文采用的是Runway平臺(tái)，因此針對如何在Runway平臺(tái)操作圖片生成視頻進(jìn)行詳解。

2.1 Runway操作流程

通過 Runway官網(wǎng)傳送門 進(jìn)入Runway后便可看到如下界面。 點(diǎn)擊右上角的【Get Started】按鈕后，便可進(jìn)入登陸界面，此時(shí)需要一個(gè)賬號(hào)才可使用，如果用 Gen2 可以自己注冊個(gè)賬號(hào)，有 免費(fèi)試用額度。如果是用Gen3，就需要在某寶或某魚上租用賬號(hào)。 進(jìn)入Runway官網(wǎng)后，便可看到如下的控制臺(tái)，其中的【Assets】表示的是存放的你正在生成和已經(jīng)生成的視頻。【Tools】表示的是可以試用的工具。 我們需要使用的是【Tools】下的【Text/Image to Video】工具，點(diǎn)擊進(jìn)入即可。可以看到如下的工作臺(tái)。 因?yàn)槲覀儾捎玫氖荊en3模型，所以我們的【模型】選擇的是【Gen-3-Alpha】。因?yàn)槲覀兪怯玫氖亲庥玫馁~號(hào)，所以經(jīng)常會(huì)有同時(shí)幾個(gè)人在線的情況，這時(shí)就要看【Generate】按鈕是否可按，只要可按，不要猶豫， 立即按下 即可。

因?yàn)閳D片生成視頻時(shí)，需要對生成的視頻進(jìn)行描述，從而讓生成的視頻符合我們的構(gòu)想。所以需要填寫提示詞來讓大模型進(jìn)行參考。

最好將如下圖片中的【guide】鏈接打開，里面有【運(yùn)鏡】、【特效】等的專業(yè)術(shù)語提示詞可以讓大模型更好的理解。Gen-3提示詞官方指南 提示詞指南中需要注意提示詞的基本構(gòu)造結(jié)構(gòu)，如下圖所示。 圖中的案例部分：

Low angle static shot: The camera is angled up at a woman wearing all orange as she stands in a tropical rainforest with colorful flora. The dramatic sky is overcast and gray.

其中【camera movement】 部分可參考【官方提示詞指南】的【Camera Styles】部分。 部分提示詞參考可見文章末尾。

寫好提示詞后，點(diǎn)擊【Generate】，平臺(tái)右面部分會(huì)有個(gè)視頻生成的進(jìn)度展示，生成后也會(huì)展示在右面。 視頻生成后便按下圖所示，點(diǎn)擊下載按鈕，進(jìn)行下載。 如果生成視頻不理想，同一個(gè)提示詞可多生成幾次，如果還是不理想就得調(diào)整提示詞再試試。在此祝各位好運(yùn)連連。

3、文本生成語音

本文采用的是Fish Audio傳送門 ，這個(gè)每天有50次的免費(fèi)生成次數(shù)，短視頻基本夠用。

3.1 Fish Audio操作流程

登錄進(jìn)入后，便可看到各個(gè)聲音角色的列表，選擇想使用的聲音角色，點(diǎn)擊【使用聲音】即可。 進(jìn)入對應(yīng)的角色頁面后，便可參考下圖步驟將文本填入對應(yīng)文本框中，點(diǎn)擊【創(chuàng)建】即可生成。 生成后按下圖所示步驟即可將生成的聲音文件進(jìn)行下載。

4、視頻剪輯

視頻素材和旁白的音頻素材準(zhǔn)備好了，就可以進(jìn)行視頻剪輯了。如果是視頻剪輯小白，可參考b站up主【京譯達(dá)雅】的【【pr教程】新版本全套56集學(xué)不會(huì)你找我】教程，可選擇性學(xué)習(xí)。pr教程b站傳送門。

4.1 音頻素材

如果剪視頻的時(shí)候需要相關(guān)的音頻素材，比如本文的剪輯視頻中需要的夏夜的蟬鳴聲、森林的蟬鳴聲的素材，可通過如下幾個(gè)音頻素材網(wǎng)站進(jìn)行搜索下載使用：淘聲網(wǎng)傳送門、耳聆網(wǎng)傳送門、愛給網(wǎng)傳送門。

4.2 字幕生成

如果剪輯的時(shí)候需要生成對應(yīng)的字幕，可參考b站up主【Leo叔叔愛攝影】的字幕生成教程，可選擇性學(xué)習(xí)。職業(yè)博主快速制作視頻字幕的最佳方案，PR2023字幕最詳細(xì)攻略，語音自動(dòng)識(shí)別，批量制作字幕效果【PR零基礎(chǔ)新手指南65集】，另外PR 2023已經(jīng)支持一鍵語音轉(zhuǎn)字幕功能了。

四、Runway提示詞參考：

圖片描述：A person in a crowd

提示詞：Cinematic view of [a human subject with detailed descriptions of their appearance] walking through a blurry crowd. [Describe their action]. 30x speed, hyperspeed, fast motion. In the style of [describe style; ex. Moody colors, cinematic feel, dynamic motion, depth of field].

圖片描述：Cinematic drone

提示詞：First person view shot of a [subject]. hyper-speed fly, dynamic motion, dynamic blur, timelapse, 30x speed. In the style of [describe style; ex. cinematic, muted color palette].

圖片描述：Close up

提示詞：Telephoto close up: [subject].

圖片描述：Close-up portrait

提示詞：A crash zoom into a close-up portrait, shallow depth of field, bokeh. In the style of [describe style; ex. muted color palette, neutrals, magic hour, dull, dramatic, moody, film, 35mm].

圖片描述：Dynamic motion

提示詞：Dynamic motion, dynamic blur, 30x speed, unsharp edges.

圖片描述：Establishing wide

提示詞：Extreme wide angle establishing shot: [subject] in vast [scene].

圖片描述：Fast motion

提示詞：High speed, motion blur, chaotic, kinetic, hyperkinetic.

圖片描述：Fast zoom

提示詞：Hyperspeed shot: [scene]. Camera movement: fast zoom.

圖片描述：First person view

提示詞：First person view shot flying through [objects ex. canyons] of a [place ex. planet] toward a [object ex. moon].

圖片描述：Handheld

提示詞：Handheld tracking shot, following a [subject] in a [place].

圖片描述：High angle

提示詞：Aerial tracking shot: glide over [place]. Camera Movement: Start high, descend closer to [place].

圖片描述：Low angle

提示詞：Low angle shot: A [subject ex. car] drives down the center of a [place ex. city]. Tall [objects ex. buildings] loom on either side, their [objects ex. windows] blurred in the background.

圖片描述：Macro cinematography

提示詞：Macro cinematography: A large [object ex. water droplet] rests among [objects ex. succulent plants]. The [object] refracts and distorts the view of the surrounding environment. Camera Movement: Start with a close-up of the [object], then slowly pull back to reveal more of the surreal [plant life].

圖片描述：Nightlight portrait

提示詞：Close-up shot of [a human subject with detailed descriptions of their appearance], the neon lights of Tokyo's bustling streets reflecting in the eyes. The face has a pensive expression, hinting at an untold story. The vibrant colors of the city paint the facial features in a mesmerizing interplay of light and shadow.

圖片描述：Orbiting scenery

提示詞：We orbit around [a subject in a scenic environment; ex. a monument on a hill overlooking a forest], hyper dynamic movement in orbiting motion, shallow depth of field, subject in focus. In the style of [describe style; ex. dark muted natural color palette, cinematic]

圖片描述：Over the shoulder

提示詞：Over the shoulder shot: [subject doing X]. The camera trails behind them.

圖片描述：Portal transition

提示詞：Flying through [a place] into [another place]. Fast motion, motion blur. In the style of [describe style; ex. hyperlapse cinematography].

圖片描述：Realistic documentary

提示詞：An award winning documentary about [a subject; ex. a bunny, a tree, or coral reefs], wide angle shot showcasing the [subject], dynamic movement, this video is incredibly detailed and high resolution, the sharp focus and cinematic light is impressive, a masterpiece.

圖片描述：Slow motion

提示詞：Slow motion shot: [a subject in motion].

圖片描述：Surreal levitation

提示詞：An extreme wide angle establishing shot from low angle level looking up at into the sky at sunset hours. [A subject; ex. a plastic bag, a shiny orb, or a goat] is floating slowly in the sky above, defying gravity. Extreme perspective, 3x speed. In the style of [describe style; ex. cinematic, muted naturals coloring, documentary film]

圖片描述：Titles

提示詞：The scene starts in [location; ex. soup] and then suddenly [object; ex. noodles] appears and begins to [action; ex. transforms] to form the word "[single object, ex. SOUP]", centered, superb cinematic lighting.

參考

汐木桃ART的木桃日記

柚子快報(bào)邀請碼778899分享：從零開始之AI視頻制作篇

http://yzkb.51969.com/

好文推薦