索尼PCL的創(chuàng)意設(shè)施“清澄白河BASE”，是一個充分活用索尼技術(shù)的視頻制作工作室。
近日，該工作室制作了一部基于經(jīng)典芭蕾舞劇《天鵝湖》的短片，并將其發(fā)布在索尼官方社交平臺上。我們與負責策劃和制作這部視頻的團隊進行了對話，了解了這部作品背后的創(chuàng)作過程。
菅野尚子（右），索尼公司技術(shù)研發(fā)實驗室內(nèi)容技術(shù)研發(fā)本部空間影像技術(shù)開發(fā)部；大賀英資（左），索尼PCL視覺解決方案本部內(nèi)容創(chuàng)作部
在這部短片中，芭蕾舞者們在平靜的、霧氣彌漫的湖邊模仿天鵝的動作，優(yōu)雅地同步舞動，四周環(huán)繞著茂密的森林。觀眾可能會好奇，傳統(tǒng)的芭蕾舞是如何在這樣自然開闊的環(huán)境中上演的。事實上，整部影片是在清澄白河BASE的虛擬制作影棚內(nèi)拍攝的。
虛擬制作（VP）是一種電影拍攝方法，它將虛擬場景投射到LED屏幕上，并同時拍攝前方的真實演員或物體，實時合成真實與虛擬的畫面。參與該項目的工程師菅野久子解釋道：“索尼的許多新技術(shù)被應(yīng)用于打破現(xiàn)實與虛擬之間的界限中，使最終的作品看起來更加真實。”
索尼前沿技術(shù)應(yīng)用于經(jīng)典芭蕾舞劇《天鵝湖》
導(dǎo)演大賀英資表示，制作基于《天鵝湖》的電影靈感來源于他在百老匯以及其他舞臺劇中看到的前沿技術(shù)應(yīng)用。
“我們將這次挑戰(zhàn)看作展示清澄白河BASE在視頻制作方面的技術(shù)水平的一種方式，同時也看看如何通過虛擬制作（VP）和體積捕捉等技術(shù)，將大家熟知的傳統(tǒng)舞臺劇轉(zhuǎn)變?yōu)橐环N新形式。”
推遠的鏡頭（使用體積捕捉技術(shù)）
拉近的鏡頭（使用虛擬制作技術(shù)）
索尼對這場演出制作進行了特別規(guī)劃，將影像技術(shù)融入表演的每個元素。例如，在一個奇幻鏡頭（如上所示）中，攝像機聚焦于穿越霧靄的舞者。大賀解釋道：“我們希望在攝像機穿過晨霧時，從使用體積捕捉技術(shù)拍攝的3D CG舞者切換到在LED屏幕前跳舞的真人舞者，達到一種自然的效果。”
體積捕捉技術(shù)通過在影棚天花板和墻壁上安裝超過100個攝像機，從多個角度捕捉對象，并將圖像轉(zhuǎn)換為3D數(shù)字數(shù)據(jù)，從而實現(xiàn)高質(zhì)量的3D CG影像重現(xiàn)。與傳統(tǒng)技術(shù)不同的是，這項技術(shù)能夠自由地呈現(xiàn)那些未被攝像機直接捕捉的視角。
大賀說：“在拍攝這個場景時，我希望將攝像機的運動設(shè)計得盡可能宏大和廣闊，以展示舞臺上無法實現(xiàn)的縱深感。”另一方面，如果攝像機的運動幅度過大，虛擬制作需要的LED屏幕就無法覆蓋整個背景圖像。因此，需要插入使用體積捕捉技術(shù)生成的舞者的3D CG影像，以實現(xiàn)逼真的視覺效果。
清澄白河BASE的VP影棚（上）和體積捕捉影棚（下）。
體積捕捉影棚于2022年安裝在VP影棚旁邊，2023年VP影棚得到了升級，增加了擴展的LED屏幕等
菅野表示：“清澄白河BASE是少數(shù)幾個VP影棚和體積捕捉影棚位于同一樓層、緊鄰而設(shè)的工作室之一。”這種優(yōu)勢也在《天鵝湖》的拍攝中得到了充分利用。
受藝術(shù)家反饋啟發(fā)的實時摳像技術(shù)開發(fā)
除了VP和體積捕捉技術(shù)之外，這部短片還融合了索尼的新技術(shù)——實時摳像（Live Keying）。這種技術(shù)廣泛應(yīng)用于現(xiàn)場音樂會舞臺制作中，能夠?qū)崟r隔離圖像中的物體，并將其即時顯示在背景LED屏幕上，無論是在影棚還是舞臺上。
傳統(tǒng)的視頻處理技術(shù)在背景圖像發(fā)生劇烈變化或主體大幅移動的情況下，通常難以準確提取人物輪廓。然而索尼的實時摳像技術(shù)通過索尼的特殊傳感器，使這一目標成為可能。
作為該技術(shù)開發(fā)者之一，菅野強調(diào)：“實時摳像技術(shù)特別適合用于背景圖像生動變化的VP制作。”
通過使用實時摳像技術(shù)，舞者在LED屏幕前表演的視覺數(shù)據(jù)被實時捕捉并投射攝到屏幕上
開發(fā)這一技術(shù)的動力來自菅野收到的一位藝術(shù)家的需求。她工作的一部分就是陪同藝術(shù)家前往演出現(xiàn)場，為演唱會提供技術(shù)支持，她經(jīng)常在現(xiàn)場收到藝術(shù)家和工作人員的反饋和要求。“在排練期間，我聽到一位藝術(shù)家隨口提到，‘如果能做到像實時摳像技術(shù)那樣的效果就好了’，這讓我開始了這項技術(shù)的研發(fā)。”
菅野解釋說，將這項技術(shù)融入《天鵝湖》視頻制作的決定，源于她希望“更多的現(xiàn)場音樂表演能使用實時摳像技術(shù)，并且希望增加更多將該技術(shù)與VP共同使用的案例。
技術(shù)帶來嶄新的現(xiàn)場溝通方式
在視頻制作中，所有參與拍攝的工作人員需要共享導(dǎo)演所構(gòu)想的視覺圖像。
大賀表示，在這次制作中使用VP技術(shù)，也讓他能夠輕松地將自己的創(chuàng)作構(gòu)想實時傳達給舞者。“在傳統(tǒng)情況下，當我們計劃在背景中使用CG圖像*時，需要使用綠幕拍攝。然而，使用LED屏幕實時顯示背景圖像，演員更容易直觀地理解場景內(nèi)容，也有助于他們更好地進入角色。”
大賀表示，許多舞者評論說，使用這種技術(shù)幫助他們更好地完成了表演。
在CG拍攝中，經(jīng)常提到的困難之一就是燈光調(diào)整。在視頻編輯過程中，必須將現(xiàn)實拍攝的圖像與CG圖像的光線角度和亮度進行匹配，以實現(xiàn)畫面的一致。然而，由于負責拍攝的工作人員不一定熟悉CG，往往需要花費大量時間調(diào)整真實圖像和CG圖像的燈光。
大賀解釋道：“即使我們改變舞者的燈光，實時摳像技術(shù)也能讓我們將舞者的圖像實時投射到背景的LED屏幕上。這減少了CG后期處理的需求，并大大提高了效率。”
在清澄白河BASE，貼近創(chuàng)作者實現(xiàn)他們的創(chuàng)作愿景
雖然這些前沿技術(shù)減少了拍攝的障礙，大賀回憶道，他也感受到了因高度自由而帶來的不知所措。“我能夠在現(xiàn)場和技術(shù)開發(fā)人員討論拍攝中的各種困難，讓我們能夠巧妙地使用技術(shù)來實現(xiàn)我設(shè)想的畫面效果。”他補充道：“這是只有索尼才能承擔的項目。”
對于菅野來說，她從工程師的角度表達了自己的熱情：“我希望繼續(xù)通過直臨現(xiàn)場，直接聽取創(chuàng)作者的聲音，提供有助于創(chuàng)作的技術(shù)。”
展望未來，大賀表示：“我愿意將與公司外部創(chuàng)作者合作視頻制作時獲得的經(jīng)驗，用來與索尼的工程師一起在清澄白河BASE開發(fā)更好的解決方案。”
