年度論壇 1》玫瑰家就在你家!用AR打開繪本宇宙:《病玫瑰》

(左起:陳敬文、張蓉安、楊乃甄。本活動由臺北市政府文化局贊助。)

2022年Openbook好書獎將於11/29揭曉,今年的前導活動主題設定為「文化創作X科技」,在文化創作與科技交織的內容多元宇宙中,持續面向未知,與讀者、創作者、從業者進行討論與對話。

近年,以沉浸式體驗為號召的展演活動蔚為潮流,除了有專為沉浸式經驗建置的電影院、美術館外,零售通路業與遊樂園也開始導入AR(Augmented Reality;擴增實境)技術,優化服務與消費流程。

走過大疫年代,「如何在私人空間享受到高品質的沉浸式內容」成為內容製作者的目標。本次邀請到《病玫瑰》製作團隊VIVE ORIGINLS,談談他們如何與國際團隊合作,將世界首部VR逐格捏麵偶動畫,以「立體繪本」搭配AR技術,打造出不受空間與硬體限制的全新沉浸體驗,讓讀者隨時隨地都能輕鬆走進《病玫瑰》的綺麗世界。

過去大家印象中的手機製造商HTC,自2016年便關注XR(Extended reality;延展實境)的發展,很早就大舉投入相關研究開發,VIVE ORIGINALS即是HTC旗下的內容品牌,致力於XR原創內容的製作與發行。該團隊內容製作人楊乃甄表示:「HTC成立VIVE ORIGINALS,目的是希望跨界與AI、5G等,共同豐富XR的生態系。用現在的語言講,就是在元宇宙也能有所發揮。」

楊乃甄說,XR是全新的媒介,如同過去電影有電影語言,XR的敘事也需要新的語言方式,需要非常多不同領域的人一起挹注經驗、一起探索「怎樣說故事」。VIVE ORIGINALS成立至今,隨著成員的逐漸增加,也意味著踏足的領域越來越豐富。

成果方面,從最初與導演蔡明亮合作VR長片《家在蘭若寺》,後又與金馬電影學院合作《5x1》系列短片,並且也跨國聯手,包括和日本藝術家小松美羽合作互動藝術《祈禱》、與法國製作公司合作沉浸式VR動畫《咕嚕米的眼睛》等,表現皆出色亮眼。

自2017年《家在蘭若寺》入圍威尼斯影展後,VIVE ORIGINALS就成為各大國際影展常客,走遍全世界。除純藝術領域,也做數位典藏作品(例如楊麗花歌仔戲)。近兩年更涉足流行音樂,開發全球首創的全息音樂元宇宙「BEATDAY」,提供跨裝置的多元沉浸式內容,讓大眾無需專業設備也可以在家裡透過電腦或手機觀看全息內容,用新的方式感受音樂。

➤顛簸的故事有著顛簸的開發

從純藝術到流行音樂,從行遍天下到拓展在地內容,楊乃甄說,除了在國際影展上讓世界看見台灣,VIVE ORIGINALS也希望所開發的內容能飛入台灣的平常百姓家。

《病玫瑰》於2021年與「旋轉犀牛」原創設計工作室共同攜手打造,是世界首部以傳統捏麵人技藝結合VR科技與逐格拍攝技術的新型態沉浸式偶動畫,受美國《Variety》雜誌盛讚為「融合傳統之美與虛擬實境科技的創意佳作」。

《病玫瑰》描述一個小女孩帶著一朵魔法玫瑰,穿越充滿病毒和冷漠的城市,將玫瑰獻給在醫院第一線工作的媽媽。一路上她顛顛簸簸、充滿挫折,但從未喪失希望。

《病玫瑰》專案技術統籌陳敬文表示,第一次看到這個故事,剛好是疫情爆發的時候,讓團隊十分有感,這個IP也因此成為創作的源頭。

除此之外,也有技術面的考量,陳敬文說:「因為技術研發是我們的核心價值,為了讓品質達到更高的水準,在《祈禱》專案結束後,部門同事開始研究如何把VR畫素提升到更高。」那時VIVE ORIGINALS正在尋找下一個創作合作對象,因緣際會結識了旋轉犀牛,「我們發現非常適合部門正在發展的技術,與犀牛經過拍攝測試後,同事們都很興奮,看到偶動畫呈現出來的效果,大家都笑得好開心。」

然而從無到有開發一部VR作品,過程有許多不為外人所知的困難,尤其這次結合的是偶動畫。陳敬文首先解說VR攝影的基本邏輯:一個場景要取不同面向的數個鏡頭,以一個動作拍一張照片的偶動畫來說,想拍成VR,就至少需要8張照片。

他說:「這個工作量太大了,旋轉犀牛的空間不夠用,為了這個專案,他們從新店搬到宜蘭,VIVE ORIGINALS無法跟著長駐宜蘭,因此也研發了整合系統,與他們開啟遠端合作模式。」

「為了這個專案,他們還把全台偶動畫的菁英都集合到一起了!」陳敬文說,因為VIVE ORIGINALS有個目標,是參加隔年的威尼斯影展,所以製作期非常壓縮,團隊成員都必須輪班工作。

攝影之後緊接著是後製,還有許多基礎的修圖工作,比方每個偶動畫角色的輔助支架都必須修掉,剪輯方式也跟一般影片不太一樣。

「傳統偶動畫只要修一張圖就好,而VR要修兩到三倍;偶動畫剪輯也要一張張去調整動作的流暢度,跟傳統一整條影片去剪輯的工作量差很多,所以負荷滿重的,但也成就了一部特別的作品。」陳敬文說。

《病玫瑰》的VR專案結束後,VIVE ORIGINALS開始思索下一步的IP應用,「那時大家都覺得犀牛團隊滿厲害的,創作的角色非常討喜,小朋友會喜愛,於是我們就想延伸推廣到兒童族群,才發展出立體繪本的概念。」

但如何轉換?VIVE ORIGINALS想到用紙本搭配AR app做為說故事的方式,來打破空間與硬體限制。此外,考慮單純只是說故事「好像少了點什麼」,所以又在故事連貫之間設計了旁白的角色,再用一些簡單的小互動把每個故事串起來。

最後開發出方塊、書本、外盒三件式的套組,想體驗故事內容,就將方塊擺在書頁上,再用AR app掃描立體方塊,啟動後,就可以開始觀看故事、跟故事互動。

VIVE ORIGINALS如此設計的初衷是,《病玫瑰》跟國外優秀的音樂製作團隊合作,整部VR影片從配樂、插曲、片尾曲等,他們希望能完整地在AR立體繪本中都保留下來,讓更多受眾能又聽音樂、又玩故事,才造就了這樣的形式。

➤媒材改變,創作故事的形式也需改變

台灣目前AR、VR技術在全球屬前段班,且別於過去在國際動畫領域多為他人代工的型態,台灣的VR產業鏈相當完整,陳敬文認為這是我們的最大優勢,在國際影展現場,除了VIVE ORIGINALS之外,也有許多台灣熟面孔,都是非常專精於VR拍攝的公司。

「台灣的優勢是發展得早,我剛進公司大概2018年,發現產業從前端到後端,就已經很成熟了。加上雄影每年都有VR電影節活動,鼓勵創作者做各種嘗試,所以我個人覺得包括原生創意端,台灣也是非常蓬勃的。」

如今AR或VR技術已經能夠跟各種文化內容相結合,出版人與創作者也更關心文本轉換或結合這類科技的可能性。對此,楊乃甄表示:「以《哈利波特》來說,這個文本可以拍成電影,也可以用VR呈現,但使用不同媒介說同一故事,就必須探索這個媒介的有利之處。」

她形容VR這個媒介,就像「活在一個新的空間裡」,如何挖掘故事中跟空間有關的互動性,創造出使用者跟空間之間有趣的能動性,再透過一些程式語言的發揮,讓使用者體驗感受。「VR跟傳統影視作品不一樣的地方就在這裡,而發掘文本這方面的特性,也是最困難與最有趣的事情。」

「現在很多IP都有潛力用這個媒介重新呈現,不管在國際影展上或其他地方,無論寫實、虛構或與藝術相關,議題都非常非常多元,很多類型不斷出現,令人看了很驚喜,過去大家印象中以為必須是很科技的東西,沒想到無論多麼嚴肅或多麼ㄎ一ㄤ的議題都可以用VR呈現。」

從台灣出發,楊乃甄認為歷史相關議題,很容易觸動世界不同地方觀眾的記憶或傷痕;台灣各種類型的民俗藝術(像歌仔戲),也都有發想空間,更不用說各種小說、詩作,都可以有某些形式跟VR結合。再來是鬼故事,其實非常多鬼片IP,因為有特別強的沉浸感,很有發展潛力,VIVE ORIGINALS也都曾考慮過。所以楊乃甄覺得,任何IP都有可能在這個媒介裡出現。

「但無論何種類型,要跨出第一步都是特別困難的,因為要重新思考它的敘事、故事呈現的方式。我們常常在做跨出第一步的事,這非常需要時間,成本也相對的高。不只創作,我們的製程、技術的研發,也都需要時間經營。」

➤硬體裝置的普及可能就在一瞬間

自從智慧型手機提供大量影像功能之後,讓我們瞭解到,個人載具的方便操作,往往成為新媒體技術形式普及的關鍵。由此反觀及思考,AR或VR的技術與設備(例如頭顯),是否會限制了推廣使用上的普及?我們可否期待AR或VR未來擁有手機那樣的便利性?這樣的普及對專業公司會是良性競爭還是利益上的瓜分?

楊乃甄說:「AR和VR都是XR的其中一種形式,現階段確實都還在技術發展的早期階段。我們常形容目前VR有點像手機還在黑金剛的時代,很大、很重、只有少數人在使用。但反過來說,也像手機發展過程一樣,VR設備正在逐漸輕量化,未來頭顯將會是很輕便的眼鏡(甚至隱形眼鏡),而5G網路可以很快顯像,到時會更像手機。」

她認為這是可見的未來,在5年、10年間就有機會實現,因為過去人們也很難想像現在的手機可以如此方便,但其實也不過是數年之間就發生的事。「現在有很多輕量型的360攝影機可以買得到,很多VR設備價格也下降滿多,還有不少AR應用的小軟體,讓大眾可以有管道去接觸探索這個領域。」

她說:「這些都是這個生態系之下的延伸,當大眾可以輕易產製內容時,我們就有足夠的養分去供給這個生態,有足夠成熟的語言讓媒介得以被發揮,只會讓生態更完整,不會有衝突或瓜分。雖然我們平常在做一些很貴的東西,但我們自己有時也會下載一些小應用來做實驗,是滿好玩的事。」

對於前景的評估,近年的討論相當分歧,有些評論家甚至認為受到各種限制的影響,VR的發展將不如AR那麼被看好。對此,VIVE ORIGINALS專案經理張蓉安表示:「我個人認為AR或VR只是載體上的不同,使用媒介的不同。就如同我們平常也不會去比較詩和散文哪個比較好。」

「IP流動在不同的媒介之間,有視覺形式的作品反過來變成文字,也有劇本變成小說,或是藝人根據個人寫真描寫心路歷程,所以並不是單純紙本出版變成影視這樣單向的流動。AR或VR都是敘事結構的轉變,尤其沉浸式或現在強調的元宇宙,在這樣的體驗情境下,空間性跟體感相對重要。」

張蓉安說,就目前敘事手法上,VR是引導大家進入劇本的情境,確實都是設計好的體驗,而AR的擴增實境,其實也是預先想好怎麼呈現給觀眾,只是觀眾是在一個虛實整合的環境下,感覺好像有比較多的參與度,但可能只是AR與VR發展進程上的差別。「我覺得說故事的空間目前都還沒有完整的開展出來,未來是否有更新的創作方法也都未可知,比方VR載具之間未來有更良好的連線方式,說不定每個人戴上頭顯也能在VR的世界裡互動。」

➤Q&A

.目前大多數業者與消費者對於VR的觀望,都來自於不確定未來產業鏈的發展時間線,VIVE ORIGINALS是內容產製部門,會感受到硬體發展的那些限制?

陳敬文:我個人覺得還好,反而是PC支援的限制比較大,比方我們做《病玫瑰》,可以推到8K的品質,但即便我們內容提高到那樣的程度,一般電腦也跑不動,不僅我們製作成本增加,也沒有播得很順的player,必須等所有PC效能往上推一階,才能讓更高品質的內容更加普及。

.感覺《病玫瑰》的畫風內容非常特別,不是童書會出現的可愛風,甚至有點陰暗悲傷,這樣的內容是由於目標讀者不限定於小朋友嗎?

張蓉安:《病玫瑰》因為是疫情底下誕生的作品,所以一開始比如在城市大街行走的時候,都是比較灰濛濛的,目的是為了強調疫情下的疏離感,以及城市的冷漠氛圍,但色調是跟著故事情節走的,隨著故事走向,會開始有比較溫暖的色彩出現。至於目標讀者,並沒有設定,現在很多繪本也不會定位在童書,不同年齡層都可以從故事中找到他有感的地方。

《病玫瑰》從VR轉成AR的過程,我們有調整過互動對話的比例,抓取最精髓無法割捨的部分,但同樣沒有設定只給小朋友看,不過因為主角是小女孩,很容易讓同齡小朋友得到共鳴,所以行銷條件上我們會去這樣設定推廣,但不同年齡都適合觀賞。

月英其實現在很多圖文書是專為成人創作的,有些圖畫書專家認為,每個人一生有三個階段要閱讀圖文書,一是還不識字,需要透過圖像去認識世界;二是到了成人,會有很多機會閱讀圖文書,例如親子共讀。很多圖文書內容深邃,成人讀者可以透過其中的意象思索更多;第三是老人階段,年紀大後不見得需要大量文字或資訊、知識來灌注生活,老人家更樂意透過圖像溝通或連結某些記憶。

至於《病玫瑰》畫風,我們應該不必忌諱讓兒童認識死亡或生病這類議題,所以就算將它定位給兒童族群,也完全不是問題。

VIVE ORIGINALS於初期從藝術出發,到近期走入流行,這其中的轉變是否表示團隊在藝術領域的拓展上有所困難?V/AR在藝術的表現上是否尚存在無法普及或難以突破的限制?

楊乃甄:坦白說,走入流行比擴展藝術領域還困難,這個轉型確實是我們有意識的轉型,並不是遇到困難才轉型。其實國際不管影展或藝術領域,大家對藝術家在XR上的發展是充滿期待的,資源也很多,現在許多國際影展都開出競賽項目,做任何嘗試都很容易出線,台灣就有很多作品入圍、被國際看見。

我們轉向流行是因為現在設備門檻仍然相對高,我們開發BEATDAY全息音樂平台,就是想讓大家用電腦、用手機,就可以開始接觸沉浸式內容。這個溝通過程所花的心思跟成本更高,可能要另外開一場兩小時的論壇才足夠討論困難的部分了(笑)。藝術領域的突破還相對容易,一不小心就會成為第一,像《病玫瑰》這樣的形式,就是全世界第一個嘗試VR的偶動畫。

.剛剛有提到VR、XR是說故事的技術,尤其適合探索空間的體驗或關係,很好奇如果是像詩這樣的文體,是不是相對來說比較不適合(小說跟散文可能比較適合?)

張蓉安:我不會這樣看耶,我覺得無法這樣比較。其實詩留白的空間很大,是比較意境的東西,透過VR也許反而可以互相呼應。每個人對詩也有很多不一樣的共鳴感,所以常常有人說這個詩我看不懂,或是我們看小說改編的影劇,有時也會覺得拍得很不像,所以單就這個問題很難說。

.如果沉浸式器材普及了,會不會變成像《一級玩家》那樣,大家不一定會實體見面(或去認識真正的世界),而是習慣在虛擬空間社交與體驗,或是活在被打造出來的虛擬空間之中?(很久之後的未來,虛擬空間會逐漸取代真實促發體驗的外部世界嗎?)

張蓉安:可能每個人都可以用自己的角度來回答吧,因為就像網路交友,這麼多年了,大家還是會出來見面,在我看不會互相替代,可能會虛實並存。我覺得只要人還會肚子餓,現實就不會被虛擬取代,除非像科幻小說一樣,我們變成仿生人,不再需要食物了,那天才會到來。大家留在虛擬空間的時間增加,這個可能是有的,但不是取代。

.請問三位自己在製作過程最喜歡的是哪個部分?或是有什麼有趣的事?

陳敬文:想到有趣的事,是犀牛搬去宜蘭的時候,因為東部容易地震,我們做的又是偶動畫,擺設只要一點移動,我們後製上就會很痛苦,所以那時只要有地震都會打電話去關心一下,怕是不是需要重拍。

至於過程中最喜歡的,是我們每次專案就是全新、不一樣的創作,每次跨界合作,都會吸收到不同領域的人對專業的熱情,比方最近一個沉浸式的戲劇體驗,接觸到一些舞台劇演員,甚至鋼管老師,都是平常在自己領域上不容易接觸到的機會,跟他們交流我覺得是很棒的體驗。

張蓉安:各種內容創作都會有源源不斷的idea丟出來然後淘汰的過程,在團隊裡面,每個同事都有不斷嘗試的開發者精神,所以並不會輕易覺得這樣就可以了,而是接受還有別種可能性,怎樣達到我們最想要的效果,大家都會彼此碰撞,我很喜歡這個過程,大家朝理想的模樣前進的過程。

楊乃甄:跟兩位分享的非常類似,因為每次都是跟不同類型的創作者重新去思考這個語言的可能,像過去跟許芳宜老師合作現代舞的探索,或是先前跟各導演之間的合作,每個創作者都帶來能量。

.想知道侯孝賢、蔡明亮等大導參與這種科技的反應

陳敬文:從側面聽說,蔡導對大家精神上的洗滌非常有幫助(眾笑),其實蔡導對這種新的科技非常勇於嘗試,所以也是跟大家一起走過了早期拍攝仍有諸多限制的發展階段。

.請問AR VR有沒有可能結合其他技術讓大家可以同時感覺得到味覺、嗅覺或痛覺等等視覺以外的感覺?HTC會有這類功能的開發計畫嗎?

楊乃甄:目前世界各地已經陸續有一些新創公司著手研發可結合VR內容,讓體驗者感受到嗅覺、觸覺、味覺的設備,不過尚不普及。VIVE ORIGINALS之前和日本藝術家小松美羽合作的VR作品,就曾結合過嗅覺裝置,讓體驗作品的人,可以在特定橋段中,聞到作品意境中的氣味。


閱讀通信 vol.219》年假後減肥很痛苦嗎?來書展補充精神食糧,至少餓得有氣質(๑•́ ₃ •̀๑)

在疫情與亂象紛雜的時代中,我們努力以非營利的方式經營書評媒體,
歡迎您一起成為Openbook的給力夥伴,陪我們看見台灣最美的出版風景,守護從土地長出的原創文化。