首页|行业资讯|人物访谈|活动|新品|案例|方案|招标|技术|企业|产品|展会|商机|专题|招商加盟|企业招聘|新媒体艺术
 数字展示在线首页 > 资讯中心 > 制作3D实时交互影像作品,需要用到哪些技术和软件?

制作3D实时交互影像作品,需要用到哪些技术和软件?

编辑:林子 文章来源:数字展示在线 发布日期:2018-12-6 7:02:21

  对于喜爱新媒体艺术的人来说,teamlab这个名字一定不陌生,作为新媒体艺术界的当红炸子鸡,teamlab的团队成员则是包罗万象,他们这样描述自己的团队:一群由程序员、CG、艺术家、数学家、交互设计师等各种各样的人组成的追求极致技术的艺术集团。

  这也就可以理解,为何teamlab每次的新作总是给人许多技术上的惊喜。但对于这些多技术交叉产生的新媒体艺术作品,我们似乎总是没有一个详细而准确的称呼来分辨他们的类别,比如teamlab的作品:《在人们聚集的岩石上,注入水粒子世界》

制作3D实时交互影像作品,需要用到哪些技术和软件?

▲当人站立在作品上,触摸作品时,人会成为能够改变水流的岩石,观赏者自身变成了障碍物改变水的流向。

  而对于类似于上面这样的作品,OF的一位老师给出了他对此类作品的描述:“3D实时交互影像作品”。

虽然读起来还是有些拗口,但如果了解作品所涉及到的技术,就能清晰的理解其中的含义。于是,本文简单的梳理了制作一件“3D实时交互影像作品”过程中,所需技术和一些相关的软件。希望能解答你的疑惑;有些地方不能说的很准确,也希望有大神能给予指正。

  创意阶段

  这个无需多言,创意可以很简单,也可以很具体,但完成一件优秀的作品, 自然需要好好的规划作品的每个执行步骤。举个例子,下面是Playmodes工作室于9月发布的一款立体光动态雕塑作品「Espills」

  为了打造这款装置,Playmodes先是草拟出作品的想法和框架,从几何体到叙事概念,以及3D模拟可视化装置的最终形态。

  3D视觉内容创作

  3D建模的软件很多,每款应用的领域和侧重的功能也不尽相同。比如3ds Max这款软件常用于建筑设计,而Autodesk Maya等则是常用于游戏CG,动画等行业。

  这两款软件也并不能完全满足大家的需求,有的设计师希望能快速上手3D建模,于是便选择学习难度低,作品质量高,拥有许多预设的C4D;有人希望做出爆炸级别的特效,就选择了自带Mantra渲染器的Houdini;除了这些软件,还有常用于三维角色建模的ZBrush;以及为3D分形成像的Mandelbulb 3D等等。

▲Mandelbulb 3D操作界面

  可能有些人会问,这么多3D建模软件,哪一款才是我的菜?建议你理清自己的需求后,向3D届的老前辈咨询,或者仔细阅读下这篇文章《从百度、谷歌搜索指数看三维软件的趋势》

  http://www.bgteach.com/article/29

  最后,对分形艺术感兴趣,又懒得下Mandelbulb 3D去体验的,可以直接在App store上下载“分形的奥秘”这个应用,体验分形之美~

  在完成了作品的大纲,建好了原始模型后,接下来就是为模型贴图,并细致调整折射,反光等参数,让你的模型显示你想要的材质。

  而不同的材质在不同的光源下,呈现的效果也并不相同。所以 一般对模型进行贴图时,需要先设定好光源,以便观察效果。但此时的模型仍然十分粗糙,你只能简单的看到一些几何、纹理、照明和阴影等信息。所以你必须对每一段场景的进行单独的渲染,来观察它最终效果,再回到原始的模型上去调整参数,直到完美。

  如果你的作品中还包含运动角色(人,动物),那你需要在贴好材质的模型上建造骨骼和控制器,这样就可以控制他们进行运动了,三维计算机动画本质上是定格动画(stop motion,或称静帧采集)的数字化后代;如果只是拍摄一段简单的3D角色运动的影像,那你只需摆弄好关键帧时角色的形象,之后的动作的绘制过程交给计算机就好了。

  至于之后图像的合成,加入动态特效和视觉特效,调整摄影机的位置,难以用一两句话概括,所以不多赘述。

3D视觉元素做好了,接下来就是加入交互的模块了。

  体感设备和实时渲染

  许多人可能还记得有一段时间,许多卖电视的门店为了吸引顾客,放了个手柄,让大家玩耍各种体感游戏,比如体感网球,体感排球等等。

  2006 年,任天堂发布了新一代游戏主机Wii,Wii配套的新款游戏手柄第一次将体感动作引入了电视游戏主机。之后微软在在2010正式发布Kinect,Kinect是微软为Xbox开发的体感识别摄像头, 在其开发的目的是用于游戏,但因为其价格低廉,受到了交互领域的极大追捧。

  这或许是体感交互第一次大规模的出现在大众的视野。在销售前60天内,Kinect就卖出八百万部,成为那时全世界销售最快的消费性电子产品.

  落红不是无情物,化作春泥更护花。虽然因为体感游戏的热度退却等原因,导致 Kinect最终停产,但它留下的相关技术却在交互等领域继续发光发热。其中应用最为广泛的,应该就是如今iPhone上的面部识别功能,当年为Kinect的技术支持公司PrimeSense,早在2013年就被苹果所收购。

  这些3D体感交互游戏, 正是“3D实时影像互动游戏”,而玩家用动作控制游戏中的3D角色,产生图像的过程,也正是一个实时渲染过程。

  而特效CG公司,在渲染一段影视级别的视频时,需要处理的数据量和渲染一个3D游戏完全不在一个量级。这也是许多3D图形软件并不支持实时渲染的原因,原因无他:硬件带不动。因为哪怕1s的特效场景,都需要数台电脑渲染很长时间。但也有人说,我只想做一段简单的3D视频,处理数据量少了,不就可以进行实时渲染,一边渲染一边改模型?

  可视化编程正是以“所见即所得”这种思想为原则的编程技术。它们力图实现编程工作的可视化,即随时可以看到结果,程序与结果的调整同步。可视化编程的语言也不少,我们这里就以Touch designer为例。

  Touch designer是一款基于python语言的可视化编程软件(这里指软件),由多伦多的Derivative公司开发。关于Touch designer的用途,在这里我想引用Touch designer中文社区对这款软件的解释,同时也向大家安利他们的网站:http://www.touchdesigner.co/(他们的免费Touch designer教程已经出到中级了哦!)

  从项目类型的角度来看,Touch designer可以用来制作交互装置,演出视觉装置投影,建筑外观投影;也可以控制机械臂,制作VR体验,还可以制作电影工业级别的界面设计。

▲“天真 · 自得 2.0” 古琴昆曲电子演出的视觉部分,新媒体艺术团队分号C进行了Processing视觉至TouchDesigner视觉滤镜处理

▲Unity3D实时渲染视觉

  同时,不管什么类型的新媒体项目,在制作过程中,把TD当做一个整合统一的平台,是非常事半功倍的。它可以把你所想要的软硬件粘合起来,利用它们的特性创造出更为强大的新媒体怪兽。

  对于艺术家和设计师来说,Touch designer非常容易上手;对于程序员来说使用TD能轻松桥接艺术家们制作完成的视觉部分和后台程序部分。这样的软件能轻松结合不同能力的人员完美的完成项目。

  而需要特别介绍的,则是Touch designer的实时3D渲染功能和编程方式,传统的编程流程是,先编写抽象的代码,当所有的步骤都凑齐了,再运行生成结果;而Touch designer则是采用图形的方式,用更直观的视觉化的方式去思考,让你设计的每一段程序都能直观的显示结果,并且直接进行调整,同时它支持许多主流的软硬件接口,比如用于手部动作识别的设备Leapmontion,体感识别的Kinect,而现场表演中常用的的MIDI,TouchOSC自然也是来者不拒。

▲在Touch designer中调整程序

▲马老师视频 演示效果,左边屏幕是Touch designer的界面,右边是unreal4,平板上则是TouchOSC编辑器,你可以一边看渲染效果一边调整你的程序

  而随着硬件性能的不断提升,游戏的画面越来越爆炸,一些游戏引擎也开始打影视行业的主意,不断进化自己的实时渲染功能。比如Unity这款3D游戏引擎,而不少视觉演出的舞台也使用Unity3D进行实时渲染。

  这里安利一部2016年Oats Studio使用Unity实时渲染出的动画《ADAM》幕后制作访谈,你可以亲自感受下实时渲染出大片的快感。

  Unity在国内火起来,有一部份原因是因为手游的兴起,因为手游对画质要求不需要太高,而且手游生命周期短,更看重研发效率和兼容性。Unity恰恰符合这些条件,所以很多小团队和个人都选择Unity为主要的开发工具。Unity也提供商城功能,用户可以在里面购买模型,特效和代码。

  聊起Unity3D,自然要介绍下unreal.相比于Unity,unreal系列游戏引擎本身架构复杂,上手有一定难度,但它的渲染质量和效率比Unity3D强上不少。一般来说,程序员更喜欢调试方便的Unity,而美术建模人员更喜欢unreal,因为unreal和touch designer一样,也采用的顺序性编程,方便制作3D内容各个阶段的美术人员进行合作。

▲unreal界面

  以上,就是制作一个3D实时交互影像作品,大致涉及的技术和软硬件。首先,你需要一个完整的创意执行计划,再通过Touch designer等平台搭建一个交互程序,处理各种交互硬件收集的信息,传输给3D场景并实时渲染出一段影像,最终完成一个3D实时交互影像作品。当然,你也可以选择由unity,unreal等游戏引擎来完成 实更高质量的实时渲染的工作。

  当然,想要完成一个高水平的交互作品,在上面的许多技术环节都有太多可以发挥的地方 ,比如这么多跨平台的软硬件凑在一起工作,如何能保证他们都运行的流畅?等等一系列问题。

  正如吴宽老师在《艺术与生产力》一文中所说,“另很多艺术家感到沮丧的一个事实是:每一次推进艺术历史前进的核心动力并不是来自于艺术家,而是来自于生产力技术的革新。从岩画到油彩,从石雕到3D打印,从照相机到新媒体技术...每次生产力的革新,都会引发一场艺术历时的革命,促生新的艺术品种与流派诞生,催生一大批功成名就的艺术家。‘’

可以预见的是,艺术将越来越科技化,科技也将越来越艺术,两者在山麓分手,却终究会在山顶相逢。未来的艺术家会有越来越多的身份,而艺术的形式也会多种多样,更加丰富有趣。

 未经数字展示在线(www.szzs360.com)书面授权,请勿转载本站文章或建立镜像,否则即为侵权。