News

LastDream > News > View Content
关于洛天依Vtuber/TTS同人发电项目的一切!(粉丝自制非官方) 2019-10-28 19:37 Views: 301

郑重声明:本文不涉及相关代码及专业知识,不作为专业技术领域的解释!仅供参考和一般交流说明,请勿作为专业性质的转载和言论发表。        

首先,关于我们让洛天依进行说话的这个项目,我们称为“VOCALTTS项目”,是一个非盈利的发电合作企划(注意只是内部开展制作时的项目名称),由我们LastDream(LD协作组)开发团队的部分成员和VOCALOID粉丝大会(VirtualVocal粉丝大会)的部分P主共同意愿才对接合作,所有参与制作和开发的作者,都是在理解VOCALOID这个软件和了解热爱洛天依这个虚拟形象的基础上达成一致合作的,大家都是在工作、放学业余时间抽空来完成这些,从中不涉及任何金钱利益,是纯粹的兴趣爱好走在一起!

        并且在开发的路上,我们很大程度上受到粉丝大会的鼓励支持,以及后来粉丝大会对相关内容的不断纠正和监制调整,才能一步步坚持做到现在,说白了,就是“想听到洛天依说话”这么简单的一个想法而已。

        其实在2015年很早时,就已经开始拟定和开展了这个兴趣研究工作,并且根据项目的一点可能性,不久后也拜托粉丝大会向“禾念”说明了我们想做一个关于洛天依TTS的同人创作企划,并取得了同意。(那时并没有vsinger同人网站)。当然,那时候我们也只是单纯想想和试着做而已,具体以后是什么效果,我们自己也不知道也并不抱多大期待。(其实我们对目前这个效果也如一些粉丝意见一样并不满意的,我们也明白这还有很大差距,并缺少一些感觉,但这至少是一个里程阶段,是粉丝发电的一个结果,这是最重要的!

        转眼经过了三年,至今可能算四年了,期间我们是断断续续的开发这个(实际开发用时也就不到一两个月,但是需要积累)。从一开始的采集、框架编写、调试,到最初效果出炉后,我们便已经力不从心了,那时就已经点到为止(差不多放弃)。而对于后来这个新的结果,也算是个意外了吧,我们重新拾起了这个咕了一年多的项目,让它现在重新展现到大家眼前。

        这个项目,是由粉丝为粉丝而做的,不同工作和学业的人,为了同一个“虚拟偶像”,为了洛天依,才共同在一起做了这么多,不论是画图,还是编程,还是调教、后期、模型、文案、宣传,所有的过程都是以作为成本发电!我们都在为喜欢,投入感情和原动力,最后才有了现在的互动视频和Vtuber演示。

您可以赞赏、肯定我们的项目和作品,也可以批评、否定它。但请不要侮辱或嘲讽它。请尊重为它付出、辛苦努力的开发和创作者们。

这里声明,所有关于“VOCALOID项目”的内容我们也将无偿开放使用!禁止商业用途!同时,相对应在使用上,我们也会稍作一些限制和非商业使用条件,以免一些恶意用途的滥用影响。


        至于后来我们是如何做出来的,相信这个是很多人都想知道的。

        有一项技术叫做语音合成(TTS),即Text to Speech,意为能将任意文字信息实时转化为标准流畅的语音朗读出来。只不过在以往的生活中大家可能并不怎么需要与接触这类技术,并不像虚拟歌姬以歌声的方式传达至我们的内心,直到科技发展的今天为我们带来便利和融入生活。例如现在我们日常生活中已经见多不怪的苹果智能语音助手Siri、小米小爱同学、天猫精灵、讯飞语音、度娘、谷歌娘等等,均属于TTS语音合成相关技术。同样,VOCALOID软件所实现的歌声合成也是属于语音合成技术的一种,但是相比TTS的基础上要更加复杂,与之不同的是,歌声和讲话是两种不同的行为及专业领域。


【以下有关技术方面内容仅供参考,有关方面的接口及模型等会进一步根据情况开放】

        我们现在以最简单的方式说一下关于TTS技术的实现原理。TTS(Text to Speech),就是输入一段文字,然后让他合成音频这样一个过程,这里以语音合成的早期“拼接合成”为例大概可以分为以下几个步骤:

1.对你输入的文本进行判断分析(拆分获取发音,如400个发音5000个汉字等)。

2.找到与索引相对应的发音数据(事先录制好的数据,即声源)

3.使用相关算法函数进行拼接合成,即“你”+“好”=“你好”,同时对拼接的音频连接处进行优化,来达到最终的语句流畅

4.调整波形、频率等参数以优化合成效果(次要过程,也可在上一过程中,主要用于改善合成效果,也包括如语速、语调等等)。

注:以上步骤仅供于初步的简单的理解和参考,且为早期拼接合成原理,不作为专业知识解释,更不要和现代语音合成模型相比。另外,现代语音合成技术已发展为神经网络模型合成,具体原理及先进技术是属于业内机密,故不会深度公开,有兴趣了解的话也可以相关开源库搜索TTS代码学习。


而TTS与歌声的语音合成的最大区别是,应用领域的不同。

歌声合成,主要强调在音色、音调、语速等发音效果上的感情,再者是其基础上密不可分的音乐知识、词曲节奏等,是赋有感情的艺术品创作。

TTS则更多强调于在自然对话的场景下,以通常,或带有一定情感事件下的对话,主要是作为语言沟通、信息传达等。

        总之,两者均能实现对于机器语音的合成,但是两者用途不同,专业领域不同。如果说,某一方的软件或技术是否能够同时实现或结合这两种能力的话,那么回答是,肯定的,相关案例可以参考了解“微软小冰”,同一种声源既能说话也能唱歌等,甚至单从效果而言,完全不输于我们已经所熟知的虚拟歌姬。


        顺便关于“引擎”的简要概括(形容),我们所熟知的初音未来、洛天依等虚拟歌姬,所使用的引擎是来自VOCALOID(YAMAHA雅马哈),也即可以作为软件的形式命名体现和使用(即调教)。这里要说明的是,引擎(或技术)是不一定等于软件的,它更多的则是一门技术知识、原理或专利,引擎既可以是一种驱动,也是一种核心的程序或原理知识,假设初音、洛天依等其实也是同样可以在其他“引擎”的软件上歌唱和工作的。因为软件是基于不同平台的一种操作工具,其更多的则是给用户完成一般工作的,而非开发设计阶段和底层工程,所以也是不能单以软件作为代表某一种技术的本体。另外,如Windows平台的软件使用C++开发,Linux、安卓平台的软件使用Java开发等,VOCALOID相关技术也一样可以在Windows和Mac两种平台使用不同的语言编写软件,而其中核心技术原理即“引擎”是一样的。

        同理,其实我们所做的,也是一个近似于“引擎”上的实现,但是非常不成熟或者说是胚胎雏形,不过我们并不是为了做引擎才去研究,仅仅是为了想听到天依说话,而去做了这些,在此感谢所有途中因此而相遇到一起的伙伴!因此我们才能相互认识,我们才能实现了当初的一个想法!一个初衷!


关于洛天依Vtuber/Vup,以及人工智能AI未来是否会固化洛天依的人设?

不会的。还记得我们是如何认识洛天依、初音未来,然后喜欢上她们的吗?即使是不了解洛天依、初音的人,也应该听过她们唱过的一些歌曲,甚至会以为那是真人歌唱的,但是那些真的是她们自己唱的吗?了解一些的应该都会知道,洛天依、初音是由一款名为VOCALOID的软件合成歌声,需要经过音乐人的创作,这是由非常非常多的P主、作者,以不同的风格和形式创造才有了今天的影响力和深入我们的内心!同样,我们做这个技术的期望也不仅是想听到,也是希望能给天依带来更多创作更多可能,供给所有作者使用和二次创作的,或者也是一种启示。

        另外关于Vtuber、Vup领域,是主播以虚拟形象方式进行直播的一种形式。在日本,以绊爱为主开始影响。在国内,以虚拟次元计划为首的首个虚拟up开始,产生Vup概念。不过目前该领域依然处于发展初期,其成为虚拟Vup/Vtuber的成本和门槛也在逐渐降低。从3D形象到2D形象的动作捕捉也只需一个软件和一个普通摄像头,虽然同样满足了不同的受众群体,但也难免出现了乃至上千的虚拟主播,并且数量还在增加,且创作质量与人物设定也备受一定争议。这里我们主要是负责研发,故本文对此不做任何评价。

        我们做的这个洛天依Vup/Vtuber仅仅只是作为一种技术上的实现演示,实际的实现可以不通过Vup/Vtuber所必需的具备的“中之人”,即真人在后台的操作,而AI直播的背后是没有真人的。本次的技术结果,是可以由程序自动完成动作、表情、语音对话、唱歌等相关操作。

        需要注意的是,我们所做的这个洛天依Vup/Vtuber并不是首个,也不是官方,更不是一个新的概念,在此之前有如嫣汐、呆呆酱、米娜等等很多曾于B站进行实时互动直播及唱歌的虚拟AI以及现在的琉璃。但毕竟AI的表达力远不如真人的感情能带动观众,所以真正的人工智能也是很容易不被大数观众关注或者是忽略的。如果要追溯其出现时间可能于2015年之前甚至更早(未找到具体统计)。我们同时也想要表达的是,这才是虚拟AI up主、AI vup,AI vutber的真实的样子,同样以虚拟形象进行直播和互动,且真正意义上的遵守AI设定,的人工智(障)吧。现在,各虚拟AI的效果和实际体验可能都没大家所想象中的那么好,也请能给AI们一些时间,或许我们将来能看到更多的可能,甚至能真正的和虚拟歌姬她们自然对话的那一天(非大数据式的自律学习交互),是需要一个简单的支持的。

        同样,关于洛天依这个同人项目或者TTS项目我们也会尝试继续优化下去,也会不断做一些新的内容,希望和感谢能有大家的支持!

        最后,关于我们,LD协作组(LastDream),相关注册名为最后的梦。我们是由各在职工作、在校学生及相关合作组成的一个专注于人工智能、二次元相关技术的合作性开发团队,主要目标于研究、开发机器人应用、软件等,或将二次元形象(包含原创)运用相关技术以更加人性、赋有情感的虚拟交互展现,同时本协作组也主要是一个共同学习、交流、协作创作的组织,欢迎有任何一项技能(不限于编程开发)的伙伴加入,为二次元人工智能发展助力。

(本文可能尚有不对或不正的地方欢迎指出,并请勿将本文作为具有专业或代表性的转载引用等)

To Top