这样的看片必备工具,超实用
看视频最怕什么?果子觉得无外乎就是语言不通了。听不懂再没字幕,除非你精通外文,不然只能说看了个乐呵。
比如 YouTube 就有提供可选不同语言的字幕。
遇到国外各大发布会直播,若是没有提供同声传译,观看体验简直就是灾难,如果说发布会能通过 PPT 、宣传图视频大概看懂。
那电影、动画等作品,没有翻译甚至连外文字幕都没有,那体验可以说是一团糟了。就算懂点外文,但听译可算是不简单。
还是乖乖等汉化组、翻译组发布资源吧。
我还有一个朋友,甚至曾试图翻译下面这种视频,想知道剧情是什么,讲的什么内容。
咳咳,扯远了,严肃一点!
认真的讲,对于用户播放外语视频,字幕问题真就无计可施?有没有办法解决?答案是肯定的,那就是 AI 字幕。
原理简介
对于 AI 字幕均为手机识别语音并翻译,同步实现在顶层。一般都使用下面的实现流程:
原音频 —— 语音识别 —— 翻译语音 —— 显示字幕
其中最为关键的就为翻译过程。在 AI 字幕中,AI 的成分就表现于翻译引擎的好坏,下图就是忍俊不禁的翻译效果。
同时,翻译过程又与语音识别准确度息息相关。因此要想翻译好,与翻译引擎和语音识别准确度都离不开。
并且,由于字幕的原理是先识别,再翻译,最后显示,因此不可避免的会出现延迟、音画不同步的问题(除非将视频延后播放)。
如今,在主流安卓手机中,已有锤子、华为、小米等品牌针对播放外语视频的字幕问题做了 AI 字幕识别优化。
这些功能的出现,通过实时翻译,确实可以辅助我们观看视频,理解内容。
但有人可能会问了,翻译效果是否能正常使用,识别率又如何,是不是机翻的效果,我们不如一起来看看。
实际体验
小米手机上,最早是在 MIUI 12 上更新的小米闻声。在无障碍功能中,采取两种语音识别引擎:讯飞听见 、小爱同学。
由于功能和体验并不算很好,这里就不展开讲了。毕竟最近小爱同学开启了新版 AI 字幕内测,还不试试?
对小爱同学说 AI 字幕,即可开始使用。
主要功能拥有这些。目前仅支持中英双语,声音来源可选内录或麦克风。
在 UI 设计上,使用悬浮窗的风格,可随意拖动和缩放。
在英文识别效果测试中,采用了 Google I/O 2021 大会视频。不可避免的出现了延迟,在意料之中。
不过在识别准确度上,还算是能让人满意。很少出现错误,当然这也和视频中发音准确度有直接关系。
在使用 AI 字幕中,还可点击悬浮窗顶部选项,对翻译的字幕内容进行导出的操作。
不如把翻译内容导出看看整体效果。这段视频内容主要是演讲者上台介绍关于谷歌地图的应用场景、发展方向等内容。
下图是识别效果:
在总体翻译上,准确度已经达到了可用的程度。但依旧有部分内容出现翻译过于生硬、机翻的问题。不过对于用户理解视频已经足矣。
对于中文视频的字幕识别,我们采用了鸿蒙发布会的部分片段。并且由于视频有自带的字幕,大家可以通过动图来判断识别速度、延迟、准确度。
可见,在中文识别上几乎没任何问题,当然了,普通话越标准识别效果越好。
总得来说,在用户日常影视中,只要发音准确、语速不要过快的视频,AI 字幕体验还是可以的。
不仅 MIUI ,华为早在 EMUI 11 也推出了智慧语音的 AI 字幕功能。
并且可在通知栏快捷方式中开启,MIUI 目前仅能通过小爱同学唤醒。
在使用时,和 MIUI 的体验差不多。该有的功能都有具备。
但华为不光支持中英双语,居然还支持日语!这功能真不错!
咳咳,我相信大家只会在看动漫时用到吧?(眼神示意),果子我就不做测试了。
并且,在最近的智慧语音测试中,AI 字幕还将加入韩语的转写功能,相信未来华为智慧语音功能将更加的完善。
以上就是在外语音视频方面,各厂商的 AI 字幕功能体验。
就目前的体验上而言,最大的问题反而不是翻译准确度,而是字幕延迟所导致音画不同步的违和感,果子在测试中深有体会。
优化 AI 字幕使用体验依旧任重而道远。
不过好在,各大厂商也在积极优化产品体验。而在语音识别、分析处理等技术层面,也有如科大讯飞等企业的存在。
在未来,实时的多语种语音翻译,真正的 AI 字幕体验一定会更好。