让台胞惊叹的黑科技：讯飞方言翻译还有“不完美”
科大讯飞的同学最近估计很忙。
前几天，美国商务部刚刚把讯飞在内的28家中国科技企业和机构列入实体清单，又是忙回应又是忙三季报，这不，今天突然“热搜”从天上来——
台胞一档财经节目中把科大讯飞翻译机“黑科技”吹爆，还腆着脸说大陆没有统一普通话。
湾湾的小伙伴你们还打算从井里上来吗？
这副没见过世面的样子，很快上了微博热搜榜，还第一。
虽然说“热搜”每时每刻都会变化，但是一家科技公司，还不是特别明星的那种，冷不丁上个热搜，也挺意外的了。
言归正传。说起方言识别，讯飞说第二，估计没人敢称第一。在众多我所知道的做语音识别、转录、翻译的科技公司中，科大讯飞对方言的研究和投入，应该是最多的。
现在使用最新的讯飞翻译机3.0，可以与（讲）粤语、四川话、东北话、河南话（的人）直接进行即时交流。
官方的数字是，讯飞翻译机支持中文与58种语言互译，可翻译语言覆盖近200个国家和地区。
当然，本人不是来替讯飞卖翻译机的。其实研究方言除了方便沟通之外，还有一个更有意义的作用：语言保护。
今天蹭个热点，说说语言保护这个话题。
一、人类正面临弱势语言的消亡
语言是全人类的共同财富，每种语言背后都有精彩的文化。但是，我们正面临着弱势语言的消亡。
据语言学家预测，目前世界上大约有6000~10000种语言，但是除了越来越强势的主流或通用语言外，数千种语言将于本世纪末消失。
在中国，普通话的优势地位已经造成一些少数民族语言、方言等弱势语言的使用人数明显减少，如不及时对弱势语言采取措施，我们将失去对人类文化遗产完整记录的机会。
用科大讯飞多语种高级研究员祖漪清的话来说，濒危语言保护已经成为一项重要而迫切的工作。
从人工智能的角度出发，语言分为主流语言和非主流语言。中文普通话就是主流语言。非主流语言又分为三个类别。
第一类是文字、口语都被广泛使用的语言，例如维吾尔语、藏语等。在这类语言的使用区域，虽然文字被广泛使用，但是往往缺乏正字规范。
第二类是有文字但较少使用、口语仍被正常使用的语言，例如彝语、锡伯语等，这类语言群体内大多数成员仅限在家乡口语交流时使用，多数群体成员不能熟练使用文字或基本不识字。
第三类为濒危语言及没有文字的语言，包括只有少数老人还在使用、群体内几乎所有其他的成员都已放弃使用的语言以及没有文字的语言。
上述三类非主流语言，保护起来，难度不一。
对于第一类语言，实现语言复制是可行的；对于第二类语言，实现语言复制也是可能的；对于第三类语言，要进行完整记录比较困难，实现语言复制也有相当难度。
二、罗塞塔计划和中国语保工程
对于没有文字的语言，可以收集被研究语言的语音，并在有条件的情况下转写成主流语言的文字，使用这样的平行数据，利用人工智能领域的“端—端技术”实现被研究语言语音到主流语言文本之间的转换，这在逻辑上是可行的。
2017年，美国科学家提出语音罗塞塔计划，旨在通过“未知”语言（即濒危语言）的语音和“已知”语言（即主流语言）的文本的平行关系，记录没有文字的“未知”语言。
我国早在2005年，也启动了国家语言资源保护工程（即“语保工程”），有着深厚的方言研究基础。
学者们对方言保护的主要研究方法是田野调查，研究内容包括中国语言资源有声数据库、方言词典、方言地图等。
但被研究语言的采集、文本转写缺乏规范并存在许多具体困难。
归纳、确定被研究语言的基本音位是语言记录的基本工作之一，但目前这项工作很大程度依赖于调查者对语音的主观感知和“口耳”工作。
由于依赖人工，分析语料局限于孤立字、词，导致研究进度受限，很难将研究内容扩大到连续语音，从音位归纳上升到句法、语义层面的分析。
并且，很多中国方言，特别是南方方言中，孤立音节的声韵调在连续话语中表现多变，在复杂的连续话语中，去除语境、韵律结构、情感等诸多因素的干扰，归纳完整的语音变化单靠人力是力所不及的。
同时，随着社会发展的日新月异，每隔数年语言会发生明显变化。
语言记录和分析需要高效的解决方案。
中国汉语言分布图
三、讯飞研究院的工作
科大讯飞是一家以人工智能技术修身立业的公司，做方言识别与翻译，起初考量的是市场需求与产品竞争力，但现在，讯飞对于方言的投入已经远超于此。
据我所知，讯飞目前为止已经可以对包括多种少数民族语言在内的超过30种语言进行语音合成、识别、翻译，其中许多语音系统属“拓荒性成果”。
讯飞有个讯飞研究院，基于深度学习技术，采用全球文本、声学解决方案，讯飞研究院在许多语音合成系统上突破了语音合成mos4.0的门槛，目前正尝试在部分濒危语言和方言上进行语言复制。
什么是“语言复制”？说白了，就是通过智能语音技术对一种语言实现完整记录。
记录的内容包括：确定该语言的语音结构（例如音节语言的声母、韵母、声调等）、完整分析该语言的句法结构、连续语音的音变和连读变调分析、基本意义单位和主流语言的对应关系，以及这个语言的任意文本或语音和主流语言之间的互译关系。
讯飞尝试着利用人工智能技术，系统地实现对语言的完整复制。
基于主流语言语音系统，完成语音复制需要建立被研究语言的语音合成系统（文语转换系统）、语音识别系统以及和主流语音之间的翻译系统。讯飞认为，基于多年来的语言积累，随着智能语音一些核心技术的突破，不同语种之间互译将成为可能。
2017年讯飞输入法发起方言保护计划
四、一点“不完美”
祖漪清提出，利用人工智能技术进行语言记录是一个研究方法的问题，在具体工作中仍然需要采用正确的技术路线进行操作，即使使用了人工智能技术，语言数据的处理仍然脱离不了人力支持。
比如，在可能的情况下尽可能多地收集自然语音和文本的平行数据是十分有意义的。有了足够大的数据，即使目前处理不了，今后仍有机会可利用。
这也正是我认为讯飞方言识别乃至中国语言保护工程工作中“不完美”的一面——语言保护工程不应该只是少数人的事业，应该有更多热爱自己母语的人群参与。
利用人工智能技术实现“语言复制”迫在眉睫，本文就权当一呼吧。
单位颁奖礼品奖牌定做 企业活动奖章定制 金属奖牌定做报价
远销海外 超轻易携带 童睡袋夏季 睡袋婴幼儿 羽绒睡袋
TGT机械秤1.2x1.5的价格，化工厂老式机械的价格
厂家直销户外彩虹滑道项目 旱雪滑道 七彩旱雪毯
2018年伊朗现代家居和室内装饰展MIDEX
让台胞惊叹的黑科技：讯飞方言翻译还有“不完美”
中药袪斑日晚霜多久见效 有没有依赖性
六工位钎焊机
浙江尚摩工贸(在线咨询),高雅居,浙江高雅居防盗门
JS 防静电吸尘机
贵州哪里买银桂批发|银桂的价格
为什么投资界都非常看好与TA时光这个项目？
姑苏区自考本科比较好，及时答疑
真爱需要等待，但太长的等待，对爱情那都是一种摧残
无人自动售货店一个月收入多少钱？
石景山批发西服哪家专业，服装展柜厂家
聚乙烯板材|超高分子量聚乙烯板|超高分子量聚乙烯|煤仓衬板
江阴铝型材价格网品牌-产品的意义在于创新
化学镀镍磷合金厂家供应-专业镀金制造
呼市不锈钢厨具 酒店不锈钢厨房设备，钱山不锈钢施工经验丰富
前几天，美国商务部刚刚把讯飞在内的28家中国科技企业和机构列入实体清单，又是忙回应又是忙三季报，这不，今天突然“热搜”从天上来——
台胞一档财经节目中把科大讯飞翻译机“黑科技”吹爆，还腆着脸说大陆没有统一普通话。
湾湾的小伙伴你们还打算从井里上来吗？
这副没见过世面的样子，很快上了微博热搜榜，还第一。
虽然说“热搜”每时每刻都会变化，但是一家科技公司，还不是特别明星的那种，冷不丁上个热搜，也挺意外的了。
言归正传。说起方言识别，讯飞说第二，估计没人敢称第一。在众多我所知道的做语音识别、转录、翻译的科技公司中，科大讯飞对方言的研究和投入，应该是最多的。
现在使用最新的讯飞翻译机3.0，可以与（讲）粤语、四川话、东北话、河南话（的人）直接进行即时交流。
官方的数字是，讯飞翻译机支持中文与58种语言互译，可翻译语言覆盖近200个国家和地区。
当然，本人不是来替讯飞卖翻译机的。其实研究方言除了方便沟通之外，还有一个更有意义的作用：语言保护。
今天蹭个热点，说说语言保护这个话题。
一、人类正面临弱势语言的消亡
语言是全人类的共同财富，每种语言背后都有精彩的文化。但是，我们正面临着弱势语言的消亡。
据语言学家预测，目前世界上大约有6000~10000种语言，但是除了越来越强势的主流或通用语言外，数千种语言将于本世纪末消失。
在中国，普通话的优势地位已经造成一些少数民族语言、方言等弱势语言的使用人数明显减少，如不及时对弱势语言采取措施，我们将失去对人类文化遗产完整记录的机会。
用科大讯飞多语种高级研究员祖漪清的话来说，濒危语言保护已经成为一项重要而迫切的工作。
从人工智能的角度出发，语言分为主流语言和非主流语言。中文普通话就是主流语言。非主流语言又分为三个类别。
第一类是文字、口语都被广泛使用的语言，例如维吾尔语、藏语等。在这类语言的使用区域，虽然文字被广泛使用，但是往往缺乏正字规范。
第二类是有文字但较少使用、口语仍被正常使用的语言，例如彝语、锡伯语等，这类语言群体内大多数成员仅限在家乡口语交流时使用，多数群体成员不能熟练使用文字或基本不识字。
第三类为濒危语言及没有文字的语言，包括只有少数老人还在使用、群体内几乎所有其他的成员都已放弃使用的语言以及没有文字的语言。
上述三类非主流语言，保护起来，难度不一。
对于第一类语言，实现语言复制是可行的；对于第二类语言，实现语言复制也是可能的；对于第三类语言，要进行完整记录比较困难，实现语言复制也有相当难度。
二、罗塞塔计划和中国语保工程
对于没有文字的语言，可以收集被研究语言的语音，并在有条件的情况下转写成主流语言的文字，使用这样的平行数据，利用人工智能领域的“端—端技术”实现被研究语言语音到主流语言文本之间的转换，这在逻辑上是可行的。
2017年，美国科学家提出语音罗塞塔计划，旨在通过“未知”语言（即濒危语言）的语音和“已知”语言（即主流语言）的文本的平行关系，记录没有文字的“未知”语言。
我国早在2005年，也启动了国家语言资源保护工程（即“语保工程”），有着深厚的方言研究基础。
学者们对方言保护的主要研究方法是田野调查，研究内容包括中国语言资源有声数据库、方言词典、方言地图等。
但被研究语言的采集、文本转写缺乏规范并存在许多具体困难。
归纳、确定被研究语言的基本音位是语言记录的基本工作之一，但目前这项工作很大程度依赖于调查者对语音的主观感知和“口耳”工作。
由于依赖人工，分析语料局限于孤立字、词，导致研究进度受限，很难将研究内容扩大到连续语音，从音位归纳上升到句法、语义层面的分析。
并且，很多中国方言，特别是南方方言中，孤立音节的声韵调在连续话语中表现多变，在复杂的连续话语中，去除语境、韵律结构、情感等诸多因素的干扰，归纳完整的语音变化单靠人力是力所不及的。
同时，随着社会发展的日新月异，每隔数年语言会发生明显变化。
语言记录和分析需要高效的解决方案。
中国汉语言分布图
三、讯飞研究院的工作
科大讯飞是一家以人工智能技术修身立业的公司，做方言识别与翻译，起初考量的是市场需求与产品竞争力，但现在，讯飞对于方言的投入已经远超于此。
据我所知，讯飞目前为止已经可以对包括多种少数民族语言在内的超过30种语言进行语音合成、识别、翻译，其中许多语音系统属“拓荒性成果”。
讯飞有个讯飞研究院，基于深度学习技术，采用全球文本、声学解决方案，讯飞研究院在许多语音合成系统上突破了语音合成mos4.0的门槛，目前正尝试在部分濒危语言和方言上进行语言复制。
什么是“语言复制”？说白了，就是通过智能语音技术对一种语言实现完整记录。
记录的内容包括：确定该语言的语音结构（例如音节语言的声母、韵母、声调等）、完整分析该语言的句法结构、连续语音的音变和连读变调分析、基本意义单位和主流语言的对应关系，以及这个语言的任意文本或语音和主流语言之间的互译关系。
讯飞尝试着利用人工智能技术，系统地实现对语言的完整复制。
基于主流语言语音系统，完成语音复制需要建立被研究语言的语音合成系统（文语转换系统）、语音识别系统以及和主流语音之间的翻译系统。讯飞认为，基于多年来的语言积累，随着智能语音一些核心技术的突破，不同语种之间互译将成为可能。
2017年讯飞输入法发起方言保护计划
四、一点“不完美”
祖漪清提出，利用人工智能技术进行语言记录是一个研究方法的问题，在具体工作中仍然需要采用正确的技术路线进行操作，即使使用了人工智能技术，语言数据的处理仍然脱离不了人力支持。
比如，在可能的情况下尽可能多地收集自然语音和文本的平行数据是十分有意义的。有了足够大的数据，即使目前处理不了，今后仍有机会可利用。
这也正是我认为讯飞方言识别乃至中国语言保护工程工作中“不完美”的一面——语言保护工程不应该只是少数人的事业，应该有更多热爱自己母语的人群参与。
利用人工智能技术实现“语言复制”迫在眉睫，本文就权当一呼吧。
单位颁奖礼品奖牌定做 企业活动奖章定制 金属奖牌定做报价
远销海外 超轻易携带 童睡袋夏季 睡袋婴幼儿 羽绒睡袋
TGT机械秤1.2x1.5的价格，化工厂老式机械的价格
厂家直销户外彩虹滑道项目 旱雪滑道 七彩旱雪毯
2018年伊朗现代家居和室内装饰展MIDEX
让台胞惊叹的黑科技：讯飞方言翻译还有“不完美”
中药袪斑日晚霜多久见效 有没有依赖性
六工位钎焊机
浙江尚摩工贸(在线咨询),高雅居,浙江高雅居防盗门
JS 防静电吸尘机
贵州哪里买银桂批发|银桂的价格
为什么投资界都非常看好与TA时光这个项目？
姑苏区自考本科比较好，及时答疑
真爱需要等待，但太长的等待，对爱情那都是一种摧残
无人自动售货店一个月收入多少钱？
石景山批发西服哪家专业，服装展柜厂家
聚乙烯板材|超高分子量聚乙烯板|超高分子量聚乙烯|煤仓衬板
江阴铝型材价格网品牌-产品的意义在于创新
化学镀镍磷合金厂家供应-专业镀金制造
呼市不锈钢厨具 酒店不锈钢厨房设备，钱山不锈钢施工经验丰富