用Java实现语音引擎

2022-07-15 80酷酷网 80kuku.com

　　为应用程序加上语音能力有什么好处呢？粗略地讲，是为了趣味，它适合所有注重趣味的
应用，比如游戏。当然，从更严肃的角度来讲，它还涉及到应用的可用性问题。注意，这
里我考虑的不仅是可视化界面固有的不足，而且还有这样一些情形：一些时候，让双眼离
开当前的工作很不方便，甚至是不合法的。比如，假设有一个带语音功能的浏览器，你就
可以在外出散步或开车上班的同时，用听的方式浏览自己喜爱的网站。

　　从目前来看，邮件阅读器或许是语音技术更实际的应用，在JavaMail API的帮助下，
这一切已经可能。邮件阅读器可以定期地检查收件箱，然后用语音“You have new mail,
would you like me to read it to you?”引起你的注意。按照类似的思路，我们还可以
考虑一个带语音功能的提醒器，把它连接到一个日历应用：它会及时地提醒你“Don't
forget your meeting with the boss in 10 minutes!”。

　　也许你已经被这些主意吸引，或者有了自己更好的主意，现在让我们继续。首先我将
介绍如何启用本文提供的语音引擎，这样，如果你认为语音引擎的实现细节过于复杂，就
可以直接使用它而忽略其实现细节。
　　一、试用语音引擎

要使用这个语音引擎，你必须在CLASSPATH中加入本文提供的javatalk.jar文件，然后从
命令行运行（或者从Java程序调用）com.lotontech.speech.Talker类。如果从命令行运
行，则命令为：

java com.lotontech.speech.Talker "h|e|l|oo"

如果从Java程序调用，则代码为：

com.lotontech.speech.Talker talker=new com.lotontech.speech.Talker();

talker.sayPhoneWord("h|e|l|oo");

现在，对于在命令行上（或者调用sayPhoneWord()方法时）提供的“h|e|l|oo”字符串，你
或许有所不解。下面我就来解释一下。

语音引擎的工作原理是把细小的声音样本连接起来，每一个样本都是人的语言发音（英
语）的一个最小单位。这些声音样本称为音素（allophone）。每一个因素对应一个、二
个或者三个字母。从前面“hello”的语音表示可以看出，一些字母组合的发音显而易见，
还有一些却不是很明显：

h -- 读音显而易见

e -- 读音显而易见

l -- 读音显而易见，但注意两个“l”被简缩成了一个“l”。

OO -- 应该读作“hello”中的读音，不应读作“bot”、“too”中的读音。

下面是一个有效音素的清单：

a ：如cat
b ：如cab
c ：如cat
d ：如dot
e ：如bet
f ：如frog
g ：如frog
h ：如hog
i ：如pig
j ：如jig
k ：如keg
l ：如leg
m ：如met
n ：如begin
o ：如not
p ：如pot
r ：如rot
s ：如sat
t ：如sat
u ：如put
v ：如have
w ：如wet
y ：如yet
z ：如zoo
aa ：如fake
ay ：如hay
ee ：如bee
ii ：如high
oo ：如go
bb ： b的变化形式，重音不同
dd ： d的变化形式，重音不同
ggg ： g的变化形式，重音不同
hh ： h的变化形式，重音不同
ll ： l的变化形式，重音不同
nn ： n的变化形式，重音不同
rr ： r的变化形式，重音不同
tt ： t的变化形式，重音不同
yy ： y的变化形式，重音不同
ar ：如car
aer ：如care
ch ：如which
ck ：如check
ear ：如beer
er ：如later
err ：如later (长音)
ng ：如feeding
or ：如law
ou ：如zoo
ouu ：如zoo (长音)
ow ：如cow
oy ：如boy
sh ：如shut
th ：如thing
dth ：如this
uh ： u 的变化形式
wh ：如where
zh ：如Asian

人说话的时候，语音在整个句子之内起落变化。语调变化使得语音更自然、更富有感染
力，使得问句和陈述句能够相互区别。请考虑下面两个句子：

It is fake -- f|aa|k

Is it fake? -- f|AA|k

也许你已经猜想到，提高语调的方法是使用大写字母。

以上就是使用该软件时你需要了解的东西。如果你对其后台实现细节感兴趣，请继续阅读。
　　二、实现语音引擎

语音引擎的实现只包括一个类，四个方法。它利用了J2SE 1.3包含的Java Sound API。在
这里，我不准备全面地介绍这个API，但你可以通过实例学习它的用法。Java Sound API
并不是一个特别复杂的API，代码中的注释将告诉你必须了解的知识。

下面是Talker类的基本定义：

package com.lotontech.speech;

import javax.sound.sampled.*;

import java.io.*;

import java.util.*;

import java.net.*;

public class Talker

{

private SourceDataLine line=null;

}

如果从命令行执行Talker，下面的main()方法将作为入口点运行。main()方法获取第一个
命令行参数，然后把它传递给sayPhoneWord()方法：

/*

* 读出在命令行中指定的表示读音的字符串

*/

public static void main(String args[])

{

Talker player=new Talker();

if (args.length>0) player.sayPhoneWord(args[0]);

System.exit(0);

}
sayPhoneWord()方法既可以通过上面的main()方法调用，也可以在Java程序中直接调用。
从表面上看， sayPhoneWord()方法比较复杂，其实并非如此。实际上，它简单地遍历所
有单词的语音元素（在输入字符串中语音元素以“|”分隔），通过一个声音输出通道一个
元素一个元素地播放出来。为了让声音更自然一些，我把每一个声音样本的结尾和下一个
声音样本的开头合并了起来：

/*

* 读出指定的语音字符串

*/

public void sayPhoneWord(String word)

{

// 为上一个声音构造的模拟byte数组

byte[] previousSound=null;

// 把输入字符串分割成单独的音素

StringTokenizer st=new StringTokenizer(word,"|",false);

while (st.hasMoreTokens())

{

// 为音素构造相应的文件名字

String thisPhoneFile=st.nextToken();

thisPhoneFile="/allophones/"+thisPhoneFile+".au";

// 从声音文件读取数据

byte[] thisSound=getSound(thisPhoneFile);

if (previousSound!=null)

{

// 如果可能的话，把前一个音素和当前音素合并

int mergeCount=0;

if (previousSound.length>=500 && thisSound.length>=500)

mergeCount=500;

for (int i=0; i

{

previousSound[previousSound.length-mergeCount+i]

=(byte)((previousSound[previousSound.length

-mergeCount+i]+thisSound[i])/2);

}

// 播放前一个音素

playSound(previousSound);

// 把经过截短的当前音素作为前一个音素

byte[] newSound=new byte[thisSound.length-mergeCount];

for (int ii=0; ii

newSound[ii]=thisSound[ii+mergeCount];

previousSound=newSound;

}

else

previousSound=thisSound;

}

// 播放最后一个音素，清理声音通道

playSound(previousSound);

drain();

}

在sayPhoneWord()的后面，你可以看到它调用playSound()输出单个声音样本（即一个音
素），然后调用drain()清理声音通道。下面是playSound()的代码：

/*

* 该方法播放一个声音样本

*/

private void playSound(byte[] data)

{

if (data.length>0) line.write(data, 0, data.length);

}

下面是drain()的代码：

/*

* 该方法清理声音通道

*/

private void drain()

{

if (line!=null) line.drain();

try {Thread.sleep(100);} catch (Exception e) {}

}
现在回过头来看sayPhoneWord()，这里还有一个方法我们没有分析，即getSound()方法。

getSound()方法从一个au文件以字节数据的形式读入预先录制的声音样本。要了解读取数
据、转换音频格式、初始化声音输出行（SouceDataLine）以及构造字节数据的详细过
程，请参考下面代码中的注释：

/*

* 该方法从文件读取一个音素，

* 并把它转换成byte数组

*/

private byte[] getSound(String fileName)

{

try

{

URL url=Talker.class.getResource(fileName);

AudioInputStream stream = AudioSystem.getAudioInputStream(url);

AudioFormat format = stream.getFormat();

// 把一个ALAW/ULAW声音转换成PCM以便回放

if ((format.getEncoding() == AudioFormat.Encoding.ULAW) ||

(format.getEncoding() == AudioFormat.Encoding.ALAW))

{

AudioFormat tmpFormat = new AudioFormat(

AudioFormat.Encoding.PCM_SIGNED,

format.getSampleRate(), format.getSampleSizeInBits() * 2,

format.getChannels(), format.getFrameSize() * 2,

format.getFrameRate(), true);

stream = AudioSystem.getAudioInputStream(tmpFormat, stream);

format = tmpFormat;

}

DataLine.Info info = new DataLine.Info(

Clip.class, format,

((int) stream.getFrameLength() * format.getFrameSize()));

if (line==null)

{

// 输出线还没有实例化

// 是否能够找到合适的输出线类型？

DataLine.Info outInfo = new DataLine.Info(SourceDataLine.class,

format);

if (!AudioSystem.isLineSupported(outInfo))

{

System.out.println("不支持匹配" + outInfo + "的输出线");

throw new Exception("不支持匹配" + outInfo + "的输出线");

}

// 打开输出线

line = (SourceDataLine) AudioSystem.getLine(outInfo);

line.open(format, 50000);

line.start();

}

int frameSizeInBytes = format.getFrameSize();

int bufferLengthInFrames = line.getBufferSize() / 8;

int bufferLengthInBytes = bufferLengthInFrames * frameSizeInBytes;

byte[] data=new byte[bufferLengthInBytes];

// 读取字节数据，并计数

int numBytesRead = 0;

if ((numBytesRead = stream.read(data)) != -1)

{

int numBytesRmaining = numBytesRead;

}

// 把字节数据切割成合适的大小

byte[] newData=new byte[numBytesRead];

for (int i=0; i

newData[i]=data[i];

return newData;

}

catch (Exception e)

{

return new byte[0];

}

}

这就是全部的代码，包括注释在内，一个大约150行代码的语音合成器。
　　三、文本-语音转换

以语音元素的格式指定待朗读的单词似乎过于复杂，如果要构造一个能够朗读文本（比如
Web页面或Email）的应用，我们希望能够直接指定原始的文本。

深入分析这个问题之后，我在本文后面的ZIP文件中提供了一个试验性的文本-语音转换
类。运行这个类，它将显示出分析结果。文本-语音转换类可以从命令行执行，如下所示：

java com.lotontech.speech.Converter "hello there"

输出结果类如：

hello -> h|e|l|oo

there -> dth|aer

如果运行下面这个命令：

java com.lotontech.speech.Converter "I like to read JavaWorld"

则输出结果为：

i -> ii

like -> l|ii|k

to -> t|ouu

read -> r|ee|a|d

java -> j|a|v|a

world -> w|err|l|d

这个转换类是如何工作的呢？实际上，我的方法相当简单，转换过程就是以一定的次序应
用一组文本替换规则。例如对于单词“ant”、“want”、“wanted”、“unwanted”和
“unique”，则我们想要应用的替换规则可能依次为：

用“|y|ou|n|ee|k|”替换“*unique*”

用“|w|o|n|t|”替换“*want*”

用“|a|”替换“*a*”

用“|e|”替换“*e*”

用“|d|”替换“*d*”

用“|n|”替换“*n*”

用“|u|”替换“*u*”

用“|t|”替换“*t*”

对于“unwanted”，输出序列为：

unwanted

un[|w|o|n|t|]ed (规则2)

[|u|][|n|][|w|o|n|t|][|e|][|d|] (规则4、5、6、7)

u|n|w|o|n|t|e|d (删除多余的符之后)

你将看到包含字母“wont”的单词和包含字母“ant”的单词以不同的方式发音，还将看到在
特例规则的作用下，“unique”作为一个完整单词优先于其他规则，从而“unique”这个单词
读作“y|ou...”而不是“u|n...”。

　　结束语：本文提供了一个可以随时运行的、方便的语音引擎，你可以在自己的Java
1.3应用中使用它。如果仔细分析一下代码，它还为你提供了一个用JavaSound API播放音
频片断的实用教程。要让它变得真正有用，你应该考虑一下文本-语音转换技术，因为对
于我前面提到的文本阅读应用来说，这是真正的支撑基础。要改善本文方案的效果，你必
须构造出一个庞大的替换规则库，精心调整应用规则的优先次序。希望你比我更有毅力！