Машины, которые говорят и слушают

сравнивается с множеством эталонов, которые подучены от специально

обученных дикторов. Использование сегментации I уровня позволяет, как

отмечается в [l79], ускорить общую сегментацию в пять раз по сравнению

с унифицированной, основанной .исключительно на коэффициентах линейного

предсказания.

Как уже отмечалось, ключевой проблемой систем понимания Речи является

верификация сдоврсиьк гипотез.подожданных различ-иыми источниками знаний.

Блок словесной верификации должен оце-нвдь, насколько акустические данные

входной реализации соответствуют фонетической транскрипции

гипотезируеного слова.

2S

В соответствии с оценкой, словесный верификатор отбрасывает

большее числе гипотезированных слов, сохраняя возможные пра~ вильные, чтобы

впоследствии отобрать единственное с помощью инфор~ мации высших уровней.

В Hearsay -П слова порождаются либо словесным гипотезато-ром снизу

вверх (блоком POMOW), либо преде называются сверху вниз семантико-

синтаксическим блоком sass . Блок словесной верификации wizard

обрабатывает гипотезы о словах снизу вверх, используя акустическую

информацию и результаты автоматической сегментации. Каждый сегмент

высказывания представлен вектором фонемных вероятностей (т.е. с каждым

отрезком высказывания связываются определенные звуки, которым

присваиваются некие веса), Каждое слово словаря записывается эталонным

графом возможных фонетических произнесений, учитывающим все

альтернативные варианты произнесений. Однородная модель, используемая

блоком словесной верификации, дает возможность найти оптимальное совпадение

одного из эталонов (соответствующее пути на одном из эталонных графов) и

участка входной реализации, соответствующего слову.

В системе Hearsay-П при словесной верификации стыки между словами не

рассматриваются, делается лишь их внутренняя обработка. wizard пытается

верифицировать слова, как будто они находятся в изоляции.

При верификации слова обрабатываются снизу вверх следующим образом:

предсказанные моменты начала и конца слова связываются с

соответствующими сегментами высказывания bseg и eseg. Исследуются все пути

в эталонных графах возможных слов, которые совпадают с отрезками и

входной реализацией. Сравниваются с эталонами отрезки, которые начинаются

в (baeg-I: beeg +I ) и заканчиваются в jeseg -I I eeeg +I(, т.е.

параллельно рассматриваются девять возможных участков высказывания,

что приводит к девяти оптимальным путям на эталонных графах, из

которых выбирается тот. оценки которого наибольшие, или наиболее

соответствуют рассматриваемому участку. Сдвиг на один сегмент вправо

или влево позволяет избегать ошибок при представлении входного,

высказывания (акустических данных) различными источниками знаний. В

результате блок словесной верификации может изменять время словесных

гипотез, а также их оценки. Следует отметить, что если в проектах ВШ

(Speechlis и HWIM) идет непосредственный переход от фонетического

описания к словесному, то в Hearsay-П используется еще промежуточный,

слоговый уровень между словами и звуковыми сегментами. Для поддержки

словесных гипотез используются так называемые типовые слоги, слоготипы

(syltypes).

Ццея слоготипов сводится к тому, что слоги, имеющие похожие сегменты

(например "та", " па"), относятся к одному типу. Никаких попыток различать

слова с одинаковыми слогами в Нвагвау-П не делается. Каждый слоготип

характеризуется слоговым ядром, определяемым эвристически присвоенными

сегментными метками и положением максимума энергии на отрезке. Для каждого

слоготипа гипотези-руются слова, в которых встречается данный слог;

многосложные слова отбрасываются, если плохо согласовываются о

последовательностью слоготипов. Подробное описание слогового гипотезатора

pokow содержится в С 1783.

В Неагаау-П содержится еще один гипотезатор - гипотеза-тор словесных

последовательностей wozeq. В сравнении со стратегией однословных "островков

надежности" многословная последовательность желательна по двум причинам:

1) доверие к гипотезе о последовательности сдов более высоко, чем в

однословной гипотезе;

TOPIG S, 6 : CACTIOH : PASS,

LEVEL : 40)

и определяет класс возможных предметов разговора (.Topice) в терминах их

семантических подклассов.

Как уже упоминалось, sass имеет набор сильных и слабых средств,

представляющих различные виды обработки информации на синтаксическом и

семантическом уровнях.

1.Правило распознавания порождает гипотезу о фразе по достаточно

надежным гипотезам о составляющих фразы. sass рассматривает слова

распознанными, если их оценки (в очках), определенные другими источниками

знанчй, превышают некий порог. Составляющие фразы должны также

удовлетворять некоторым структурным требованиям - например, таким, как

временная смежность между составляющими. Правила распознавания ведут

обработку снизу вверх, двигаясь от частичного грамматического разбора к

полному. Они представляют собой сильные средства обработки (сила

оценивается вероятностью того, что последовательность распознанных

составгчющих может как-то осмысленно интерпретироваться) .

2. Правила предсказания гипотезируют сио-во или фразу в зависимости от

вероятности контекста, определенного на предыдущих этапах распознавания

высказывания. Правила предсказания выполняют обработку, перекрывая

временной ин-Тврвая "островками надежности". Эти правила необходимы

потому, что не все слова в произнесенном высказывании могут быть рас-

чознаны снизу вверх, т.е. источниками знаний нижних уровней. ^ияа правила

предсказания определяется условной вероятностью того, что предсказанные

составляющие могут быть в высказывании при

Денном (распознанном ранее) контексте, ата сила обратно пропор-'тонаяьна

числу составляющих,которые могут появиться в этом контексте.

Зак.480

3. Правила повторного разбора ( res-pelling rules ) производят

обработка7 сверху вниз и численно оценивают составляющие предскапанной

фразы, разбивая гипотезируемое предложение на гипотезы для последовательных

составляющих или же "расщепляя" гипотезируемый класс на альтернативные

гипотезы для различных составляющих высказывания. Правила повторного

разбора (прочтения) проводят обработку, возвращаясь к словесному уров. ню,

так что предсказание (о фразе) верхнего уровня может быть подвергнуто

испытанию (слово за словом) источниками знаний нижнего уровня, если на

верхнем уровне что-то не сходится.

4. Правила постдикции несЭходимы для того, чтобы уже после сформирования

понятия подтвердить его большим числом "очков доверия", дать ему более

высокую оценку, подтвердив существующую гипотезу о фразе другими

гипотезами. Правила постдикции как более сильные включают правила

предсказания и повторного прочтения, которуе слишком слабы, чтобы

подтвердить создание гипотезы, но могут внести полезный вклад, когда

гипотеза уже существует. Правила постдикц^и выполняют три функции:

а) позволяют объединять выводы, поддерживающие оцениваемую гипотезу на

основе различных источников знаний;

б) дают воамсвность гилотеэирсвать слова и фразы с низкими

первоначальными оценками за счет их распознавания на основе контекста»

в) способствуют фокусированию внимания на главных направлениях,

определяемых возрастанием очков гипотез тех слов, которые контекстуально

возможны (и таким ооразом могут считаться правильными), так что

обработка высказывания в этих направлениях происходит по списку

приоритетов в первую очередь.

Автоматическое превращение описательной информации о грамматике языка

-Hearsay- П , заданной параметрическими структурными представлениями (

psr), в процедурную форму осуществляет ком-пиллятор суытет , который

транслирует эти представления в правила распознавания, предсказания,

повторного прочтения и постдикции. cvshet разбивает последовательности

слов, составляющих высказывания и представленных PSR, на пары

последовательных эталонов, формируя новые подпоследовательности и порождая

для них соответствующие правила [ 13Й 3 .

Одна из самых интересных систем автоматического распознавания слитной

речи - система harfy, разработанная по проекту arpa (США, Питсбург). Эта

система по сравнению с другими разработками, проводившимися по этому

проекту [l5lj,наиболее близка к практическому использованию. Словарь

harpy составляет ЮН словоформ - слов телефонной информацион-

34

но-справочной службы о новостях. При испытаниях harpy была получена

точность распознавания фраз, равная 95% на обучающей выборке и 92^ на

контрольной. Система воспринимает слитную речь, не содержащую

стилистических ошибок. В harpy информация о языке представлена фонетическим

графом - интегральной сетью переходов с конечным числом состояний, не

учитывающей априорные вероятности переходов. Распознавание

осуществляется сравнением входной реализации, представленной маркированными

сегментами, с этой сетью.

Система содержит несколько эвристических процедур для улучшения ее

характеристик: выделение подсетей и сжатие их для уменьшения общего

объема сети, автоматическое составление описания коартикуляционных явлений

на стыках слов и т.д. Время распознавания системы в период испытания

составляло 2D с на 1 с речи (есть сведения, что в настоящее время оно

снижено до Зс на I с речи).

Синтаксические значения в hahpy однозначно определяются независимым от

контекста рядом выработанных правил, формализующих проолемно-

ориентированный язык. Лексические знания представлены словарем, который

содержит символическую фонемную транскрипцию всех альтернативных

произнесений. Правила стыков, как и в системах IBM, учитывают

фонетические явления при соединении слов в слитно произносимое

словосочетание. В качестве первичных параметров используются коэффициенты

автокорреляции и линейного предсказания. У системе Нлару в процессе работы

осуществляется адаптивная подстройка под диктора с помощью десяти

обобщенных эталонов, характеризующих усредненный вокальный тракт группы

дикторов. На базе harp? был разработан голосовой ввод в картографическую

систему ( vigs), позволяющий дублировать клавиатуру при вводе

картографической информации [l3l].B настоящее время система harpy

переводится на мультимикропроцессорную базу [36].

перейдем к краткому описанию систем "понимания" речи. Их разработка

началась после появления отчета [161] , в котором известные американские

специалисты в области искусственного интеллекта, распознавания речи,

системного программирования, математической лингвистики изложили взгляды на

проблему построения систем, воспринимающих слитную речь, произносимую на

естественном языке. Основные положения отчета [161] легли в основу

пятилетней программы arpa.

Достаточно подробные обзоры по начальному этапу работ над системами

понимания речи содержатся в [79,85] . Поэтому здесь рассмотрим лишь итоги

проекта arpa в области построения

35

конкретных СПР. Можно считать законченными (в большей или меньшей степени)

системы понимания речи трех американских организаций -ОЫП, 3RI и ввн [179,

162, 187, 189].

Основные усилия c:,?J были направлены на построение системы понимания

речи Неагаау-1 "^основанной на принципе: "Выдвижение гипотезы и ее

подтверждение различными независимыми источниками знаний о языке".

Отдельные элементы этой системы подробно освещены в [79, 85, 8b, I2U,

179].

Система Псагвву-п была испытана на IOU предложениях, составленных из

IUH словоформ, аналогичных словарю системы harpy, описанной ранее (система

HARPY имела грамматику с гораздо более простым синтаксисом). Ошибки при

распознавании фраз в Неагаау-п составляди 16%, а время распознавания

превышало время распознавания системы harfx в 2 - 33 раз.

В фирме вен на I этапе разрабатывалась система понимания речи

Speeohlis, в качестве языка которой использовался упрощенный вариант

языка ИПС lunar; система Ь^-паг давала возможность анализировать образцы

лунных пород[?9,Уб1В дальнейшем была усовершенствована этой же фирмой новая

система понимания речи нули (Hear what I mean ) С учетом недостатков

Speechlia.

.Язык системь. hwim относится ^ области бухгалтерских расчетов. Вместо

раздельных синтаксического и семантического блоков системы Speechlis ,

нздш имеет единый, семантико-синтакси-ческий модуль, реализующий так

называемый блок "прагматической грамматики". Эта грамматика представлена

здесь в виде сети и основывается не на таких синтаксических категориях,

как подлежащее, сказуемое, определение,а на семантических - "поездка","ли

ад", "расстояние". Словарь itvim включает 1100 словоформ [185, I8yJ

Прагматическая грамматика, хотя и жестко связана с проблемно-

ориентированным языком, очень удобна длк обеспеченля простых принципов

использования синтаксических, семантических и прагматических ограничений

языка, которые необходимо делать для повышения точности интерпретации

высказывания. По-видимому,на перво» этапе построения автоматических систем

понимания речи целесообразно так и поступать, т.е. разделить задачи

использования словарями (например, при автоматическом машинном переводе

текстов) и использованием синтаксиса и семантики для построения СПР. dc

ьтором случае задача несколько иная - и более сложная, и боле( простая.

С одной стороны, нет уверенности в правильном распоэ навании всех

составляющих высказывания; неясно, существуют я'

36

вообще пробелы (паузы, междометия и т.д.) на временной оси,где искать

ключевые слова и пр. Но с другой стороны, мы ограничиваемся достаточно

простым проблемно-ориентированным языком с относительно небольшим словарем

и упрощенными грамматическими конструкциями.

В системе нто,1 акустическая информация используется блоками акустико-

фонетического распознавания ( apr) и периметри-чеокой верификации слов (

?та ). Результатом работы APR является фонетическая транскрипция "снизу-

вверх".

Блок pvw осуществляет верификацию "сверху-вниз", води словесная гипотеза

поддерживается акустическим уровнем. Основной программный модуль

верификатора - программа синтеза слов по правилам.

Отдичие системы h.'.'im от Speechlia заключается также и в характере

акустико-фонетического распознавания - в наличии у системы HWIM блока

селективной модификации ( зМ), дающего возможность реализовать

двухступенчатую сегментацию и маркировку. Программа SM на выходе

порождает решетку сегментов, представляющую возможные альтернативы фонам.

Каждый из сегментов первоначально маркируется одной меткой. Затем в

зависимости от этой предварительной классификации вычисляются некоторые

величины аку-отичаских параметров и модифицируются оценки данных фонем.

Функции пяотности вероятностей, используемые блоком сеяективной

модификации sM, поступают в бяок агер ( Acoustic Rionetic Experiments

Facility ), который содержит модули, позволяющие моделировать звуки речи

и проверять параметрические многомерные распределения вероятностей для

ряда фонетических классов, что дает возможность полнее использовать многие

независимые параметры одновременно.

Программа ан? выделяет не только грубые классы фонем, но и

производит идентификацию внутри классов. Характеристики фонам в слитной

речи сильно зависят от контекста, т.е. наблюдается наличие нескольких

аллофонов, для которых оценки сильно перекрываются. Поэтому в hv/im для

каждого класса фонем устанавливается ряд фонетических признаков и

используется таблица, в которой показано ранжирование этих признаков для

аллофонов каждого класса.

После сегментации высказывания и построения сегментной решетки,

перекрывающей высказывайте отрезками, соответствующими фонемам, блок

управления вызывает процедуру лексического поиска для сканирования вдоль

всей сегментной решетки и поиска Ib наиболее подходящих слов. Из-за

большой неопределенности на стыках

37

слов эту процедуру проделывают слева направо и справа налево. Сяова,

отобранные процедурой лексического поиска, образуют словесную решетку,

где они используются при последующей обработке. Блок управления, выбрав

из УО отобранных при сканировании слов одно с наибольшим весом

(получившее наибольшую оценку).пытается, основываясь на прагматической

грамматике, строить гипотезу о большем отрезке сигнала. Если расширение

гипотезы не получается, блок управления берет следующее (по вес^) слово

словесной решетки; если это слово подходит, то расширяют двухсловную

гипотезу, если же нет, то подбирают новое ключевое слово.так продолжают

до тех пор, пока не будет построена гипотеза обо всем высказывании.

Если система не в состоянии сформировать правильную гипотезу о

фразе или если исчерпаны ресурсы, то считается,что система не смогла

интерпретировать высказывание. При расширении гипотезы блок управления

вызывает синтаксическую компоненту, которая дает возможность оценить

Страницы: 1, 2, 3, 4