Синтаксичний аналіз у системах автоматичного перекладу: концепції та алгоритми

Тип работы:
Реферат
Предмет:
Разное


Узнать стоимость

Детальная информация о работе

Выдержка из работы

Синтаксичний аналіз у системах автоматичного перекладу: концепції та алгоритми


Компонент синтаксичного аналізу в системі ФРАП
В системі французько-російського автоматичного перекладу (ФРАП) процес аналізу організований у вигляді послідовності працюючих компонент, незалежних одна від одної в тому смислі, що кожна з них здатна приймати на вхід і перетворювати лінгвістичну інформацію певного виду. Синтаксичний аналіз (СінАн) організований і описаний у вигляді процесу перетворень з заданою послідовністю дій.
Потужність системи АП
При порівнянні систем АП між собою важливим чинником виступає потужність системи АП, тобто її здатність використовувати при аналізі, перекладі і синтезі лінгвістичну інформацію певних типів, причому мається на увазі саме систематичне використання інформації в спеціальних структурах. Так, в системах автоматичного перекладу першого покоління систематично використовувався лише один тип інформації - морфологічна інформація. Системи третього покоління, про які й буде тут йти мова, виробляють щонайменше три вида інформації про текст — морфологічну, синтаксичну і семантичну інформацію.
Рівнева і «компонентна» стратегія побудови системи АП
При розробці системи АП третього покоління можливі дві стратегії, які пов’язані з двума поглядами на взаємодію різних видів інформації в тексті.
Перша стратегія — рівнева — передбачає ієрархічну організацію взаємодії різних видів інформації. При такому підході для кожного рівня будується представлення текста, в якому вся інформація, шо представлена в тексті, інтерпретується засобами специфічної для даного рівня мови. Процес аналізу будується як «переклад» представлення одного рівня в представлення наступного рівня. Для кожного рівня формується поняття правильної структури. Аналіз на кожному рівні складається з побудови всіх можливих для даного представлення структур за допомогою набору синтагм і в пошуці серед них правильних. Пошук правильних структур здійснюється за допомогою фільтрів, які можуть бути включені до складу синтагм або описані окремо у вигляді статичних правил. Такий підхід аналізу називається фільтровим. При рівневому підході кількість рівней не обмежується властивостями мовних одиниць. Вузлами структури спочатку виступають словоформи, потім значення слів. В ідеалі представлення на найглибшому рівні буде виступати експлікацією смислу в термінах елементарних смислових одиниць.
Інша стратегія — неієрархічна — виходить з того, що в тексті можна виділяти різні види інформації (синтаксичну, семантичну, комунікативну), і кожна з цих типів інформації має самостійну значимість, тобто не може бути перекладена в інший вид для даної глибини інтерпретації тексту. При цьому глибина інтерпретації визначається мінімальною одиницею аналізу. Мінімальною глибиною аналізу вважається та, при якій одиницею аналізу виступає повнозначне слово. Така степінь глибини має назву першого етапу інтерпретації тексту. На цьому етапі в кожному представленні тексту експліцірується лише один вид інформації: наприклад, в синтаксичному представленні - інформація про те, яким членом речення є слово і яке слово є головним по відношенню до нього, в семантичному представленні - інформація про значення слів і семантичних відношеннях між ними. При такому підході експлікацією інформації кожного виду, тобто побудовою відповідного представлення в системі аналізу, займається спеціальний компонент. Він може використовувати результати роботи інших компонентів, які сформульовані в зрозумілому для нього вигляді. При такому підході кількість основних компонентів системи співпадає з кількістю різних видів інформації.
Принципи і засоби СінАн
Теоретичною основою СінАн, що реалізований в системі ФРАП, є граматика членів речення. До засобів аналізу крім граматики відноситься також словник. В системі ФРАП на етапі аналізу використовуються 4 словника: словник основ, словник оборотів, семантичний словник та словник конструкцій. Словники оборотів і конструкцій використовуються у відповідних компонентах для аналізу словосполучень. Семантичний словник містить повний набір інформації різних видів про значення лексичної одиниці, а також засоби синтаксичної реалізації її валентностей. СінАн працює після компоненти СемАн (Семантичний аналіз).
Синтаксичне представлення (СінП)
СінП будується для фрази, оскільки саме вона є об'єктом СінАн. СінП складається з вузлів і відношень, що задані на множині вузлів.
Вузлами виступають лексичні одиниці, що мають при собі морфолого-синтаксичну інформацію, в тому числі сполучення службових слів з повнозначними та фразеологічні словосполучення, що об'єднані в один вузел на досинтаксичному етапі аналізу і в процесі СінАн, а також знаки пунктуації. Крім того введені штучні вузли.
На множині вузлів задано відношення лінійного порядку і відношення «несумісності». В процесі СінАн між вузлами встановлюються зв’язки залежності з функціональною міткою та додаткові зв’язки ref та dist, а також відношення тотожності. Функціональні зв’язки утворюють синтаксичну структуру простих речень; зв’язки ref з'єднують штучний вузол, що символізує речення або фразу, з вершиною цього речення або з головним реченням фрази; зв’язок dist поєднує дві частини складного слова або парні знаки пунктуації. Відношення тотожності використовуються, наприклад, при аналізі твору.
Способи відображення неоднозначності результатів аналізу в СінП
В компоненті СінАн ситеми ФРАП для фрази будується одне представлення, яке і містить в собі всі види синтаксичної неоднозначності результатів аналізу. Нерозв’язана на ранніх етапах неоднозначність зберігається в представленні до тих пір, поки результати роботи наступного етапу аналізу не дозволять її виявити.
В СінП зберігаються такі неоднозначності:
-Неоднозначність функціональних зв’язків — наявність зв’язків, що порушують синтаксичну структуру.
-Неоднозначність результатів морфологічного аналізу словоформи — морфологічна омонімія. В цьому випадку використовується складний номер вузлу: перше число позначає порядковий номер вузла у фразі, інше — номер омоніма.
-Неоднозначність поділу на вузли. Для представлення цієї неоднозначності використовується відношення несумісності.
Компонент СінАн системи ФРАП
Задача компонента СінАн
Задачею компонента СінАн є побудова для фрази СінП в термінах граматики членів речення. Для цього необхідно: 1) сформувати множину вузлів — членів речення; 2) виявити синтаксичну функцію кожного з цих вузлів.
1) задача. Про деякі слова фрази заздалегідь відомо, що вони не є членами речення. Для французької мови це: допоміжні слова — частини аналітичних форм часу, залогу, ступенів порівняння, заперечувальні частки, компоненти фразеологічних словосполучень, які не можна розкласти, артикль, сполучники, прийменники. Крім того, заздалегідь відомо, що членами речення є прості речення в складі складного. Таким чином перша задача розбивається на дві підзадачі: 1) елімінування із множини вузлів тіх слів фрази, які не є членами речення; 2) виділення простих речень в складному з формуванням штучних вузлів, що заміщають підрядні речення в головному.
2) задача. Передбачає побудову синтаксичної структури.
Компонент СінАн системи ФРАП організований у вигляді процесу, в якому ці дві задачі виконуються одночасово.
Організація компонента СінАн
Компонент СінАн організований у вигляді блоків, які предназначені для розв’язання двух вище зазначених задач. Перша задача виконується в процесі роботи перших двух блоків СінАн: блок аналізу іменникових вузлів і блок аналізу складних речень. Друга задача починає виконуватися одночасово з першою для відповідних типів вузлів. Крім того, розв’язанням цієї задачі повністю зайнятий третій блок — блок аналізу простих речень. СінП можна вважати повністю закінченим лише після перевірки його узгодженості з сементичним словником і уточнення тих частин синтаксичної структури, для яких необхідні відомості, що витікають з результатів СемАн. Останній, четвертий блок СінАн працює з вузлами, синтаксична функція яких вже встановлена.
Інструменти аналізу, що використовуються в компоненті СінАн
Вхідною для компоненти СінАн є послідовність вузлів з морфолого-синтаксичною інформацією, що отримана на попередніх етапах. В процесі СінАн для обробки цієї інформації використовуються такі інструменти аналізу: аналізатор, алгоритми, списки правил, позиційна таблиця.
В системі ФРАП аналізатор використовується тричі. З його допомогою на лінійно упорядкованій множині вузлів встановлюються всі можливі зв’язки залежності, що указані в аналізаторі.
Для аналізу в термінах членів речення повністю фільтрована організація СінАн неможлива, оскільки вхідна для СінАн множина вузлів (результат морфологічного аналізу) не є множиною членів речення. Потрібен процес формування вузлів структури членів речення. Таким чином, перші два блоки за необхідністю описані як процес, тобто алгоритмічно. Опис у вигляді алгоритму третього блоку заснований на гіпотезі про значимість порядку обробки вузлів для автоматичної побудови структури в термінах членів речення. Алгоритми працюють з вже сформованою аналізатором множиною всіх можливих гіпотез про зв’язки вузлів, тобто метод фільтрів застосовується, но процесом їх застосування керують спеціальні алгоритми. Повністю фільтровим СінАн стає тільки в процесі взаємодії СінП з СемП.
Списки правил містять правила дозволу омонімії для різних етапів аналізу, типи узгоджуваності, деякі фільтри.
Позиційна таблиця починає формуватися в другому блоці аналізу. В ній міститься інформація про порядок слідування головних вершин та про позиційну характеристику в простому реченні тих його вузлів, для яких СінАн ще не завершений. Вона використовується для визначення правильності набору головних вершин для фрази в кінці роботи другого блоку і в складній фразі для визначення порядку обробки простих речень в процесі роботи третього блоку. Позиційна характеристика вузлів використовується в четвертому блоці.
Блоки аналізу компонента СінАн
Блок аналізу іменникових вузлів
В цьому блоці розв’язуються 4 задачі: 1) встіновлюються функціональні зв’язки app (a, b), де, а — прикладка b, та attr (a, b), де, а — узгоджене означення b; 2) аналізуються деякі види твору; 3) структурно відновлюються елідіровані вершини іменникових груп; 4) елімінуються з представлення прийменники, артиклі і проаналізовані сурядні сполучники.
В першій частині блоку синтаксичний аналізатор встановлює зв’язки app та attr. Встановлюються також допоміжні зв’язки prep (a, b), де, а — ім'я або інфінітив, b — прийменник та det (a, b), де, а — артикль, b — ім'я.
В дугій частині блоку аналіза іменникових вузлів з представлення фрази елімінуються прийменники, артиклі та проаналізовані сурядні сполучники, які поміщаються в інформацію к пов’язаним до них повнозначним словам; відповідно елімінуються і допоміжні зв’язки.
Блок аналізу складних речень
Перед початком роботи цього блоку в представленні аналізатором встановлюється зв’язок dist та всі можливі функціональні зв’язки, крім вже встановлених в першому блоці та сурядних.
Блок аналізу складних речень складається з двох частин.
В першій частині обробляються вузли двух видів: 1) особові форми дієслова, предикати, предикативні формули, тобто вузли, які можуть виконувати функцію присудка; 2) підрядні сполучники. Виясняється, які з головних вершин є вершинами підрядних речень, а які - ні. Одночасно в СінП формуються штучні вузли, що символізують підрядні речення, та зв’язок ref, а також формується та частина позиційної таблиці, в якій перелічені головні вершини по порядку їх слідування у фразі і для кожної з них вказано, чи є вона, за відомостями, отриманими в цій частині блоку, вершиною незалежного або підрядного речення.
В другій частині перевіряється правильність складу головних вершин СінП за позиційною таблицею. Представлення, що є правильними, пропускаються в наступний блок аналізу. До них відносяться ті представлення, в яких є не більше однієї незалежної головної вершини, а всі інші - вершини підрядних речень. В цій частині блоку затримуються і підлягають аналізу ті представлення, в яких більше однієї незалежної вершини або є вершини з недозволеною омонімією. Для таких вершин алгоритм звертається до СінП і аналізує лівий контекст. В результаті аналізу контексту можливі такі дії: 1) розділення складного речення на прості при наявності відокремлювача; 2) встановлення сурядного зв’язку між головним реченням фрази і одним з незалежних простих речень при наявності сурядного сполучника; 3) видалення номеру незалежної вершини з позиційної таблиці, що рівнозначно визнанню цієї вершини присурядненою частиною присудка одного з попередніх речень; 4) дозвіл омонімії сполучника або головної вершини. Після виконання однієї з цих дій представлення знову перевіряється на правильність складу головних вершин.
Блок аналізу простих речень
В цьому блоці продовжується оброблення того набору зв’язків, який був встановлений аналізатором перед роботою попереднього блоку і уточнений цим останнім.
Аналіз проводиться за допомогою позиційної таблиці, в якій поступово заповнюються номерами вузлів спеціально відведені для них місця. Для кожного символу простого речення в ній відведено п’ять позицій: 1) між початком речення і найвіддаленішим від присудка лівим актантом; 2) між найближчим до присудка лівим актантом і присудком; 3) між присудком і найближчим до нього правим актантом; 4) між двума актантами; 5) між найвіддаленішим від присудка правим актантом і кінцем речення.
Процес аналізу визначається почергово двума алгоритмами: перший, загальний, керує аналізом всієї фрази; другий — аналізом підрядних речень.
Вхідним пунктом для аналізу є присудок головного речення. Спочатку визначається перша позиція від початку речення до присудка (вважається, що жодного актанта слова ще не знайдено). Потім починається обробка цієї позиції. Якщо в ній є підрядні речення, то в дію вступає другий керуючий алгоритм і аналізується кожне з них в певному порядку. Номера проаналізованих вузлів викреслюються з позиційної таблиці. Коли аналіз підрядних речень закінчений, аналізуються прислівникові, дієприслівникові та інфінітивні синтаксичні обороти. Після цього позиція оброблюється підблоком аналізу твору, який складається з аналізатору, що встановлює лише сурядні зв’язки, та алгоритма обробки результатів роботи цього аналізатора. Тільки після цього серед залишених в позиції вузлів відшукуються актанти присудка і відбувається перерозподіл номерів вузлів в позиційній таблиці між першою та другою позиціями. Аналогічно оброблюється фраза праворуч від присудка.
В цьому блоці встановлюються такі функції вузлів: підмет, пряме доповнення, непряме доповнення. Встановлення інших актантів відбувається після порівняння СінП з семантичним словником, тому четверта позиція в цьому блоці, як правило, не заповнюється.
Четвертий блок СінАн
Цей блок складається з двох частин. В першій частині оброблюються придієслівні займенникові клітики. Ця частина являє собою алгоритм, що використовує правила аналізу, складені на основі способу опису використання цього типу одиниць у французькій мові, запропонованого Л.Н. Іорданською в доповіді на семінарі в ІНФОРМЕЛЕКТРО в 1978р. Новим в цьому способі опису є поняття синтаксично опорного слова. В системі ФРАП був використаний фактичний матеріал. Різниця полягає лише в тому, що в оригіналі правила були сформульовані для аналізу фільтрового типу, а в системі ФРАП вони використовуються по-іншому: елементом синтаксичної структури вважається зв’язок займенника з своїм опорним словом, а всі можливі семантичні господарі вираховуються за синтаксичними зв’язками у відповідності з правилами. Інформація про семантичних господарів використовується в СемАн при заповненні їх валентностей.
ПоказатьСвернуть
Заполнить форму текущей работой