Мрежа отворених података и језички ресурси у процесу изградње српско-немачког литерарног корпуса

Abstract

Паралелни корпуси представљају врсту вишејезичних корпуса који су последњих деценија постали изузетно значајни у области обраде природних језика (Natural Language Processing - NLP) и један од важнијих ресурса за истраживаче у различитим областима лингвистике и сродним језичким дисциплинама. Са израдом ове докторске дисертације започет је рад на паралелном српско-немачком корпусу књижевних текстова, СрпНемКор. У току рада на дисертацији обрађено је четрнаест романа написаних у другој половини 20. и првој половини 21. века на српском и немачком језику. За садржај корпуса одабрано је седам романа оригинално написаних на српском и њихови еквиваленти на немачком језику и седам романа оригинално написаних на немачком (четири припадају аустријској књижевности, три припадају немачкој књижевности) и њихови еквиваленти на српском језику. У дисертацији је детаљно анализиран поступак прикупљања и одабира материјала за корпус, затим обрада текстова применом расположивих језичких алата и ресурса за оба језика, као и паралализација коришћењем одговарајућег софтвера. Произведени паралелни корпус књижевних текстова, СрпНемКор, смештен је у дигиталну библиотеку Библиша која омогућава двојезичну претрагу комплетног текста паралелних колекција уз могућност морфолошког и семантичког проширење упита позивањем различитих лексичких и терминолошких ресурса. У дисертацији је анализирана могућност семантичког проширења упита заснована на синонимима позивањем терминолошке базе Терми. Терми је терминолошка вишејезична база која подржава развој терминолошких речника из различитих домена (математика, рачунарство, рударство, библиотекарство, рачунарска лингвистика и многи други) а до сада је омогућавала проширење упита само на српском и енглеском језику. На основу екстракције лексичких јединица из паралелне колекције СрпНемКор, база Терми је допуњена новим лексичким јединицама на српском, њиховим еквивалентима на немачком језику као и синонимима. Добијена листа преводних парова је искоришћена и VI за генерисање двојезичног речника општег типа као скупа повезаних података при чему су тестиране и неке од технологија семантичког веба. У дисертацији је анализирана и анотација именованих ентитета (имена људи, геополитичких имена, организација и сл.) у обе стране корпуса, на српском и немачком језику, уз помоћ расположивих алата за та два језика, као и могућности даље употребе добијених резултата.

Aligned multilingual corpora have become essential resources in multilingual Natural Language Processing (NLP) in the last decades, as well as one of the major resources for researchers in various areas of linguistics and related language disciplines. This doctoral dissertation presents a new aligned Serbian-German literary corpus, SrpNemKor, for which fourteen novels written in the second half of the 20th and the first part of the 21st century were selected. From selected novels, seven are originally written in Serbian and have their equivalents in the German language, and other seven are originally written in German (four belong to Austrian literature, three belong to German literature) and have their equivalents in the Serbian language. In the dissertation in detail is analyzed the process of the collection and selection of novels for the corpus, then texts processing using available language tools and resources for both languages, as well as parallelization using appropriate software. The new aligned corpus, SrpNemKor, is stored in digital library Bibliša. Bibliša enables bilingual full-text search of aligned collections with the possibility of morphological and semantic query expansion by invoking appropriate lexical and terminological resources. In this research, it was specifically analyzed the possibility of semantic extension of the search queries based on synonyms by invoking the terminological database Termi. Termi is a multilingual database launched as a support for the development of terminological dictionaries in various domains (mathematics, computer science, mining, library science, computational linguistics, etc.). Until now Termi supported only the processing and representation of terms in Serbian and English. Based on the extraction of lexical units from the SrpNemKor, Termi is enriched with new lexical units in Serbian and their German equivalents with their synonyms which enables Bibliša to expand queries in German as well. The obtained list of German-Serbian translated pairs was also used to generate a general bilingual dictionary as a set of linked open data. In the dissertation, it was analyzed the annotation of named entities (person names, organizations, locations, etc.) and are tasted the available tools for named entity recognition VIII both for Serbian and German in both parts of the corpus. The obtained results were analyzed for further researches in the different linguistics and informatics fields.