Tatoeba

Tatoeba (от яп. たとえば например) — многоязычный корпус предложений, пополняемый сообществом пользователей. Все предложения из корпуса доступны для загрузки под свободной лицензией CC-BY.

История проекта

Администратор и создатель корпуса — француженка Хо Нгок Фуонг Чанг (Ho Ngoc Phuong Trang). Позже к ней присоединился второй администратор, Симон Аллан, также француз.

Основную часть корпуса до сих пор составляют предложения на английском и на японском, импортированные из корпуса Ясухито Танаки, являющегося общественным достоянием. Большая часть переводов с японского на французкий была импортирована с сайта TokiDoki.fr.

Первоначально заявлялось, что корпус Tatoeba является общественным достоянием. Однако, так как проект находится во Франции, где отсутствует возможность объявить свою работу общественным достоянием, 12 декабря 2009 года было принято решение распространять корпус по свободной лицензией Creative Commons Attribution.

В результате соглашения с ассоциацией Shtooka к некоторым предложениям появились аудиозаписи.

Поддерживаемые языки

На данный момент (весна 2011 года) проект поддерживает 88 языков, причём наибольшее количество предложений на следующих языках:

• английский (занял первое место по количеству предложений 4 сентября 2010 года)
• японский (в данный момент добавляется не очень много предложений, однако за счёт предложений из корпуса профессора Танаки язык долгое время был на первом месте по количеству предложений)
• эсперанто
• французский
• немецкий

Кроме того, значительные объёмы предложений есть на следующих языках:

• испанский, польский (более 30 000)
• китайский (путунхуа), русский (более 25 000);
• итальянский, голландский, украинский (более 15 000).
• венгерский, иврит, фарси (более 10 000)
• португальский, арабский (литературный), исландский, турецкий, нижнесаксонский, датский (более 5 000 предложений)
• болгарский, уйгурский, хинди, шанхайский китайский, вьетнамский (более 3 000)
• белорусский, клингон, ложбан (более 2 000)

Среди языков есть искусственные. Самым успешным является эсперанто, но также существуют предложения на клингоне, ложбане, интерлингве, токи-поне и волапюке.

Посещаемость

В сентябре сайт посетило 22 тысячи человек, которые просмотрели на нём 369 тысяч страниц.

Критика

Можно отметить следующие неоднозначные моменты:

• Языки на сайте обозначаются флагами: иногда флагом государства, где говорят на языке, иногда выдуманным флагом. Некоторые флаги спорны (например, жители США высказывались против обозначения английского флагом Великобритании; для уйгурского языка используется флаг, запрещённый в Китае).
• Среди примеров есть достаточно большое количество одинаковых или незначительно отличающихся предложений.

Программы

Некоторая функциональность представляется отдельными программами, работающими в фоновом режиме, по следующим приминам:

1. Их можно использовать в других проектах,
2. Неполадки в работе одного сервиса не остановят работу всей программы,
3. При необходимость любой сервис можно остановить,
4. Возможность перенести любой сервис на отдельный сервер для обеспечения масштабируемости,
5. Легче разделять работу между несколькими программистами.

Определение языка

Для определения языка используется программа Tatodetect.

Транскрипция китайского

Транскрипция для кантонского китайского и путунхуа генерируется с помощью созданного Симоном Алланом приложения. Пока что предварительную версию можно загрузить по адресу http://downloads.tatoeba.org/sinoparserd.tar.gz.

Транскрипция для шанхайского китайского генерируется отдельным приложением, которое недоступно для загрузки. Однако для генерации шанхайской транскрипции используется та же база данных, что и в cjklib.

Ссылки

• Сайт проекта