Выпуск системы машинного перевода OpenNMT-tf 2.30
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Опубликован выпуск системы машинного перевода OpenNMT-tf 2.30.0 (Open Neural Machine Translation), использующей методы машинного обучения. Код развиваемых проектом OpenNMT-tf модулей написан на языке Python, использует библиотеку TensorFlow и распространяется под лицензией MIT.
Параллельно развивается вариант OpenNMT на базе библиотеки PyTorch, который отличается на уровне поддерживаемых возможностей. Кроме того, OpenNMT на базе PyTorch преподносится как более простой для использования и мультимодальный, а вариант на базе TensorFlow отмечается как модульный, стабильный и позволяющий задействовать возможности GPU для ускорения процесса обучения нейронной сети. Для упрощения распространения продукта проектом также развивается самодостаточный вариант транслятора на языке C++ - CTranslate2, который использует предварительно натренированные модели без привязки к дополнительным зависимостям.
Модели подготовлены для английского, немецкого и каталанского языков, для остальных языков можно самостоятельно сформировать модель на основе набора данных от проекта OPUS (для обучения системе передаётся два файла - один с предложениями на исходном языке, а второй с качественным переводом этих предложений на целевой язык).
Проект развивается при участии компании SYSTRAN, специализирующейся на создании средств машинного перевода, и группы исследователей Harvard, разрабатывающей модели человеческого языка для систем машинного обучения. Интерфейс пользователя максимально упрощён и требует лишь указания входного файла с текстом и файла для сохранения результата перевода. Система расширений даёт возможность реализовывать на базе OpenNMT дополнительную функциональность, например, автореферирование, классификацию текстов и генерацию субтитров.
В новой версии:
- Добавлена поддержка библиотеки TensorFlow 2.11, но новые оптимизаторы Keras пока не поддерживаются (требуется использование режима tf.keras.optimizers.legacy).
- Добавлена поддержка новой ветки движка CTranslate2 3.x, предназначенного для эффективного выполнения моделей с архитектурой "трансформер".
- Добавлен параметр тренировки моделей pad_to_bucket_boundary для включение добавочного заполнения, выравнивающего размер блока до значений, кратных length_bucket_width.
- Интегрирована поддержка метрик chrf и chrf++ от проекта SacreBLEU, сравнивающих машинный перевод с эталонным человеческим переводом.
- Удалён атрибут модели ctranslate2_spec, который больше не используется в CTranslate2.
===========
Источник:
OpenNet.RU
===========
Похожие новости
- Главная ссылка к новости (https://github.com/OpenNMT/Ope...)
- OpenNews: Открыт код системы распознавания и перевода речи Whisper
- OpenNews: Выпуск системы машинного перевода OpenNMT 2.28.0
- OpenNews: Facebook опубликовал модель для машинного перевода, поддерживающую 200 языков
- OpenNews: Компания Mozilla опубликовала собственную систему машинного перевода
- OpenNews: Argos Translate - программа для машинного перевода с поддержкой русского языка
Похожие новости:
- Amazon опубликовал инструментарий для Linux-контейнеров Finch
- Выпуск дистрибутива Tails 5.7
- Использование машинного обучения для определения эмоций и контроля над своей мимикой
- Bumble открыл систему машинного обучения для выявления непристойных изображений
- Выпуск фреймворка для создания сетевых приложений ErgoFramework 2.2
- Открыт код системы машинного обучения для генерации реалистичных движений человека
- Компания Сollabora представила систему машинного обучения для сжатия видео
- В инструментарий для языка Go добавлена возможность отслеживания уязвимостей в модулях
- Релиз набора компиляторов LLVM 15.0
- Выпуск дистрибутива Tails 5.4
Теги для поиска: #_opennmt, #_translate, #_lang, #_ai
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 04:48
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
|
Опубликован выпуск системы машинного перевода OpenNMT-tf 2.30.0 (Open Neural Machine Translation), использующей методы машинного обучения. Код развиваемых проектом OpenNMT-tf модулей написан на языке Python, использует библиотеку TensorFlow и распространяется под лицензией MIT. Параллельно развивается вариант OpenNMT на базе библиотеки PyTorch, который отличается на уровне поддерживаемых возможностей. Кроме того, OpenNMT на базе PyTorch преподносится как более простой для использования и мультимодальный, а вариант на базе TensorFlow отмечается как модульный, стабильный и позволяющий задействовать возможности GPU для ускорения процесса обучения нейронной сети. Для упрощения распространения продукта проектом также развивается самодостаточный вариант транслятора на языке C++ - CTranslate2, который использует предварительно натренированные модели без привязки к дополнительным зависимостям. Модели подготовлены для английского, немецкого и каталанского языков, для остальных языков можно самостоятельно сформировать модель на основе набора данных от проекта OPUS (для обучения системе передаётся два файла - один с предложениями на исходном языке, а второй с качественным переводом этих предложений на целевой язык). Проект развивается при участии компании SYSTRAN, специализирующейся на создании средств машинного перевода, и группы исследователей Harvard, разрабатывающей модели человеческого языка для систем машинного обучения. Интерфейс пользователя максимально упрощён и требует лишь указания входного файла с текстом и файла для сохранения результата перевода. Система расширений даёт возможность реализовывать на базе OpenNMT дополнительную функциональность, например, автореферирование, классификацию текстов и генерацию субтитров. В новой версии:
=========== Источник: OpenNet.RU =========== Похожие новости
|
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 04:48
Часовой пояс: UTC + 5