transformers: At least one model's inference seems to have broken from transformers 4.29.2 -> 4.30.*

System Info

• transformers version: 4.30.2
• Platform: Windows-10-10.0.19045-SP0
• Python version: 3.10.9
• Huggingface_hub version: 0.15.1
• Safetensors version: 0.3.1
• PyTorch version (GPU?): 1.13.1 (True)
• Tensorflow version (GPU?): not installed (NA)
• Flax version (CPU?/GPU?/TPU?): not installed (NA)
• Jax version: not installed
• JaxLib version: not installed
• Using GPU in script?: default setting ( I think it uses GPU )
• Using distributed or parallel set-up in script?: not sure what this is, but I think its N/A

Who can help?

inference of the model staka/fugumt-en-ja using the “translation” pipeline has broken from 4.30.0 and above. I don’t know if this is expected, or if there are some new parameters I need to use, but using the default script from the readme no longer works. It results in gibberish. I have also confirmed that it works fine in 4.29.2. I don’t know what other models are affected.

Information

• The official example scripts
• My own modified scripts

Tasks

• An officially supported task in the examples folder (such as GLUE/SQuAD, …)
• My own task or dataset (give details below)

Reproduction

I have a slightly modified script to write the output to a txt file, since my windows commandline doesn’t support Japanese, but I don’t think that is relevant. Otherwise, the code is the same from the official readme of the model. Here is the code itself:

import pysbd
seg_en = pysbd.Segmenter(language="en", clean=False)

from transformers import pipeline
fugu_translator = pipeline('translation', model='staka/fugumt-en-ja')
txt = 'This is a cat. It is very cute.'
result = fugu_translator(seg_en.segment(txt))
print(result)
final = ''
for s in result:
    final += s['translation_text']
with open('./tmp.txt', "w", encoding="utf-8") as f:
    f.write(final)

in transformers 4.29.2 result is correct: これは猫です。とても可愛いです。

in transformers 4.30.0 and above, result is gibberish: が必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となりますが必要となります伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる伝わる

Expected behavior

in transformers 4.29.2 result is correct: "これは猫です。とても可愛いです。"

I expect the same behavior in 4.30.* and above.