CAT-Translate-0.8b-gguf

cyberagentさんが公開しているCAT-Translate-0.8bのggufフォーマット変換版です。

imatrixのデータはTFMC/imatrix-dataset-for-japanese-llmを使用して作成しました。

Usage

git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release

src_lang="Japanese"
tgt_lang="English"
src_text="🐈はとてもかわいいの。おててがまるくてふわふわなの。"
prompt="Translate from ${src_lang} to ${tgt_lang}: ${src_text}"
build/bin/llama-cli -m 'CAT-Translate-0.8b-gguf' -n 512 -c 512 -p "$prompt"