⚛️ Quark-1-248M-Base

Это языковая модель на 248 миллионов параметров. Модель построена на архитектуре Llama и обучена с нуля на русскоязычном и англоязычном датасете.

Quark — это эксперимент по созданию эффективных и быстрых моделей, которые можно обучать в домашних условиях на "народном" железе.

📊 Характеристики

• Размер: 248M параметров.
• Архитектура: Llama-based.
• Контекстное окно: 1024 токена.
• Токенизатор: Кастомный BPE на 32,000 токенов.
• Железо: Обучалась на одной NVIDIA RTX 3060 (12GB).
• Режим: BF16 (fused AdamW).
• Метрики: средний loss 3.2

---

🧠 Что она умеет?

• Грамматика: Модель на удивление чисто пишет по-русски, соблюдает пунктуацию и не валит падежи.
• Логика: Уверенно строит сложные предложения, но иногда может уйти в философский цикл.
• Факты: Знает базу, но может уверенно врать (галлюцинировать) или нести чушь, если вопрос слишком специфический. Помните: это база (base), а не финальный ассистент.

🛠 Как запустить

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "lumasik/quark-1-248m-base"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

prompt = "В глубоком космосе висел заброшенный корабль,"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_length=100)
print(tokenizer.decode(outputs[0]))