Spaces:
Runtime error
Runtime error
Update app.py
Browse files
app.py
CHANGED
|
@@ -13,6 +13,7 @@ from functools import partial
|
|
| 13 |
import threading
|
| 14 |
import asyncio
|
| 15 |
import csv
|
|
|
|
| 16 |
|
| 17 |
# 定数
|
| 18 |
DEFAULT_INI_FILE = 'settings.ini'
|
|
@@ -289,7 +290,13 @@ class LlamaAdapter:
|
|
| 289 |
repeat_penalty=repeat_penalty
|
| 290 |
)
|
| 291 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 292 |
|
|
|
|
| 293 |
class CharacterMaker:
|
| 294 |
def __init__(self):
|
| 295 |
self.llama = None
|
|
@@ -330,7 +337,7 @@ class CharacterMaker:
|
|
| 330 |
|
| 331 |
try:
|
| 332 |
# 新しいモデルをロード
|
| 333 |
-
self.llama =
|
| 334 |
self.current_model = model_type
|
| 335 |
self.model_loaded.set()
|
| 336 |
print(f"{model_type} モデルをロードしました。モデルパス: {model_path}、GPUレイヤー数: {n_gpu_layers}")
|
|
|
|
| 13 |
import threading
|
| 14 |
import asyncio
|
| 15 |
import csv
|
| 16 |
+
from utils.dl_utils import dl_guff_model
|
| 17 |
|
| 18 |
# 定数
|
| 19 |
DEFAULT_INI_FILE = 'settings.ini'
|
|
|
|
| 290 |
repeat_penalty=repeat_penalty
|
| 291 |
)
|
| 292 |
|
| 293 |
+
@spaces.GPU(duration=120)
|
| 294 |
+
def load_model_gpu(model_type, model_path, n_gpu_layers, params):
|
| 295 |
+
llama = LlamaAdapter(model_path, params, n_gpu_layers)
|
| 296 |
+
print(f"{model_type} モデル {model_path} のロードが完了しました。(n_gpu_layers: {n_gpu_layers})")
|
| 297 |
+
return llama
|
| 298 |
|
| 299 |
+
|
| 300 |
class CharacterMaker:
|
| 301 |
def __init__(self):
|
| 302 |
self.llama = None
|
|
|
|
| 337 |
|
| 338 |
try:
|
| 339 |
# 新しいモデルをロード
|
| 340 |
+
self.llama = load_model_gpu(model_type, model_path, n_gpu_layers, params)
|
| 341 |
self.current_model = model_type
|
| 342 |
self.model_loaded.set()
|
| 343 |
print(f"{model_type} モデルをロードしました。モデルパス: {model_path}、GPUレイヤー数: {n_gpu_layers}")
|