Update app.py

app.py

@@ -1,4 +1,5 @@
 import os
+os.environ['CUDA_VISIBLE_DEVICES'] = ''
 import spaces
 import sys
 import time
@@ -115,7 +116,7 @@ class Settings:
             settings['chat_rep_pen'] = float(config['ChatParameters'].get('repetition_penalty', '1.2'))
             settings['chat_n_ctx'] = int(config['ChatParameters'].get('n_ctx', '10000'))
         if 'GenerateParameters' in config:
-            settings['gen_n_gpu_layers'] = int(config['GenerateParameters'].get('n_gpu_layers', '0'))
+            settings['gen_n_gpu_layers'] = int(config['GenerateParameters'].get('n_gpu_layers', '-1'))
             settings['gen_temperature'] = float(config['GenerateParameters'].get('temperature', '0.35'))
             settings['gen_top_p'] = float(config['GenerateParameters'].get('top_p', '0.9'))
             settings['gen_top_k'] = int(config['GenerateParameters'].get('top_k', '40'))
@@ -137,7 +138,7 @@ class Settings:
             'DEFAULT_GEN_MODEL': settings.get('DEFAULT_GEN_MODEL', '')
         }
         config['ChatParameters'] = {
-            'n_gpu_layers': str(settings.get('chat_n_gpu_layers', 0)),
+            'n_gpu_layers': str(settings.get('chat_n_gpu_layers', -1)),
             'temperature': str(settings.get('chat_temperature', 0.5)),
             'top_p': str(settings.get('chat_top_p', 0.7)),
             'top_k': str(settings.get('chat_top_k', 80)),
@@ -174,17 +175,17 @@ class Settings:
             'gen_author_description': 'あなたは新進気鋭の和風伝奇ミステリー小説家で、細やかな筆致と巧みな構成で若い世代にとても人気があります。',
             'DEFAULT_CHAT_MODEL': 'EZO-Common-9B-gemma-2-it.f16.gguf',
             'DEFAULT_GEN_MODEL': 'EZO-Common-9B-gemma-2-it.f16.gguf',
-            'chat_n_gpu_layers': 0,
+            'chat_n_gpu_layers': -1,
             'chat_temperature': 0.5,
-            'chat_top_p': 0.7,
-            'chat_top_k': 80,
-            'chat_rep_pen': 1.2,
+            'chat_top_p': 1.0,
+            'chat_top_k': 40,
+            'chat_rep_pen': 1.0,
             'chat_n_ctx': 10000,
-            'gen_n_gpu_layers': 0,
-            'gen_temperature': 0.35,
-            'gen_top_p': 0.9,
+            'gen_n_gpu_layers': -1,
+            'gen_temperature': 0.5,
+            'gen_top_p': 1.0,
             'gen_top_k': 40,
-            'gen_rep_pen': 1.2,
+            'gen_rep_pen': 1.0,
             'gen_n_ctx': 10000
         }
         Settings.save_to_ini(default_settings, filename)
@@ -196,17 +197,17 @@ class Settings:
 
 class GenTextParams:
     def __init__(self):
-        self.gen_n_gpu_layers = 0
-        self.gen_temperature = 0.35
+        self.gen_n_gpu_layers = -1
+        self.gen_temperature = 0.5
         self.gen_top_p = 1.0
         self.gen_top_k = 40
         self.gen_rep_pen = 1.0
         self.gen_n_ctx = 10000
-        self.chat_n_gpu_layers = 0
+        self.chat_n_gpu_layers = -1
         self.chat_temperature = 0.5
-        self.chat_top_p = 0.7
-        self.chat_top_k = 80
-        self.chat_rep_pen = 1.2
+        self.chat_top_p = 1.0
+        self.chat_top_k = 40
+        self.chat_rep_pen = 1.0
         self.chat_n_ctx = 10000
 
     def update_generate_parameters(self, n_gpu_layers, temperature, top_p, top_k, rep_pen, n_ctx):
@@ -312,23 +313,25 @@ class CharacterMaker:
             model_path = os.path.join(MODEL_DIR, self.settings[f'DEFAULT_{model_type.upper()}_MODEL'])
             n_gpu_layers = self.settings[f'{model_type.lower()}_n_gpu_layers']
 
-            # 現在のモデルが既にロードされているか、同じ設定であるかチェック
+            # モデルが既にロードされていて設定も同じなら再ロードしない
             if self.llama and self.current_model == model_type:
-                if (self.llama.model_path == model_path and 
+                if (self.llama.model_path == model_path and
                     self.llama.n_gpu_layers == n_gpu_layers):
                     print(f"{model_type} モデルは既にロードされています。再ロードをスキップします。")
-                    self.model_loaded.set()
                     return
 
-            self.model_loaded.clear()
+            # ここで前のモデルをクリア
             if self.llama:
                 del self.llama
                 self.llama = None
 
+            self.model_loaded.clear()
+
             try:
-                self.llama = load_model_gpu(model_type, model_path, n_gpu_layers, params)
+                self.llama = LlamaAdapter(model_path, params, n_gpu_layers)
                 self.current_model = model_type
                 self.model_loaded.set()
+                print(f"{model_type} モデル {model_path} のロードが完了しました。(n_gpu_layers: {n_gpu_layers})")
             except Exception as e:
                 print(f"{model_type} モデルのロード中にエラーが発生しました: {str(e)}")
                 self.model_loaded.set()
@@ -588,23 +591,23 @@ def apply_settings():
     # パラメータを更新
     if 'ChatParameters' in new_config:
         params.update_chat_parameters(
-            int(new_config['ChatParameters'].get('n_gpu_layers', '0')),
+            int(new_config['ChatParameters'].get('n_gpu_layers', '-1')),
             float(new_config['ChatParameters'].get('temperature', '0.5')),
-            float(new_config['ChatParameters'].get('top_p', '0.7')),
-            int(new_config['ChatParameters'].get('top_k', '80')),
-            float(new_config['ChatParameters'].get('repetition_penalty', '1.2')),
+            float(new_config['ChatParameters'].get('top_p', '1.0')),
+            int(new_config['ChatParameters'].get('top_k', '40')),
+            float(new_config['ChatParameters'].get('repetition_penalty', '1.0')),
             int(new_config['ChatParameters'].get('n_ctx', '10000'))
         )
     if 'GenerateParameters' in new_config:
         params.update_generate_parameters(
-            int(new_config['GenerateParameters'].get('n_gpu_layers', '0')),
-            float(new_config['GenerateParameters'].get('temperature', '0.35')),
-            float(new_config['GenerateParameters'].get('top_p', '0.9')),
+            int(new_config['GenerateParameters'].get('n_gpu_layers', '-1')),
+            float(new_config['GenerateParameters'].get('temperature', '0.5')),
+            float(new_config['GenerateParameters'].get('top_p', '1.0')),
             int(new_config['GenerateParameters'].get('top_k', '40')),
-            float(new_config['GenerateParameters'].get('repetition_penalty', '1.2')),
+            float(new_config['GenerateParameters'].get('repetition_penalty', '1.0')),
             int(new_config['GenerateParameters'].get('n_ctx', '10000'))
         )
-    
+   
     # モデルを再ロード
     character_maker.current_model = None