Update app-backup10.py

app-backup10.py

@@ -175,20 +175,38 @@ def analyze_space(url: str, progress=gr.Progress()):
         print(traceback.format_exc())
         return f"오류가 발생했습니다: {str(e)}", "", None, "", "", "", "", 10
 
-def respond(message: str, chat_history: List[Dict[str, str]], max_tokens: int, temperature: float, top_p: float) -> str:
-    system_message = """당신은 허깅페이스에 특화된 AI 코딩 전문가입니다. 사용자의 질문에 친절하고 상세하게 답변해주세요. 
+def respond(
+    message: str,
+    history: List[Tuple[str, str]],
+    system_message: str = "",
+    max_tokens: int = 1024,
+    temperature: float = 0.7,
+    top_p: float = 0.9,
+):
+    system_prefix = """당신은 허깅페이스에 특화된 AI 코딩 전문가입니다. 사용자의 질문에 친절하고 상세하게 답변해주세요. 
     Gradio 특성을 정확히 인식하고 Requirements.txt 누락없이 코딩과 오류를 해결해야 합니다.
     항상 정확하고 유용한 정보를 제공하도록 노력하세요."""
     
-    messages = [{"role": "system", "content": system_message}]
-    messages.extend(chat_history)
+    messages = [{"role": "system", "content": f"{system_prefix} {system_message}"}]
+    for user_msg, assistant_msg in history:
+        messages.append({"role": "user", "content": user_msg})
+        if assistant_msg:
+            messages.append({"role": "assistant", "content": assistant_msg})
     messages.append({"role": "user", "content": message})
-    
-    try:
-        response = hf_client.chat_completion(messages, max_tokens=max_tokens, temperature=temperature, top_p=top_p)
-        return response.choices[0].message.content
-    except Exception as e:
-        return f"응답 생성 중 오류 발생: {str(e)}"
+
+    response = ""
+    for message in hf_client.chat_completion(
+        messages,
+        max_tokens=max_tokens,
+        stream=True,
+        temperature=temperature,
+        top_p=top_p,
+    ):
+        token = message.choices[0].delta.get('content', None)
+        if token:
+            response += token.strip("")
+        yield response
+
 
 def create_ui():
     try:
@@ -297,7 +315,8 @@ def create_ui():
                                         )
 
                 with gr.TabItem("AI 코딩"):
-                    chatbot = gr.Chatbot(label="대화", type='messages')
+                    chatbot = gr.Chatbot(label="대화")
+
                     msg = gr.Textbox(label="메시지")
                     
                     # 숨겨진 상태로 파라미터 설정
@@ -317,11 +336,16 @@ def create_ui():
                     gr.Examples(examples, inputs=msg)
 
                     def respond_wrapper(message, chat_history, max_tokens, temperature, top_p):
-                        bot_message = respond(message, chat_history, max_tokens, temperature, top_p)
-                        chat_history.append({"role": "user", "content": message})
-                        chat_history.append({"role": "assistant", "content": bot_message})
+                        bot_message = ""
+                        for response in respond(message, chat_history, max_tokens=max_tokens, temperature=temperature, top_p=top_p):
+                            bot_message = response  # 마지막 응답을 저장
+                            yield "", chat_history + [(message, bot_message)]
+    
+                        chat_history.append((message, bot_message))
                         return "", chat_history
 
+
+
                     msg.submit(respond_wrapper, [msg, chatbot, max_tokens, temperature, top_p], [msg, chatbot])
 
             space_id_state = gr.State()
@@ -347,6 +371,7 @@ def create_ui():
         print(f"Error in create_ui: {str(e)}")
         print(traceback.format_exc())
         raise
+        
 
 if __name__ == "__main__":
     try: