Update README.md

README.md

@@ -19,6 +19,92 @@ Kendamarron/jimba-instruction-allとSousiOmine/Japanese-Pythonic-FunctionCallを
 python関数の呼び出しに対応させたモデルです。  
 
 # 使い方
+```
+system_tool_format = """{}
 
+#ツール
+ユーザーの要望達成を支援するために、1つ以上のpython関数を呼び出すことができます。
+呼び出せるpythonの関数を<tools></tools>タグ内に記します。
+
+<tools>
+{}
+</tools>
+
+関数を呼び出すには、以下のように関数名と引数を<tool_call></tool_call>タグ内に記述してください。
+<tool_call>
+function_name(param1=value1, param2=value2)
+</tool_call>
+"""
+
+# お好きなシステムプロンプトをどうぞ
+system = "あなたは役に立つアシスタントです。"
+
+# ツールはdocstring付きで文字で書いてね
+tools = """def perform_web_search(query: str) -> list:
+    \"\"\"
+    ウェブ検索を実行します。
+
+    Args:
+        query (str): 検索クエリ。例： "東京の天気"
+
+    Returns:
+        list: 検索結果のリスト。各要素はウェブページのタイトルとURLです。
+    \"\"\"
+    pass
+
+
+def get_weather(city: str) -> dict:
+    \"\"\"
+    指定した都市の現在の天気情報を取得します。
+
+    Args:
+        city (str): 天気を確認したい都市の名前。例： "東京"
+
+    Returns:
+        dict: 天気情報の辞書。{'temperature': 20.5, 'condition': 'Cloudy', 'humidity': 72}
+    \"\"\"
+    pass
+
+
+def execute_script(script: str) -> str:
+    \"\"\"
+    ユーザから受け取ったスクリプトまたはコマンドを実行します。
+
+    Args:
+        script (str): 実行したいコマンドまたはスクリプト。例： "ls -la"
+
+    Returns:
+        str: 実行結果の出力またはエラーメッセージ。
+    \"\"\"
+    pass
+
+"""
+
+prompt = "今日のAIニュースと埼玉の天気を教えて"
+chat = [
+    {"role": "system", "content": system_tool_format.format(system, tools)},
+    {"role": "user", "content": prompt},
+]
+
+# Unslothのサンプルから持ってきました チャットテンプレート適用してやればほかのでいけるはず
+input = tokenizer.apply_chat_template(chat, tokenize = False, add_generation_prompt = True)
+#print(input)
+
+FastLanguageModel.for_inference(model)
+inputs = tokenizer(
+[
+    input
+], return_tensors = "pt").to("cuda")
+
+from transformers import TextStreamer
+text_streamer = TextStreamer(tokenizer)
+_ = model.generate(**inputs, streamer = text_streamer, temperature=0.7, max_new_tokens = 1024)
+
+# 応答の例
+# <|assistant|><tool_call>perform_web_search(query="AI ニュース"), get_weather(city="埼玉")</tool_call></s>
+
+# 戻り値はこんな感じで渡してあげてください
+# chat.append({"role": "user", "content": "<tool_response>戻り値はまとめてここに</tool_response>"})
+```
 # 注意点
 - チャットテンプレートが関数呼び出しに対応していません。