Update README.md
Browse files
README.md
CHANGED
|
@@ -109,25 +109,29 @@ This model has been evaluated on the MTEB (Massive Text Embedding Benchmark).
|
|
| 109 |
|
| 110 |
**タスク: CodeSearchNet Retrieval**
|
| 111 |
|
| 112 |
-
* **MTEB 標準評価 (main_score: nDCG@10): 0.
|
| 113 |
-
* `ndcg_at_1`: 0.
|
| 114 |
-
* `ndcg_at_3`: 0.
|
| 115 |
-
* `ndcg_at_5`: 0.
|
| 116 |
-
* `ndcg_at_10`: 0.
|
| 117 |
-
* `
|
| 118 |
-
* `
|
| 119 |
-
* `
|
| 120 |
-
* `
|
| 121 |
-
|
| 122 |
-
*
|
| 123 |
-
|
| 124 |
-
|
| 125 |
-
* `
|
| 126 |
-
* `
|
| 127 |
-
* `
|
| 128 |
-
* `
|
| 129 |
-
* `
|
| 130 |
-
* `
|
|
|
|
|
|
|
|
|
|
|
|
|
| 131 |
|
| 132 |
*注: 評価設定の違いにより、同じ CodeSearchNet Retrieval タスクでもスコアが異なります。*
|
| 133 |
*Note: Scores differ for the same CodeSearchNet Retrieval task due to different evaluation settings.*
|
|
@@ -154,6 +158,10 @@ For reference, the MRR@100 scores for the base model `Shuu12121/CodeModernBERT-C
|
|
| 154 |
* 特定のドメインやライブラリに特化したタスクでは、追加のファインチューニングが有効な場合があります。
|
| 155 |
* 生成タスクには適していません(これはエンコーダモデルです)。
|
| 156 |
|
|
|
|
|
|
|
|
|
|
|
|
|
| 157 |
|
| 158 |
## 連絡先 / Contact
|
| 159 |
|
|
|
|
| 109 |
|
| 110 |
**タスク: CodeSearchNet Retrieval**
|
| 111 |
|
| 112 |
+
* **MTEB 標準評価 (main_score: nDCG@10): 0.89296**
|
| 113 |
+
* `ndcg_at_1`: 0.8135
|
| 114 |
+
* `ndcg_at_3`: 0.8781
|
| 115 |
+
* `ndcg_at_5`: 0.8868
|
| 116 |
+
* `ndcg_at_10`: 0.8930
|
| 117 |
+
* `ndcg_at_20`: 0.8947
|
| 118 |
+
* `ndcg_at_100`: 0.8971
|
| 119 |
+
* `ndcg_at_1000`: 0.8995
|
| 120 |
+
* `map_at_10`: 0.8705
|
| 121 |
+
* `recall_at_10`: 0.9610
|
| 122 |
+
* `mrr_at_10`: 0.8705
|
| 123 |
+
|
| 124 |
+
* **COIR (Contextual Object Identity Retrieval) 設定での評価 (main_score: nDCG@10): 0.79884**
|
| 125 |
+
* `ndcg_at_1`: 0.7152
|
| 126 |
+
* `ndcg_at_3`: 0.7762
|
| 127 |
+
* `ndcg_at_5`: 0.7885
|
| 128 |
+
* `ndcg_at_10`: 0.7988
|
| 129 |
+
* `ndcg_at_20`: 0.8056
|
| 130 |
+
* `ndcg_at_100`: 0.8134
|
| 131 |
+
* `ndcg_at_1000`: 0.8172
|
| 132 |
+
* `map_at_10`: 0.7729
|
| 133 |
+
* `recall_at_10`: 0.8794
|
| 134 |
+
* `mrr_at_10`: 0.7729
|
| 135 |
|
| 136 |
*注: 評価設定の違いにより、同じ CodeSearchNet Retrieval タスクでもスコアが異なります。*
|
| 137 |
*Note: Scores differ for the same CodeSearchNet Retrieval task due to different evaluation settings.*
|
|
|
|
| 158 |
* 特定のドメインやライブラリに特化したタスクでは、追加のファインチューニングが有効な場合があります。
|
| 159 |
* 生成タスクには適していません(これはエンコーダモデルです)。
|
| 160 |
|
| 161 |
+
**Note:**
|
| 162 |
+
This model was evaluated on MTEB with commit hash `044a7a4b552f86e284817234c336bccf16f895ce`.
|
| 163 |
+
The current README may have been updated since that version, but the model weights remain unchanged.
|
| 164 |
+
|
| 165 |
|
| 166 |
## 連絡先 / Contact
|
| 167 |
|