{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 1.0661333333333334,
  "eval_steps": 50,
  "global_step": 1000,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.0010666666666666667,
      "grad_norm": 7.340938305754196,
      "learning_rate": 7.092198581560283e-09,
      "loss": 0.1541,
      "step": 1
    },
    {
      "epoch": 0.0021333333333333334,
      "grad_norm": 10.456284265762507,
      "learning_rate": 1.4184397163120567e-08,
      "loss": 0.2166,
      "step": 2
    },
    {
      "epoch": 0.0032,
      "grad_norm": 3.3262532882195073,
      "learning_rate": 2.127659574468085e-08,
      "loss": 0.125,
      "step": 3
    },
    {
      "epoch": 0.004266666666666667,
      "grad_norm": 11.460851747410167,
      "learning_rate": 2.8368794326241133e-08,
      "loss": 0.2258,
      "step": 4
    },
    {
      "epoch": 0.005333333333333333,
      "grad_norm": 8.441501897479922,
      "learning_rate": 3.546099290780142e-08,
      "loss": 0.153,
      "step": 5
    },
    {
      "epoch": 0.0064,
      "grad_norm": 5.414631894804662,
      "learning_rate": 4.25531914893617e-08,
      "loss": 0.1217,
      "step": 6
    },
    {
      "epoch": 0.007466666666666667,
      "grad_norm": 6.8055262034936135,
      "learning_rate": 4.964539007092199e-08,
      "loss": 0.2203,
      "step": 7
    },
    {
      "epoch": 0.008533333333333334,
      "grad_norm": 6.03157130162322,
      "learning_rate": 5.673758865248227e-08,
      "loss": 0.1271,
      "step": 8
    },
    {
      "epoch": 0.0096,
      "grad_norm": 15.918639711164598,
      "learning_rate": 6.382978723404254e-08,
      "loss": 0.2446,
      "step": 9
    },
    {
      "epoch": 0.010666666666666666,
      "grad_norm": 5.407971560881396,
      "learning_rate": 7.092198581560284e-08,
      "loss": 0.0969,
      "step": 10
    },
    {
      "epoch": 0.011733333333333333,
      "grad_norm": 6.038181425779358,
      "learning_rate": 7.801418439716311e-08,
      "loss": 0.1582,
      "step": 11
    },
    {
      "epoch": 0.0128,
      "grad_norm": 6.82290309727894,
      "learning_rate": 8.51063829787234e-08,
      "loss": 0.1788,
      "step": 12
    },
    {
      "epoch": 0.013866666666666666,
      "grad_norm": 10.744951629042818,
      "learning_rate": 9.219858156028367e-08,
      "loss": 0.2034,
      "step": 13
    },
    {
      "epoch": 0.014933333333333333,
      "grad_norm": 5.776379057599028,
      "learning_rate": 9.929078014184397e-08,
      "loss": 0.1466,
      "step": 14
    },
    {
      "epoch": 0.016,
      "grad_norm": 6.451686862431702,
      "learning_rate": 1.0638297872340425e-07,
      "loss": 0.2048,
      "step": 15
    },
    {
      "epoch": 0.017066666666666667,
      "grad_norm": 8.87773427933643,
      "learning_rate": 1.1347517730496453e-07,
      "loss": 0.1916,
      "step": 16
    },
    {
      "epoch": 0.018133333333333335,
      "grad_norm": 3.3723817508202414,
      "learning_rate": 1.205673758865248e-07,
      "loss": 0.102,
      "step": 17
    },
    {
      "epoch": 0.0192,
      "grad_norm": 5.582474730267361,
      "learning_rate": 1.2765957446808508e-07,
      "loss": 0.1072,
      "step": 18
    },
    {
      "epoch": 0.020266666666666665,
      "grad_norm": 9.981766121447329,
      "learning_rate": 1.3475177304964538e-07,
      "loss": 0.2441,
      "step": 19
    },
    {
      "epoch": 0.021333333333333333,
      "grad_norm": 6.916457694714178,
      "learning_rate": 1.4184397163120568e-07,
      "loss": 0.155,
      "step": 20
    },
    {
      "epoch": 0.0224,
      "grad_norm": 15.903970541009066,
      "learning_rate": 1.4893617021276595e-07,
      "loss": 0.1844,
      "step": 21
    },
    {
      "epoch": 0.023466666666666667,
      "grad_norm": 3.435640900507597,
      "learning_rate": 1.5602836879432623e-07,
      "loss": 0.1177,
      "step": 22
    },
    {
      "epoch": 0.024533333333333334,
      "grad_norm": 5.983239337047582,
      "learning_rate": 1.6312056737588653e-07,
      "loss": 0.1839,
      "step": 23
    },
    {
      "epoch": 0.0256,
      "grad_norm": 3.4918264067734004,
      "learning_rate": 1.702127659574468e-07,
      "loss": 0.0885,
      "step": 24
    },
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 2.159145413848388,
      "learning_rate": 1.773049645390071e-07,
      "loss": 0.0758,
      "step": 25
    },
    {
      "epoch": 0.027733333333333332,
      "grad_norm": 7.402773228692812,
      "learning_rate": 1.8439716312056735e-07,
      "loss": 0.1488,
      "step": 26
    },
    {
      "epoch": 0.0288,
      "grad_norm": 15.895667142159159,
      "learning_rate": 1.9148936170212765e-07,
      "loss": 0.2433,
      "step": 27
    },
    {
      "epoch": 0.029866666666666666,
      "grad_norm": 4.312780260039735,
      "learning_rate": 1.9858156028368795e-07,
      "loss": 0.106,
      "step": 28
    },
    {
      "epoch": 0.030933333333333334,
      "grad_norm": 3.1997236304738403,
      "learning_rate": 2.0567375886524822e-07,
      "loss": 0.1183,
      "step": 29
    },
    {
      "epoch": 0.032,
      "grad_norm": 6.243317780451787,
      "learning_rate": 2.127659574468085e-07,
      "loss": 0.1075,
      "step": 30
    },
    {
      "epoch": 0.03306666666666667,
      "grad_norm": 6.347714245131809,
      "learning_rate": 2.198581560283688e-07,
      "loss": 0.1556,
      "step": 31
    },
    {
      "epoch": 0.034133333333333335,
      "grad_norm": 4.243462801533408,
      "learning_rate": 2.2695035460992907e-07,
      "loss": 0.0963,
      "step": 32
    },
    {
      "epoch": 0.0352,
      "grad_norm": 6.623461538070349,
      "learning_rate": 2.3404255319148937e-07,
      "loss": 0.135,
      "step": 33
    },
    {
      "epoch": 0.03626666666666667,
      "grad_norm": 6.484847083021655,
      "learning_rate": 2.411347517730496e-07,
      "loss": 0.1279,
      "step": 34
    },
    {
      "epoch": 0.037333333333333336,
      "grad_norm": 3.2077021923002986,
      "learning_rate": 2.482269503546099e-07,
      "loss": 0.0771,
      "step": 35
    },
    {
      "epoch": 0.0384,
      "grad_norm": 4.116737651211225,
      "learning_rate": 2.5531914893617016e-07,
      "loss": 0.1264,
      "step": 36
    },
    {
      "epoch": 0.039466666666666664,
      "grad_norm": 4.345662195274936,
      "learning_rate": 2.6241134751773046e-07,
      "loss": 0.1542,
      "step": 37
    },
    {
      "epoch": 0.04053333333333333,
      "grad_norm": 7.406376789679956,
      "learning_rate": 2.6950354609929076e-07,
      "loss": 0.1548,
      "step": 38
    },
    {
      "epoch": 0.0416,
      "grad_norm": 3.0054390693138946,
      "learning_rate": 2.7659574468085106e-07,
      "loss": 0.1181,
      "step": 39
    },
    {
      "epoch": 0.042666666666666665,
      "grad_norm": 5.020408793541103,
      "learning_rate": 2.8368794326241136e-07,
      "loss": 0.1504,
      "step": 40
    },
    {
      "epoch": 0.04373333333333333,
      "grad_norm": 3.246192355933568,
      "learning_rate": 2.907801418439716e-07,
      "loss": 0.1346,
      "step": 41
    },
    {
      "epoch": 0.0448,
      "grad_norm": 2.6805112095912067,
      "learning_rate": 2.978723404255319e-07,
      "loss": 0.1224,
      "step": 42
    },
    {
      "epoch": 0.04586666666666667,
      "grad_norm": 5.576722725427941,
      "learning_rate": 3.049645390070922e-07,
      "loss": 0.0652,
      "step": 43
    },
    {
      "epoch": 0.046933333333333334,
      "grad_norm": 3.841014006155635,
      "learning_rate": 3.1205673758865245e-07,
      "loss": 0.0845,
      "step": 44
    },
    {
      "epoch": 0.048,
      "grad_norm": 3.3854913012232064,
      "learning_rate": 3.1914893617021275e-07,
      "loss": 0.0733,
      "step": 45
    },
    {
      "epoch": 0.04906666666666667,
      "grad_norm": 9.677172849129757,
      "learning_rate": 3.2624113475177305e-07,
      "loss": 0.1341,
      "step": 46
    },
    {
      "epoch": 0.050133333333333335,
      "grad_norm": 3.8894108779685492,
      "learning_rate": 3.333333333333333e-07,
      "loss": 0.0818,
      "step": 47
    },
    {
      "epoch": 0.0512,
      "grad_norm": 6.158435704247057,
      "learning_rate": 3.404255319148936e-07,
      "loss": 0.1103,
      "step": 48
    },
    {
      "epoch": 0.05226666666666667,
      "grad_norm": 4.194471824532617,
      "learning_rate": 3.475177304964539e-07,
      "loss": 0.1676,
      "step": 49
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 6.6972614887244335,
      "learning_rate": 3.546099290780142e-07,
      "loss": 0.0954,
      "step": 50
    },
    {
      "epoch": 0.05333333333333334,
      "eval_loss": 0.08882835507392883,
      "eval_runtime": 9.0554,
      "eval_samples_per_second": 11.043,
      "eval_steps_per_second": 5.522,
      "step": 50
    },
    {
      "epoch": 0.0544,
      "grad_norm": 4.889268413654233,
      "learning_rate": 3.617021276595745e-07,
      "loss": 0.111,
      "step": 51
    },
    {
      "epoch": 0.055466666666666664,
      "grad_norm": 5.574322058931982,
      "learning_rate": 3.687943262411347e-07,
      "loss": 0.1313,
      "step": 52
    },
    {
      "epoch": 0.05653333333333333,
      "grad_norm": 1.674771584469475,
      "learning_rate": 3.75886524822695e-07,
      "loss": 0.0604,
      "step": 53
    },
    {
      "epoch": 0.0576,
      "grad_norm": 5.566372795256964,
      "learning_rate": 3.829787234042553e-07,
      "loss": 0.1418,
      "step": 54
    },
    {
      "epoch": 0.058666666666666666,
      "grad_norm": 3.749599784286942,
      "learning_rate": 3.900709219858156e-07,
      "loss": 0.1704,
      "step": 55
    },
    {
      "epoch": 0.05973333333333333,
      "grad_norm": 3.5747273894868847,
      "learning_rate": 3.971631205673759e-07,
      "loss": 0.079,
      "step": 56
    },
    {
      "epoch": 0.0608,
      "grad_norm": 5.499639290770769,
      "learning_rate": 4.0425531914893614e-07,
      "loss": 0.0561,
      "step": 57
    },
    {
      "epoch": 0.06186666666666667,
      "grad_norm": 5.886058851630259,
      "learning_rate": 4.1134751773049644e-07,
      "loss": 0.1697,
      "step": 58
    },
    {
      "epoch": 0.06293333333333333,
      "grad_norm": 4.675421646825889,
      "learning_rate": 4.184397163120567e-07,
      "loss": 0.0879,
      "step": 59
    },
    {
      "epoch": 0.064,
      "grad_norm": 2.9609033041262407,
      "learning_rate": 4.25531914893617e-07,
      "loss": 0.0599,
      "step": 60
    },
    {
      "epoch": 0.06506666666666666,
      "grad_norm": 4.8304638212349165,
      "learning_rate": 4.326241134751773e-07,
      "loss": 0.0717,
      "step": 61
    },
    {
      "epoch": 0.06613333333333334,
      "grad_norm": 6.6163194002583845,
      "learning_rate": 4.397163120567376e-07,
      "loss": 0.0819,
      "step": 62
    },
    {
      "epoch": 0.0672,
      "grad_norm": 6.790998305599636,
      "learning_rate": 4.4680851063829783e-07,
      "loss": 0.1505,
      "step": 63
    },
    {
      "epoch": 0.06826666666666667,
      "grad_norm": 2.650894150253927,
      "learning_rate": 4.5390070921985813e-07,
      "loss": 0.0607,
      "step": 64
    },
    {
      "epoch": 0.06933333333333333,
      "grad_norm": 4.408808753479698,
      "learning_rate": 4.6099290780141843e-07,
      "loss": 0.065,
      "step": 65
    },
    {
      "epoch": 0.0704,
      "grad_norm": 2.951479505537457,
      "learning_rate": 4.6808510638297873e-07,
      "loss": 0.0691,
      "step": 66
    },
    {
      "epoch": 0.07146666666666666,
      "grad_norm": 2.2831307650993438,
      "learning_rate": 4.75177304964539e-07,
      "loss": 0.0597,
      "step": 67
    },
    {
      "epoch": 0.07253333333333334,
      "grad_norm": 4.755633341091047,
      "learning_rate": 4.822695035460992e-07,
      "loss": 0.0864,
      "step": 68
    },
    {
      "epoch": 0.0736,
      "grad_norm": 4.554930100975794,
      "learning_rate": 4.893617021276595e-07,
      "loss": 0.0763,
      "step": 69
    },
    {
      "epoch": 0.07466666666666667,
      "grad_norm": 2.6442276802850855,
      "learning_rate": 4.964539007092198e-07,
      "loss": 0.0824,
      "step": 70
    },
    {
      "epoch": 0.07573333333333333,
      "grad_norm": 2.5741437746448783,
      "learning_rate": 5.0354609929078e-07,
      "loss": 0.0579,
      "step": 71
    },
    {
      "epoch": 0.0768,
      "grad_norm": 3.595530272135639,
      "learning_rate": 5.106382978723403e-07,
      "loss": 0.0643,
      "step": 72
    },
    {
      "epoch": 0.07786666666666667,
      "grad_norm": 5.477870680617374,
      "learning_rate": 5.177304964539006e-07,
      "loss": 0.0869,
      "step": 73
    },
    {
      "epoch": 0.07893333333333333,
      "grad_norm": 7.221540857358708,
      "learning_rate": 5.248226950354609e-07,
      "loss": 0.1179,
      "step": 74
    },
    {
      "epoch": 0.08,
      "grad_norm": 3.113022269373061,
      "learning_rate": 5.319148936170212e-07,
      "loss": 0.079,
      "step": 75
    },
    {
      "epoch": 0.08106666666666666,
      "grad_norm": 2.41642137337109,
      "learning_rate": 5.390070921985815e-07,
      "loss": 0.0647,
      "step": 76
    },
    {
      "epoch": 0.08213333333333334,
      "grad_norm": 4.730547946277124,
      "learning_rate": 5.460992907801418e-07,
      "loss": 0.0656,
      "step": 77
    },
    {
      "epoch": 0.0832,
      "grad_norm": 2.703988101964762,
      "learning_rate": 5.531914893617021e-07,
      "loss": 0.0707,
      "step": 78
    },
    {
      "epoch": 0.08426666666666667,
      "grad_norm": 4.7268623347309235,
      "learning_rate": 5.602836879432624e-07,
      "loss": 0.1377,
      "step": 79
    },
    {
      "epoch": 0.08533333333333333,
      "grad_norm": 1.2076954307731242,
      "learning_rate": 5.673758865248227e-07,
      "loss": 0.0274,
      "step": 80
    },
    {
      "epoch": 0.0864,
      "grad_norm": 4.6689012165897825,
      "learning_rate": 5.74468085106383e-07,
      "loss": 0.0487,
      "step": 81
    },
    {
      "epoch": 0.08746666666666666,
      "grad_norm": 2.770738253589274,
      "learning_rate": 5.815602836879432e-07,
      "loss": 0.0512,
      "step": 82
    },
    {
      "epoch": 0.08853333333333334,
      "grad_norm": 3.6483172234190966,
      "learning_rate": 5.886524822695035e-07,
      "loss": 0.0995,
      "step": 83
    },
    {
      "epoch": 0.0896,
      "grad_norm": 3.739966939654011,
      "learning_rate": 5.957446808510638e-07,
      "loss": 0.0934,
      "step": 84
    },
    {
      "epoch": 0.09066666666666667,
      "grad_norm": 1.608577977472446,
      "learning_rate": 6.028368794326241e-07,
      "loss": 0.0385,
      "step": 85
    },
    {
      "epoch": 0.09173333333333333,
      "grad_norm": 3.8617195954418406,
      "learning_rate": 6.099290780141844e-07,
      "loss": 0.0569,
      "step": 86
    },
    {
      "epoch": 0.0928,
      "grad_norm": 2.081952515100534,
      "learning_rate": 6.170212765957446e-07,
      "loss": 0.0482,
      "step": 87
    },
    {
      "epoch": 0.09386666666666667,
      "grad_norm": 2.388775033154843,
      "learning_rate": 6.241134751773049e-07,
      "loss": 0.0524,
      "step": 88
    },
    {
      "epoch": 0.09493333333333333,
      "grad_norm": 3.007951500761127,
      "learning_rate": 6.312056737588652e-07,
      "loss": 0.0203,
      "step": 89
    },
    {
      "epoch": 0.096,
      "grad_norm": 6.522690069132942,
      "learning_rate": 6.382978723404255e-07,
      "loss": 0.0809,
      "step": 90
    },
    {
      "epoch": 0.09706666666666666,
      "grad_norm": 3.471639318133103,
      "learning_rate": 6.453900709219858e-07,
      "loss": 0.046,
      "step": 91
    },
    {
      "epoch": 0.09813333333333334,
      "grad_norm": 3.5195736847771695,
      "learning_rate": 6.524822695035461e-07,
      "loss": 0.0408,
      "step": 92
    },
    {
      "epoch": 0.0992,
      "grad_norm": 1.6266036572427804,
      "learning_rate": 6.595744680851063e-07,
      "loss": 0.0458,
      "step": 93
    },
    {
      "epoch": 0.10026666666666667,
      "grad_norm": 2.913848756075948,
      "learning_rate": 6.666666666666666e-07,
      "loss": 0.0609,
      "step": 94
    },
    {
      "epoch": 0.10133333333333333,
      "grad_norm": 3.639917136914541,
      "learning_rate": 6.737588652482269e-07,
      "loss": 0.0649,
      "step": 95
    },
    {
      "epoch": 0.1024,
      "grad_norm": 2.731695042035598,
      "learning_rate": 6.808510638297872e-07,
      "loss": 0.033,
      "step": 96
    },
    {
      "epoch": 0.10346666666666667,
      "grad_norm": 9.817120143278682,
      "learning_rate": 6.879432624113475e-07,
      "loss": 0.0736,
      "step": 97
    },
    {
      "epoch": 0.10453333333333334,
      "grad_norm": 8.957707046031748,
      "learning_rate": 6.950354609929078e-07,
      "loss": 0.1436,
      "step": 98
    },
    {
      "epoch": 0.1056,
      "grad_norm": 3.7249541410034217,
      "learning_rate": 7.021276595744681e-07,
      "loss": 0.1571,
      "step": 99
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 2.1810107595999826,
      "learning_rate": 7.092198581560284e-07,
      "loss": 0.0234,
      "step": 100
    },
    {
      "epoch": 0.10666666666666667,
      "eval_loss": 0.06481269001960754,
      "eval_runtime": 8.2247,
      "eval_samples_per_second": 12.158,
      "eval_steps_per_second": 6.079,
      "step": 100
    },
    {
      "epoch": 0.10773333333333333,
      "grad_norm": 1.1960831433119428,
      "learning_rate": 7.163120567375887e-07,
      "loss": 0.0091,
      "step": 101
    },
    {
      "epoch": 0.1088,
      "grad_norm": 7.88812174005162,
      "learning_rate": 7.23404255319149e-07,
      "loss": 0.0639,
      "step": 102
    },
    {
      "epoch": 0.10986666666666667,
      "grad_norm": 1.7897229106298904,
      "learning_rate": 7.304964539007092e-07,
      "loss": 0.0272,
      "step": 103
    },
    {
      "epoch": 0.11093333333333333,
      "grad_norm": 2.740100759064914,
      "learning_rate": 7.375886524822694e-07,
      "loss": 0.044,
      "step": 104
    },
    {
      "epoch": 0.112,
      "grad_norm": 5.0893894072651324,
      "learning_rate": 7.446808510638297e-07,
      "loss": 0.0409,
      "step": 105
    },
    {
      "epoch": 0.11306666666666666,
      "grad_norm": 2.568188070153663,
      "learning_rate": 7.5177304964539e-07,
      "loss": 0.0485,
      "step": 106
    },
    {
      "epoch": 0.11413333333333334,
      "grad_norm": 8.001505274552581,
      "learning_rate": 7.588652482269503e-07,
      "loss": 0.1164,
      "step": 107
    },
    {
      "epoch": 0.1152,
      "grad_norm": 9.975541818451585,
      "learning_rate": 7.659574468085106e-07,
      "loss": 0.1097,
      "step": 108
    },
    {
      "epoch": 0.11626666666666667,
      "grad_norm": 6.831232611992033,
      "learning_rate": 7.730496453900709e-07,
      "loss": 0.0999,
      "step": 109
    },
    {
      "epoch": 0.11733333333333333,
      "grad_norm": 4.659876893891191,
      "learning_rate": 7.801418439716312e-07,
      "loss": 0.0495,
      "step": 110
    },
    {
      "epoch": 0.1184,
      "grad_norm": 3.2805986727535767,
      "learning_rate": 7.872340425531915e-07,
      "loss": 0.0549,
      "step": 111
    },
    {
      "epoch": 0.11946666666666667,
      "grad_norm": 2.9331360611303827,
      "learning_rate": 7.943262411347518e-07,
      "loss": 0.0259,
      "step": 112
    },
    {
      "epoch": 0.12053333333333334,
      "grad_norm": 5.955971751835239,
      "learning_rate": 8.014184397163121e-07,
      "loss": 0.0543,
      "step": 113
    },
    {
      "epoch": 0.1216,
      "grad_norm": 4.113357400085846,
      "learning_rate": 8.085106382978723e-07,
      "loss": 0.0886,
      "step": 114
    },
    {
      "epoch": 0.12266666666666666,
      "grad_norm": 4.2115598224554915,
      "learning_rate": 8.156028368794326e-07,
      "loss": 0.0447,
      "step": 115
    },
    {
      "epoch": 0.12373333333333333,
      "grad_norm": 5.438624632240716,
      "learning_rate": 8.226950354609929e-07,
      "loss": 0.0402,
      "step": 116
    },
    {
      "epoch": 0.1248,
      "grad_norm": 4.86723071794748,
      "learning_rate": 8.297872340425532e-07,
      "loss": 0.0717,
      "step": 117
    },
    {
      "epoch": 0.12586666666666665,
      "grad_norm": 2.467742405372819,
      "learning_rate": 8.368794326241134e-07,
      "loss": 0.0416,
      "step": 118
    },
    {
      "epoch": 0.12693333333333334,
      "grad_norm": 7.610907063462189,
      "learning_rate": 8.439716312056737e-07,
      "loss": 0.0901,
      "step": 119
    },
    {
      "epoch": 0.128,
      "grad_norm": 4.686021668274038,
      "learning_rate": 8.51063829787234e-07,
      "loss": 0.1223,
      "step": 120
    },
    {
      "epoch": 0.12906666666666666,
      "grad_norm": 2.0727614732992907,
      "learning_rate": 8.581560283687943e-07,
      "loss": 0.0174,
      "step": 121
    },
    {
      "epoch": 0.13013333333333332,
      "grad_norm": 5.32405840348475,
      "learning_rate": 8.652482269503546e-07,
      "loss": 0.0808,
      "step": 122
    },
    {
      "epoch": 0.1312,
      "grad_norm": 2.426088323541015,
      "learning_rate": 8.723404255319149e-07,
      "loss": 0.0619,
      "step": 123
    },
    {
      "epoch": 0.13226666666666667,
      "grad_norm": 3.233558168729233,
      "learning_rate": 8.794326241134752e-07,
      "loss": 0.0301,
      "step": 124
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 4.0896756561304315,
      "learning_rate": 8.865248226950354e-07,
      "loss": 0.065,
      "step": 125
    },
    {
      "epoch": 0.1344,
      "grad_norm": 1.6818444665396033,
      "learning_rate": 8.936170212765957e-07,
      "loss": 0.0333,
      "step": 126
    },
    {
      "epoch": 0.13546666666666668,
      "grad_norm": 2.728458267778592,
      "learning_rate": 9.00709219858156e-07,
      "loss": 0.0363,
      "step": 127
    },
    {
      "epoch": 0.13653333333333334,
      "grad_norm": 6.345498454995162,
      "learning_rate": 9.078014184397163e-07,
      "loss": 0.1187,
      "step": 128
    },
    {
      "epoch": 0.1376,
      "grad_norm": 4.328408872797893,
      "learning_rate": 9.148936170212766e-07,
      "loss": 0.0419,
      "step": 129
    },
    {
      "epoch": 0.13866666666666666,
      "grad_norm": 10.015435899692932,
      "learning_rate": 9.219858156028369e-07,
      "loss": 0.0964,
      "step": 130
    },
    {
      "epoch": 0.13973333333333332,
      "grad_norm": 1.6723221742745367,
      "learning_rate": 9.290780141843972e-07,
      "loss": 0.035,
      "step": 131
    },
    {
      "epoch": 0.1408,
      "grad_norm": 3.5841880533579973,
      "learning_rate": 9.361702127659575e-07,
      "loss": 0.0394,
      "step": 132
    },
    {
      "epoch": 0.14186666666666667,
      "grad_norm": 4.261342222841079,
      "learning_rate": 9.432624113475178e-07,
      "loss": 0.0669,
      "step": 133
    },
    {
      "epoch": 0.14293333333333333,
      "grad_norm": 6.098751164731887,
      "learning_rate": 9.50354609929078e-07,
      "loss": 0.1115,
      "step": 134
    },
    {
      "epoch": 0.144,
      "grad_norm": 1.2897369793688551,
      "learning_rate": 9.574468085106384e-07,
      "loss": 0.0097,
      "step": 135
    },
    {
      "epoch": 0.14506666666666668,
      "grad_norm": 4.544123029340591,
      "learning_rate": 9.645390070921985e-07,
      "loss": 0.0969,
      "step": 136
    },
    {
      "epoch": 0.14613333333333334,
      "grad_norm": 1.5628401890628374,
      "learning_rate": 9.716312056737588e-07,
      "loss": 0.0403,
      "step": 137
    },
    {
      "epoch": 0.1472,
      "grad_norm": 1.7549153917413034,
      "learning_rate": 9.78723404255319e-07,
      "loss": 0.0467,
      "step": 138
    },
    {
      "epoch": 0.14826666666666666,
      "grad_norm": 2.320989852451606,
      "learning_rate": 9.858156028368794e-07,
      "loss": 0.0193,
      "step": 139
    },
    {
      "epoch": 0.14933333333333335,
      "grad_norm": 2.346049286050555,
      "learning_rate": 9.929078014184397e-07,
      "loss": 0.0372,
      "step": 140
    },
    {
      "epoch": 0.1504,
      "grad_norm": 1.5488644076712703,
      "learning_rate": 1e-06,
      "loss": 0.0221,
      "step": 141
    },
    {
      "epoch": 0.15146666666666667,
      "grad_norm": 4.969297825110415,
      "learning_rate": 1.00709219858156e-06,
      "loss": 0.0628,
      "step": 142
    },
    {
      "epoch": 0.15253333333333333,
      "grad_norm": 7.149276868869306,
      "learning_rate": 1.0141843971631206e-06,
      "loss": 0.1116,
      "step": 143
    },
    {
      "epoch": 0.1536,
      "grad_norm": 0.2675005720455285,
      "learning_rate": 1.0212765957446806e-06,
      "loss": 0.0037,
      "step": 144
    },
    {
      "epoch": 0.15466666666666667,
      "grad_norm": 5.3616860538847,
      "learning_rate": 1.0283687943262412e-06,
      "loss": 0.0766,
      "step": 145
    },
    {
      "epoch": 0.15573333333333333,
      "grad_norm": 6.013894600480369,
      "learning_rate": 1.0354609929078012e-06,
      "loss": 0.0593,
      "step": 146
    },
    {
      "epoch": 0.1568,
      "grad_norm": 1.4495595799620324,
      "learning_rate": 1.0425531914893618e-06,
      "loss": 0.012,
      "step": 147
    },
    {
      "epoch": 0.15786666666666666,
      "grad_norm": 4.233815449703168,
      "learning_rate": 1.0496453900709218e-06,
      "loss": 0.0294,
      "step": 148
    },
    {
      "epoch": 0.15893333333333334,
      "grad_norm": 2.451426369798809,
      "learning_rate": 1.0567375886524824e-06,
      "loss": 0.0173,
      "step": 149
    },
    {
      "epoch": 0.16,
      "grad_norm": 4.632800200399283,
      "learning_rate": 1.0638297872340424e-06,
      "loss": 0.0968,
      "step": 150
    },
    {
      "epoch": 0.16,
      "eval_loss": 0.06421443819999695,
      "eval_runtime": 8.2805,
      "eval_samples_per_second": 12.077,
      "eval_steps_per_second": 6.038,
      "step": 150
    },
    {
      "epoch": 0.16106666666666666,
      "grad_norm": 2.856107152285347,
      "learning_rate": 1.070921985815603e-06,
      "loss": 0.0483,
      "step": 151
    },
    {
      "epoch": 0.16213333333333332,
      "grad_norm": 0.08185139161633281,
      "learning_rate": 1.078014184397163e-06,
      "loss": 0.0008,
      "step": 152
    },
    {
      "epoch": 0.1632,
      "grad_norm": 5.278258913229691,
      "learning_rate": 1.0851063829787233e-06,
      "loss": 0.1142,
      "step": 153
    },
    {
      "epoch": 0.16426666666666667,
      "grad_norm": 7.501273081001087,
      "learning_rate": 1.0921985815602836e-06,
      "loss": 0.097,
      "step": 154
    },
    {
      "epoch": 0.16533333333333333,
      "grad_norm": 2.004995420525806,
      "learning_rate": 1.099290780141844e-06,
      "loss": 0.0186,
      "step": 155
    },
    {
      "epoch": 0.1664,
      "grad_norm": 4.220058789565755,
      "learning_rate": 1.1063829787234042e-06,
      "loss": 0.0803,
      "step": 156
    },
    {
      "epoch": 0.16746666666666668,
      "grad_norm": 2.249509514015917,
      "learning_rate": 1.1134751773049643e-06,
      "loss": 0.0225,
      "step": 157
    },
    {
      "epoch": 0.16853333333333334,
      "grad_norm": 3.8638590825276617,
      "learning_rate": 1.1205673758865248e-06,
      "loss": 0.0911,
      "step": 158
    },
    {
      "epoch": 0.1696,
      "grad_norm": 1.412533711588782,
      "learning_rate": 1.127659574468085e-06,
      "loss": 0.0139,
      "step": 159
    },
    {
      "epoch": 0.17066666666666666,
      "grad_norm": 2.82343360057798,
      "learning_rate": 1.1347517730496454e-06,
      "loss": 0.0851,
      "step": 160
    },
    {
      "epoch": 0.17173333333333332,
      "grad_norm": 1.7495393166443622,
      "learning_rate": 1.1418439716312055e-06,
      "loss": 0.0308,
      "step": 161
    },
    {
      "epoch": 0.1728,
      "grad_norm": 3.6302290317483297,
      "learning_rate": 1.148936170212766e-06,
      "loss": 0.0736,
      "step": 162
    },
    {
      "epoch": 0.17386666666666667,
      "grad_norm": 4.896254754620509,
      "learning_rate": 1.1560283687943261e-06,
      "loss": 0.0554,
      "step": 163
    },
    {
      "epoch": 0.17493333333333333,
      "grad_norm": 4.111273140347231,
      "learning_rate": 1.1631205673758864e-06,
      "loss": 0.0741,
      "step": 164
    },
    {
      "epoch": 0.176,
      "grad_norm": 3.1818646079754496,
      "learning_rate": 1.1702127659574467e-06,
      "loss": 0.0934,
      "step": 165
    },
    {
      "epoch": 0.17706666666666668,
      "grad_norm": 4.419859251526752,
      "learning_rate": 1.177304964539007e-06,
      "loss": 0.0778,
      "step": 166
    },
    {
      "epoch": 0.17813333333333334,
      "grad_norm": 4.56044687337971,
      "learning_rate": 1.1843971631205673e-06,
      "loss": 0.0706,
      "step": 167
    },
    {
      "epoch": 0.1792,
      "grad_norm": 1.2936041090561832,
      "learning_rate": 1.1914893617021276e-06,
      "loss": 0.012,
      "step": 168
    },
    {
      "epoch": 0.18026666666666666,
      "grad_norm": 6.909726597822846,
      "learning_rate": 1.198581560283688e-06,
      "loss": 0.1474,
      "step": 169
    },
    {
      "epoch": 0.18133333333333335,
      "grad_norm": 0.8563591336490418,
      "learning_rate": 1.2056737588652482e-06,
      "loss": 0.0135,
      "step": 170
    },
    {
      "epoch": 0.1824,
      "grad_norm": 3.3164997831647023,
      "learning_rate": 1.2127659574468085e-06,
      "loss": 0.0786,
      "step": 171
    },
    {
      "epoch": 0.18346666666666667,
      "grad_norm": 2.8146626483351707,
      "learning_rate": 1.2198581560283688e-06,
      "loss": 0.0521,
      "step": 172
    },
    {
      "epoch": 0.18453333333333333,
      "grad_norm": 2.8830483742154582,
      "learning_rate": 1.2269503546099291e-06,
      "loss": 0.0286,
      "step": 173
    },
    {
      "epoch": 0.1856,
      "grad_norm": 1.9820766581104607,
      "learning_rate": 1.2340425531914892e-06,
      "loss": 0.0337,
      "step": 174
    },
    {
      "epoch": 0.18666666666666668,
      "grad_norm": 1.2778034782738863,
      "learning_rate": 1.2411347517730495e-06,
      "loss": 0.0308,
      "step": 175
    },
    {
      "epoch": 0.18773333333333334,
      "grad_norm": 1.462555534851203,
      "learning_rate": 1.2482269503546098e-06,
      "loss": 0.0454,
      "step": 176
    },
    {
      "epoch": 0.1888,
      "grad_norm": 4.565414819418628,
      "learning_rate": 1.2553191489361701e-06,
      "loss": 0.1228,
      "step": 177
    },
    {
      "epoch": 0.18986666666666666,
      "grad_norm": 2.3313756348264234,
      "learning_rate": 1.2624113475177304e-06,
      "loss": 0.0318,
      "step": 178
    },
    {
      "epoch": 0.19093333333333334,
      "grad_norm": 3.7670309246458347,
      "learning_rate": 1.2695035460992907e-06,
      "loss": 0.0699,
      "step": 179
    },
    {
      "epoch": 0.192,
      "grad_norm": 1.7487010839053967,
      "learning_rate": 1.276595744680851e-06,
      "loss": 0.0486,
      "step": 180
    },
    {
      "epoch": 0.19306666666666666,
      "grad_norm": 1.1340373154975194,
      "learning_rate": 1.2836879432624113e-06,
      "loss": 0.0177,
      "step": 181
    },
    {
      "epoch": 0.19413333333333332,
      "grad_norm": 1.6584782594569225,
      "learning_rate": 1.2907801418439716e-06,
      "loss": 0.0208,
      "step": 182
    },
    {
      "epoch": 0.1952,
      "grad_norm": 1.134470635269048,
      "learning_rate": 1.297872340425532e-06,
      "loss": 0.0161,
      "step": 183
    },
    {
      "epoch": 0.19626666666666667,
      "grad_norm": 1.5565427530107756,
      "learning_rate": 1.3049645390070922e-06,
      "loss": 0.0264,
      "step": 184
    },
    {
      "epoch": 0.19733333333333333,
      "grad_norm": 3.349937714357119,
      "learning_rate": 1.3120567375886525e-06,
      "loss": 0.0426,
      "step": 185
    },
    {
      "epoch": 0.1984,
      "grad_norm": 3.437101265121438,
      "learning_rate": 1.3191489361702126e-06,
      "loss": 0.0512,
      "step": 186
    },
    {
      "epoch": 0.19946666666666665,
      "grad_norm": 1.5534578823823257,
      "learning_rate": 1.3262411347517731e-06,
      "loss": 0.0512,
      "step": 187
    },
    {
      "epoch": 0.20053333333333334,
      "grad_norm": 3.577731738050452,
      "learning_rate": 1.3333333333333332e-06,
      "loss": 0.0509,
      "step": 188
    },
    {
      "epoch": 0.2016,
      "grad_norm": 0.8955687373362503,
      "learning_rate": 1.3404255319148935e-06,
      "loss": 0.0148,
      "step": 189
    },
    {
      "epoch": 0.20266666666666666,
      "grad_norm": 2.2424497514910415,
      "learning_rate": 1.3475177304964538e-06,
      "loss": 0.0458,
      "step": 190
    },
    {
      "epoch": 0.20373333333333332,
      "grad_norm": 3.0547659131465204,
      "learning_rate": 1.354609929078014e-06,
      "loss": 0.0414,
      "step": 191
    },
    {
      "epoch": 0.2048,
      "grad_norm": 2.7613386920774126,
      "learning_rate": 1.3617021276595744e-06,
      "loss": 0.0254,
      "step": 192
    },
    {
      "epoch": 0.20586666666666667,
      "grad_norm": 1.8247270325842186,
      "learning_rate": 1.3687943262411347e-06,
      "loss": 0.0219,
      "step": 193
    },
    {
      "epoch": 0.20693333333333333,
      "grad_norm": 0.9745378819375361,
      "learning_rate": 1.375886524822695e-06,
      "loss": 0.006,
      "step": 194
    },
    {
      "epoch": 0.208,
      "grad_norm": 2.2394688913221863,
      "learning_rate": 1.3829787234042553e-06,
      "loss": 0.0103,
      "step": 195
    },
    {
      "epoch": 0.20906666666666668,
      "grad_norm": 2.745981240625009,
      "learning_rate": 1.3900709219858156e-06,
      "loss": 0.0324,
      "step": 196
    },
    {
      "epoch": 0.21013333333333334,
      "grad_norm": 1.819255867549425,
      "learning_rate": 1.3971631205673757e-06,
      "loss": 0.0499,
      "step": 197
    },
    {
      "epoch": 0.2112,
      "grad_norm": 2.244330878993336,
      "learning_rate": 1.4042553191489362e-06,
      "loss": 0.0525,
      "step": 198
    },
    {
      "epoch": 0.21226666666666666,
      "grad_norm": 2.4420486660479517,
      "learning_rate": 1.4113475177304963e-06,
      "loss": 0.0456,
      "step": 199
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 3.0961362752080106,
      "learning_rate": 1.4184397163120568e-06,
      "loss": 0.0819,
      "step": 200
    },
    {
      "epoch": 0.21333333333333335,
      "eval_loss": 0.04034098610281944,
      "eval_runtime": 8.5631,
      "eval_samples_per_second": 11.678,
      "eval_steps_per_second": 5.839,
      "step": 200
    },
    {
      "epoch": 0.2144,
      "grad_norm": 0.44759408047365645,
      "learning_rate": 1.4255319148936169e-06,
      "loss": 0.0054,
      "step": 201
    },
    {
      "epoch": 0.21546666666666667,
      "grad_norm": 0.42272894381608905,
      "learning_rate": 1.4326241134751774e-06,
      "loss": 0.0058,
      "step": 202
    },
    {
      "epoch": 0.21653333333333333,
      "grad_norm": 0.3201232486606026,
      "learning_rate": 1.4397163120567375e-06,
      "loss": 0.0027,
      "step": 203
    },
    {
      "epoch": 0.2176,
      "grad_norm": 1.8690764660164247,
      "learning_rate": 1.446808510638298e-06,
      "loss": 0.0656,
      "step": 204
    },
    {
      "epoch": 0.21866666666666668,
      "grad_norm": 3.2454931850225903,
      "learning_rate": 1.453900709219858e-06,
      "loss": 0.0371,
      "step": 205
    },
    {
      "epoch": 0.21973333333333334,
      "grad_norm": 1.3719630571760064,
      "learning_rate": 1.4609929078014184e-06,
      "loss": 0.0195,
      "step": 206
    },
    {
      "epoch": 0.2208,
      "grad_norm": 4.690223152603984,
      "learning_rate": 1.4680851063829787e-06,
      "loss": 0.1838,
      "step": 207
    },
    {
      "epoch": 0.22186666666666666,
      "grad_norm": 0.7280526453294364,
      "learning_rate": 1.4751773049645388e-06,
      "loss": 0.0113,
      "step": 208
    },
    {
      "epoch": 0.22293333333333334,
      "grad_norm": 2.1942258546982,
      "learning_rate": 1.4822695035460993e-06,
      "loss": 0.0375,
      "step": 209
    },
    {
      "epoch": 0.224,
      "grad_norm": 2.2700526093435385,
      "learning_rate": 1.4893617021276594e-06,
      "loss": 0.0225,
      "step": 210
    },
    {
      "epoch": 0.22506666666666666,
      "grad_norm": 3.4887713183278706,
      "learning_rate": 1.4964539007092199e-06,
      "loss": 0.0354,
      "step": 211
    },
    {
      "epoch": 0.22613333333333333,
      "grad_norm": 1.3287581441040275,
      "learning_rate": 1.50354609929078e-06,
      "loss": 0.0478,
      "step": 212
    },
    {
      "epoch": 0.2272,
      "grad_norm": 0.706172015872483,
      "learning_rate": 1.5106382978723405e-06,
      "loss": 0.0071,
      "step": 213
    },
    {
      "epoch": 0.22826666666666667,
      "grad_norm": 3.3176110506984555,
      "learning_rate": 1.5177304964539006e-06,
      "loss": 0.0872,
      "step": 214
    },
    {
      "epoch": 0.22933333333333333,
      "grad_norm": 1.2584019241467503,
      "learning_rate": 1.524822695035461e-06,
      "loss": 0.0141,
      "step": 215
    },
    {
      "epoch": 0.2304,
      "grad_norm": 3.3428962741186514,
      "learning_rate": 1.5319148936170212e-06,
      "loss": 0.0469,
      "step": 216
    },
    {
      "epoch": 0.23146666666666665,
      "grad_norm": 5.630841551653268,
      "learning_rate": 1.5390070921985815e-06,
      "loss": 0.1787,
      "step": 217
    },
    {
      "epoch": 0.23253333333333334,
      "grad_norm": 3.1064693364930704,
      "learning_rate": 1.5460992907801418e-06,
      "loss": 0.0461,
      "step": 218
    },
    {
      "epoch": 0.2336,
      "grad_norm": 6.955897478479723,
      "learning_rate": 1.5531914893617019e-06,
      "loss": 0.1266,
      "step": 219
    },
    {
      "epoch": 0.23466666666666666,
      "grad_norm": 6.6141804145859675,
      "learning_rate": 1.5602836879432624e-06,
      "loss": 0.1013,
      "step": 220
    },
    {
      "epoch": 0.23573333333333332,
      "grad_norm": 1.5187752417644704,
      "learning_rate": 1.5673758865248225e-06,
      "loss": 0.0219,
      "step": 221
    },
    {
      "epoch": 0.2368,
      "grad_norm": 0.7602007659688867,
      "learning_rate": 1.574468085106383e-06,
      "loss": 0.0163,
      "step": 222
    },
    {
      "epoch": 0.23786666666666667,
      "grad_norm": 1.2922825373649611,
      "learning_rate": 1.581560283687943e-06,
      "loss": 0.0126,
      "step": 223
    },
    {
      "epoch": 0.23893333333333333,
      "grad_norm": 1.564285880714171,
      "learning_rate": 1.5886524822695036e-06,
      "loss": 0.0274,
      "step": 224
    },
    {
      "epoch": 0.24,
      "grad_norm": 1.8256861393160675,
      "learning_rate": 1.5957446808510637e-06,
      "loss": 0.0801,
      "step": 225
    },
    {
      "epoch": 0.24106666666666668,
      "grad_norm": 5.626390458824275,
      "learning_rate": 1.6028368794326242e-06,
      "loss": 0.1175,
      "step": 226
    },
    {
      "epoch": 0.24213333333333334,
      "grad_norm": 0.3639992497542339,
      "learning_rate": 1.6099290780141843e-06,
      "loss": 0.0042,
      "step": 227
    },
    {
      "epoch": 0.2432,
      "grad_norm": 0.9623642386925754,
      "learning_rate": 1.6170212765957446e-06,
      "loss": 0.0303,
      "step": 228
    },
    {
      "epoch": 0.24426666666666666,
      "grad_norm": 4.786039455247629,
      "learning_rate": 1.6241134751773049e-06,
      "loss": 0.1451,
      "step": 229
    },
    {
      "epoch": 0.24533333333333332,
      "grad_norm": 1.7940933903892,
      "learning_rate": 1.6312056737588652e-06,
      "loss": 0.0242,
      "step": 230
    },
    {
      "epoch": 0.2464,
      "grad_norm": 1.1872990094484728,
      "learning_rate": 1.6382978723404255e-06,
      "loss": 0.0142,
      "step": 231
    },
    {
      "epoch": 0.24746666666666667,
      "grad_norm": 3.6465271365421694,
      "learning_rate": 1.6453900709219858e-06,
      "loss": 0.1327,
      "step": 232
    },
    {
      "epoch": 0.24853333333333333,
      "grad_norm": 3.4606007899724736,
      "learning_rate": 1.652482269503546e-06,
      "loss": 0.0752,
      "step": 233
    },
    {
      "epoch": 0.2496,
      "grad_norm": 1.7829502544111206,
      "learning_rate": 1.6595744680851064e-06,
      "loss": 0.0551,
      "step": 234
    },
    {
      "epoch": 0.25066666666666665,
      "grad_norm": 0.4291699362420302,
      "learning_rate": 1.6666666666666667e-06,
      "loss": 0.0119,
      "step": 235
    },
    {
      "epoch": 0.2517333333333333,
      "grad_norm": 1.536096095556399,
      "learning_rate": 1.6737588652482267e-06,
      "loss": 0.0207,
      "step": 236
    },
    {
      "epoch": 0.2528,
      "grad_norm": 1.4834886851834983,
      "learning_rate": 1.6808510638297873e-06,
      "loss": 0.024,
      "step": 237
    },
    {
      "epoch": 0.2538666666666667,
      "grad_norm": 0.5910974696060286,
      "learning_rate": 1.6879432624113473e-06,
      "loss": 0.0103,
      "step": 238
    },
    {
      "epoch": 0.25493333333333335,
      "grad_norm": 1.0554413983828212,
      "learning_rate": 1.6950354609929076e-06,
      "loss": 0.0132,
      "step": 239
    },
    {
      "epoch": 0.256,
      "grad_norm": 1.724598949331031,
      "learning_rate": 1.702127659574468e-06,
      "loss": 0.0934,
      "step": 240
    },
    {
      "epoch": 0.25706666666666667,
      "grad_norm": 1.7576821288165476,
      "learning_rate": 1.7092198581560282e-06,
      "loss": 0.0391,
      "step": 241
    },
    {
      "epoch": 0.2581333333333333,
      "grad_norm": 1.035363958245626,
      "learning_rate": 1.7163120567375885e-06,
      "loss": 0.0141,
      "step": 242
    },
    {
      "epoch": 0.2592,
      "grad_norm": 0.2419170209059454,
      "learning_rate": 1.7234042553191488e-06,
      "loss": 0.0029,
      "step": 243
    },
    {
      "epoch": 0.26026666666666665,
      "grad_norm": 1.458905410047098,
      "learning_rate": 1.7304964539007091e-06,
      "loss": 0.0254,
      "step": 244
    },
    {
      "epoch": 0.2613333333333333,
      "grad_norm": 0.2573364956038529,
      "learning_rate": 1.7375886524822694e-06,
      "loss": 0.0041,
      "step": 245
    },
    {
      "epoch": 0.2624,
      "grad_norm": 2.339489703214308,
      "learning_rate": 1.7446808510638297e-06,
      "loss": 0.0455,
      "step": 246
    },
    {
      "epoch": 0.2634666666666667,
      "grad_norm": 2.252526531061772,
      "learning_rate": 1.75177304964539e-06,
      "loss": 0.0456,
      "step": 247
    },
    {
      "epoch": 0.26453333333333334,
      "grad_norm": 0.4833353487456936,
      "learning_rate": 1.7588652482269503e-06,
      "loss": 0.0049,
      "step": 248
    },
    {
      "epoch": 0.2656,
      "grad_norm": 1.537116413342212,
      "learning_rate": 1.7659574468085106e-06,
      "loss": 0.0164,
      "step": 249
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 3.76154579366514,
      "learning_rate": 1.7730496453900707e-06,
      "loss": 0.1398,
      "step": 250
    },
    {
      "epoch": 0.26666666666666666,
      "eval_loss": 0.06543993949890137,
      "eval_runtime": 9.6094,
      "eval_samples_per_second": 10.406,
      "eval_steps_per_second": 5.203,
      "step": 250
    },
    {
      "epoch": 0.2677333333333333,
      "grad_norm": 4.958054469705704,
      "learning_rate": 1.780141843971631e-06,
      "loss": 0.1019,
      "step": 251
    },
    {
      "epoch": 0.2688,
      "grad_norm": 1.6609198738553164,
      "learning_rate": 1.7872340425531913e-06,
      "loss": 0.0499,
      "step": 252
    },
    {
      "epoch": 0.26986666666666664,
      "grad_norm": 1.6026871476203264,
      "learning_rate": 1.7943262411347516e-06,
      "loss": 0.0324,
      "step": 253
    },
    {
      "epoch": 0.27093333333333336,
      "grad_norm": 0.814342996956287,
      "learning_rate": 1.801418439716312e-06,
      "loss": 0.0158,
      "step": 254
    },
    {
      "epoch": 0.272,
      "grad_norm": 0.21604099963633955,
      "learning_rate": 1.8085106382978722e-06,
      "loss": 0.0042,
      "step": 255
    },
    {
      "epoch": 0.2730666666666667,
      "grad_norm": 0.6624516019158352,
      "learning_rate": 1.8156028368794325e-06,
      "loss": 0.0088,
      "step": 256
    },
    {
      "epoch": 0.27413333333333334,
      "grad_norm": 1.694938724635794,
      "learning_rate": 1.8226950354609928e-06,
      "loss": 0.023,
      "step": 257
    },
    {
      "epoch": 0.2752,
      "grad_norm": 0.4835610610426178,
      "learning_rate": 1.8297872340425531e-06,
      "loss": 0.0064,
      "step": 258
    },
    {
      "epoch": 0.27626666666666666,
      "grad_norm": 1.6087706175732222,
      "learning_rate": 1.8368794326241134e-06,
      "loss": 0.024,
      "step": 259
    },
    {
      "epoch": 0.2773333333333333,
      "grad_norm": 1.174005945770529,
      "learning_rate": 1.8439716312056737e-06,
      "loss": 0.0416,
      "step": 260
    },
    {
      "epoch": 0.2784,
      "grad_norm": 2.0036309118637416,
      "learning_rate": 1.8510638297872338e-06,
      "loss": 0.0148,
      "step": 261
    },
    {
      "epoch": 0.27946666666666664,
      "grad_norm": 0.27542881905219085,
      "learning_rate": 1.8581560283687943e-06,
      "loss": 0.0037,
      "step": 262
    },
    {
      "epoch": 0.28053333333333336,
      "grad_norm": 0.10627036820200016,
      "learning_rate": 1.8652482269503544e-06,
      "loss": 0.0016,
      "step": 263
    },
    {
      "epoch": 0.2816,
      "grad_norm": 1.0016746248189468,
      "learning_rate": 1.872340425531915e-06,
      "loss": 0.0128,
      "step": 264
    },
    {
      "epoch": 0.2826666666666667,
      "grad_norm": 0.982894777786423,
      "learning_rate": 1.879432624113475e-06,
      "loss": 0.0173,
      "step": 265
    },
    {
      "epoch": 0.28373333333333334,
      "grad_norm": 2.235584985951457,
      "learning_rate": 1.8865248226950355e-06,
      "loss": 0.0273,
      "step": 266
    },
    {
      "epoch": 0.2848,
      "grad_norm": 1.9321006724531127,
      "learning_rate": 1.8936170212765956e-06,
      "loss": 0.0575,
      "step": 267
    },
    {
      "epoch": 0.28586666666666666,
      "grad_norm": 2.446015384106489,
      "learning_rate": 1.900709219858156e-06,
      "loss": 0.0695,
      "step": 268
    },
    {
      "epoch": 0.2869333333333333,
      "grad_norm": 1.0664504757410167,
      "learning_rate": 1.907801418439716e-06,
      "loss": 0.0103,
      "step": 269
    },
    {
      "epoch": 0.288,
      "grad_norm": 0.6720506342995207,
      "learning_rate": 1.9148936170212767e-06,
      "loss": 0.0052,
      "step": 270
    },
    {
      "epoch": 0.2890666666666667,
      "grad_norm": 1.9536878981901187,
      "learning_rate": 1.9219858156028366e-06,
      "loss": 0.0357,
      "step": 271
    },
    {
      "epoch": 0.29013333333333335,
      "grad_norm": 0.07505605660652574,
      "learning_rate": 1.929078014184397e-06,
      "loss": 0.0015,
      "step": 272
    },
    {
      "epoch": 0.2912,
      "grad_norm": 0.22146530578795007,
      "learning_rate": 1.936170212765957e-06,
      "loss": 0.0018,
      "step": 273
    },
    {
      "epoch": 0.2922666666666667,
      "grad_norm": 4.705908517665693,
      "learning_rate": 1.9432624113475175e-06,
      "loss": 0.1119,
      "step": 274
    },
    {
      "epoch": 0.29333333333333333,
      "grad_norm": 4.923995204775593,
      "learning_rate": 1.950354609929078e-06,
      "loss": 0.136,
      "step": 275
    },
    {
      "epoch": 0.2944,
      "grad_norm": 3.900812289245892,
      "learning_rate": 1.957446808510638e-06,
      "loss": 0.1045,
      "step": 276
    },
    {
      "epoch": 0.29546666666666666,
      "grad_norm": 1.785174875347817,
      "learning_rate": 1.9645390070921984e-06,
      "loss": 0.0623,
      "step": 277
    },
    {
      "epoch": 0.2965333333333333,
      "grad_norm": 1.2213002904218435,
      "learning_rate": 1.9716312056737587e-06,
      "loss": 0.0377,
      "step": 278
    },
    {
      "epoch": 0.2976,
      "grad_norm": 0.2923059693481855,
      "learning_rate": 1.978723404255319e-06,
      "loss": 0.003,
      "step": 279
    },
    {
      "epoch": 0.2986666666666667,
      "grad_norm": 3.1731457409440336,
      "learning_rate": 1.9858156028368793e-06,
      "loss": 0.088,
      "step": 280
    },
    {
      "epoch": 0.29973333333333335,
      "grad_norm": 2.7525901886363915,
      "learning_rate": 1.9929078014184396e-06,
      "loss": 0.0582,
      "step": 281
    },
    {
      "epoch": 0.3008,
      "grad_norm": 1.8230031551732802,
      "learning_rate": 2e-06,
      "loss": 0.0199,
      "step": 282
    },
    {
      "epoch": 0.30186666666666667,
      "grad_norm": 1.3865631804560594,
      "learning_rate": 1.999999228435859e-06,
      "loss": 0.031,
      "step": 283
    },
    {
      "epoch": 0.30293333333333333,
      "grad_norm": 4.165055076177555,
      "learning_rate": 1.999996913744627e-06,
      "loss": 0.0733,
      "step": 284
    },
    {
      "epoch": 0.304,
      "grad_norm": 1.9754801877369055,
      "learning_rate": 1.9999930559298764e-06,
      "loss": 0.0301,
      "step": 285
    },
    {
      "epoch": 0.30506666666666665,
      "grad_norm": 0.7925560455697181,
      "learning_rate": 1.999987654997559e-06,
      "loss": 0.0283,
      "step": 286
    },
    {
      "epoch": 0.3061333333333333,
      "grad_norm": 0.5194694957615784,
      "learning_rate": 1.9999807109560105e-06,
      "loss": 0.0091,
      "step": 287
    },
    {
      "epoch": 0.3072,
      "grad_norm": 3.345098829097061,
      "learning_rate": 1.9999722238159456e-06,
      "loss": 0.0856,
      "step": 288
    },
    {
      "epoch": 0.3082666666666667,
      "grad_norm": 0.3547716864050005,
      "learning_rate": 1.9999621935904615e-06,
      "loss": 0.0069,
      "step": 289
    },
    {
      "epoch": 0.30933333333333335,
      "grad_norm": 4.251478368782789,
      "learning_rate": 1.9999506202950355e-06,
      "loss": 0.0626,
      "step": 290
    },
    {
      "epoch": 0.3104,
      "grad_norm": 0.854574365002302,
      "learning_rate": 1.9999375039475274e-06,
      "loss": 0.0289,
      "step": 291
    },
    {
      "epoch": 0.31146666666666667,
      "grad_norm": 1.8930472157492912,
      "learning_rate": 1.999922844568177e-06,
      "loss": 0.0288,
      "step": 292
    },
    {
      "epoch": 0.31253333333333333,
      "grad_norm": 0.6582644815371133,
      "learning_rate": 1.9999066421796056e-06,
      "loss": 0.0112,
      "step": 293
    },
    {
      "epoch": 0.3136,
      "grad_norm": 0.41981956976674956,
      "learning_rate": 1.999888896806816e-06,
      "loss": 0.0101,
      "step": 294
    },
    {
      "epoch": 0.31466666666666665,
      "grad_norm": 0.9804299420337502,
      "learning_rate": 1.999869608477191e-06,
      "loss": 0.0166,
      "step": 295
    },
    {
      "epoch": 0.3157333333333333,
      "grad_norm": 2.238920439094032,
      "learning_rate": 1.999848777220495e-06,
      "loss": 0.1084,
      "step": 296
    },
    {
      "epoch": 0.3168,
      "grad_norm": 2.546894901254014,
      "learning_rate": 1.999826403068874e-06,
      "loss": 0.0631,
      "step": 297
    },
    {
      "epoch": 0.3178666666666667,
      "grad_norm": 3.102610204113791,
      "learning_rate": 1.999802486056853e-06,
      "loss": 0.1098,
      "step": 298
    },
    {
      "epoch": 0.31893333333333335,
      "grad_norm": 0.6112172433808437,
      "learning_rate": 1.9997770262213405e-06,
      "loss": 0.0077,
      "step": 299
    },
    {
      "epoch": 0.32,
      "grad_norm": 0.6002667369893008,
      "learning_rate": 1.999750023601623e-06,
      "loss": 0.0054,
      "step": 300
    },
    {
      "epoch": 0.32,
      "eval_loss": 0.04478977993130684,
      "eval_runtime": 8.2194,
      "eval_samples_per_second": 12.166,
      "eval_steps_per_second": 6.083,
      "step": 300
    },
    {
      "epoch": 0.32106666666666667,
      "grad_norm": 0.6384928870379522,
      "learning_rate": 1.9997214782393697e-06,
      "loss": 0.0064,
      "step": 301
    },
    {
      "epoch": 0.3221333333333333,
      "grad_norm": 4.121954582585253,
      "learning_rate": 1.9996913901786295e-06,
      "loss": 0.0282,
      "step": 302
    },
    {
      "epoch": 0.3232,
      "grad_norm": 2.170473758627147,
      "learning_rate": 1.9996597594658325e-06,
      "loss": 0.0371,
      "step": 303
    },
    {
      "epoch": 0.32426666666666665,
      "grad_norm": 3.277640099123368,
      "learning_rate": 1.9996265861497884e-06,
      "loss": 0.0826,
      "step": 304
    },
    {
      "epoch": 0.3253333333333333,
      "grad_norm": 1.223126645672684,
      "learning_rate": 1.9995918702816883e-06,
      "loss": 0.0029,
      "step": 305
    },
    {
      "epoch": 0.3264,
      "grad_norm": 3.2655619174791357,
      "learning_rate": 1.999555611915103e-06,
      "loss": 0.0666,
      "step": 306
    },
    {
      "epoch": 0.3274666666666667,
      "grad_norm": 3.4156903549207605,
      "learning_rate": 1.9995178111059837e-06,
      "loss": 0.104,
      "step": 307
    },
    {
      "epoch": 0.32853333333333334,
      "grad_norm": 2.658454045776883,
      "learning_rate": 1.9994784679126623e-06,
      "loss": 0.0456,
      "step": 308
    },
    {
      "epoch": 0.3296,
      "grad_norm": 0.19585429109140384,
      "learning_rate": 1.99943758239585e-06,
      "loss": 0.0016,
      "step": 309
    },
    {
      "epoch": 0.33066666666666666,
      "grad_norm": 1.679735095539774,
      "learning_rate": 1.999395154618639e-06,
      "loss": 0.0609,
      "step": 310
    },
    {
      "epoch": 0.3317333333333333,
      "grad_norm": 2.1430824974971925,
      "learning_rate": 1.9993511846465e-06,
      "loss": 0.078,
      "step": 311
    },
    {
      "epoch": 0.3328,
      "grad_norm": 2.696363876494053,
      "learning_rate": 1.9993056725472844e-06,
      "loss": 0.0453,
      "step": 312
    },
    {
      "epoch": 0.33386666666666664,
      "grad_norm": 0.09424756079491534,
      "learning_rate": 1.9992586183912243e-06,
      "loss": 0.0012,
      "step": 313
    },
    {
      "epoch": 0.33493333333333336,
      "grad_norm": 0.3035530404585692,
      "learning_rate": 1.999210022250929e-06,
      "loss": 0.0032,
      "step": 314
    },
    {
      "epoch": 0.336,
      "grad_norm": 1.578602700124216,
      "learning_rate": 1.999159884201389e-06,
      "loss": 0.0679,
      "step": 315
    },
    {
      "epoch": 0.3370666666666667,
      "grad_norm": 2.017282984994957,
      "learning_rate": 1.9991082043199736e-06,
      "loss": 0.0559,
      "step": 316
    },
    {
      "epoch": 0.33813333333333334,
      "grad_norm": 0.2549750442731066,
      "learning_rate": 1.999054982686432e-06,
      "loss": 0.004,
      "step": 317
    },
    {
      "epoch": 0.3392,
      "grad_norm": 0.4719506296789255,
      "learning_rate": 1.9990002193828922e-06,
      "loss": 0.0067,
      "step": 318
    },
    {
      "epoch": 0.34026666666666666,
      "grad_norm": 1.2214945707365839,
      "learning_rate": 1.99894391449386e-06,
      "loss": 0.023,
      "step": 319
    },
    {
      "epoch": 0.3413333333333333,
      "grad_norm": 0.7302116345834218,
      "learning_rate": 1.9988860681062216e-06,
      "loss": 0.0098,
      "step": 320
    },
    {
      "epoch": 0.3424,
      "grad_norm": 0.13466607550767162,
      "learning_rate": 1.9988266803092416e-06,
      "loss": 0.0031,
      "step": 321
    },
    {
      "epoch": 0.34346666666666664,
      "grad_norm": 1.0469671642701126,
      "learning_rate": 1.9987657511945624e-06,
      "loss": 0.0165,
      "step": 322
    },
    {
      "epoch": 0.34453333333333336,
      "grad_norm": 2.2440378487977406,
      "learning_rate": 1.998703280856206e-06,
      "loss": 0.0466,
      "step": 323
    },
    {
      "epoch": 0.3456,
      "grad_norm": 2.1387794205897053,
      "learning_rate": 1.9986392693905722e-06,
      "loss": 0.0777,
      "step": 324
    },
    {
      "epoch": 0.3466666666666667,
      "grad_norm": 1.2931875478250596,
      "learning_rate": 1.9985737168964384e-06,
      "loss": 0.0327,
      "step": 325
    },
    {
      "epoch": 0.34773333333333334,
      "grad_norm": 0.7580208065267147,
      "learning_rate": 1.9985066234749606e-06,
      "loss": 0.0177,
      "step": 326
    },
    {
      "epoch": 0.3488,
      "grad_norm": 0.0888189129076451,
      "learning_rate": 1.998437989229673e-06,
      "loss": 0.002,
      "step": 327
    },
    {
      "epoch": 0.34986666666666666,
      "grad_norm": 1.2397194295081706,
      "learning_rate": 1.9983678142664864e-06,
      "loss": 0.0378,
      "step": 328
    },
    {
      "epoch": 0.3509333333333333,
      "grad_norm": 1.202705168617386,
      "learning_rate": 1.9982960986936908e-06,
      "loss": 0.0895,
      "step": 329
    },
    {
      "epoch": 0.352,
      "grad_norm": 0.14800273449305595,
      "learning_rate": 1.9982228426219516e-06,
      "loss": 0.0023,
      "step": 330
    },
    {
      "epoch": 0.35306666666666664,
      "grad_norm": 1.0116996136565781,
      "learning_rate": 1.9981480461643125e-06,
      "loss": 0.0202,
      "step": 331
    },
    {
      "epoch": 0.35413333333333336,
      "grad_norm": 1.1189127410717563,
      "learning_rate": 1.9980717094361938e-06,
      "loss": 0.0132,
      "step": 332
    },
    {
      "epoch": 0.3552,
      "grad_norm": 2.750035640024511,
      "learning_rate": 1.9979938325553934e-06,
      "loss": 0.0557,
      "step": 333
    },
    {
      "epoch": 0.3562666666666667,
      "grad_norm": 0.5674290503062867,
      "learning_rate": 1.997914415642085e-06,
      "loss": 0.016,
      "step": 334
    },
    {
      "epoch": 0.35733333333333334,
      "grad_norm": 1.9870605095700231,
      "learning_rate": 1.9978334588188193e-06,
      "loss": 0.0617,
      "step": 335
    },
    {
      "epoch": 0.3584,
      "grad_norm": 1.7840308480554663,
      "learning_rate": 1.997750962210523e-06,
      "loss": 0.0266,
      "step": 336
    },
    {
      "epoch": 0.35946666666666666,
      "grad_norm": 1.2398964245336912,
      "learning_rate": 1.997666925944499e-06,
      "loss": 0.0165,
      "step": 337
    },
    {
      "epoch": 0.3605333333333333,
      "grad_norm": 0.6167879821088218,
      "learning_rate": 1.997581350150426e-06,
      "loss": 0.0078,
      "step": 338
    },
    {
      "epoch": 0.3616,
      "grad_norm": 1.3178080807296553,
      "learning_rate": 1.997494234960358e-06,
      "loss": 0.0221,
      "step": 339
    },
    {
      "epoch": 0.3626666666666667,
      "grad_norm": 0.2936607290692452,
      "learning_rate": 1.997405580508725e-06,
      "loss": 0.0033,
      "step": 340
    },
    {
      "epoch": 0.36373333333333335,
      "grad_norm": 2.463257834805897,
      "learning_rate": 1.997315386932333e-06,
      "loss": 0.0674,
      "step": 341
    },
    {
      "epoch": 0.3648,
      "grad_norm": 0.6291180686569299,
      "learning_rate": 1.9972236543703615e-06,
      "loss": 0.0068,
      "step": 342
    },
    {
      "epoch": 0.3658666666666667,
      "grad_norm": 1.9765666525777088,
      "learning_rate": 1.997130382964366e-06,
      "loss": 0.0353,
      "step": 343
    },
    {
      "epoch": 0.36693333333333333,
      "grad_norm": 1.140272021599622,
      "learning_rate": 1.997035572858276e-06,
      "loss": 0.0095,
      "step": 344
    },
    {
      "epoch": 0.368,
      "grad_norm": 0.7125188701024316,
      "learning_rate": 1.9969392241983957e-06,
      "loss": 0.0088,
      "step": 345
    },
    {
      "epoch": 0.36906666666666665,
      "grad_norm": 0.4454568829686679,
      "learning_rate": 1.9968413371334035e-06,
      "loss": 0.0031,
      "step": 346
    },
    {
      "epoch": 0.3701333333333333,
      "grad_norm": 2.8279184660148524,
      "learning_rate": 1.9967419118143514e-06,
      "loss": 0.0873,
      "step": 347
    },
    {
      "epoch": 0.3712,
      "grad_norm": 0.31255079659825663,
      "learning_rate": 1.996640948394666e-06,
      "loss": 0.0051,
      "step": 348
    },
    {
      "epoch": 0.3722666666666667,
      "grad_norm": 1.2215171116516321,
      "learning_rate": 1.9965384470301464e-06,
      "loss": 0.0265,
      "step": 349
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 1.7159754593735572,
      "learning_rate": 1.9964344078789653e-06,
      "loss": 0.1093,
      "step": 350
    },
    {
      "epoch": 0.37333333333333335,
      "eval_loss": 0.1534903347492218,
      "eval_runtime": 8.3094,
      "eval_samples_per_second": 12.035,
      "eval_steps_per_second": 6.017,
      "step": 350
    },
    {
      "epoch": 0.3744,
      "grad_norm": 2.0559468510888554,
      "learning_rate": 1.996328831101669e-06,
      "loss": 0.0241,
      "step": 351
    },
    {
      "epoch": 0.37546666666666667,
      "grad_norm": 0.5971180546425459,
      "learning_rate": 1.9962217168611755e-06,
      "loss": 0.0049,
      "step": 352
    },
    {
      "epoch": 0.37653333333333333,
      "grad_norm": 4.688206875294817,
      "learning_rate": 1.996113065322776e-06,
      "loss": 0.1433,
      "step": 353
    },
    {
      "epoch": 0.3776,
      "grad_norm": 0.2870089749889556,
      "learning_rate": 1.9960028766541334e-06,
      "loss": 0.0034,
      "step": 354
    },
    {
      "epoch": 0.37866666666666665,
      "grad_norm": 1.6375079216434894,
      "learning_rate": 1.9958911510252835e-06,
      "loss": 0.0232,
      "step": 355
    },
    {
      "epoch": 0.3797333333333333,
      "grad_norm": 4.593636878430014,
      "learning_rate": 1.995777888608633e-06,
      "loss": 0.093,
      "step": 356
    },
    {
      "epoch": 0.3808,
      "grad_norm": 2.8184656478976904,
      "learning_rate": 1.99566308957896e-06,
      "loss": 0.0779,
      "step": 357
    },
    {
      "epoch": 0.3818666666666667,
      "grad_norm": 0.2485439291403493,
      "learning_rate": 1.995546754113415e-06,
      "loss": 0.003,
      "step": 358
    },
    {
      "epoch": 0.38293333333333335,
      "grad_norm": 2.2437059110982585,
      "learning_rate": 1.9954288823915176e-06,
      "loss": 0.0414,
      "step": 359
    },
    {
      "epoch": 0.384,
      "grad_norm": 2.001140187003796,
      "learning_rate": 1.9953094745951597e-06,
      "loss": 0.035,
      "step": 360
    },
    {
      "epoch": 0.38506666666666667,
      "grad_norm": 1.4093011606412311,
      "learning_rate": 1.9951885309086026e-06,
      "loss": 0.0184,
      "step": 361
    },
    {
      "epoch": 0.38613333333333333,
      "grad_norm": 2.1138012491304408,
      "learning_rate": 1.9950660515184777e-06,
      "loss": 0.0315,
      "step": 362
    },
    {
      "epoch": 0.3872,
      "grad_norm": 0.11796660855631759,
      "learning_rate": 1.994942036613787e-06,
      "loss": 0.0018,
      "step": 363
    },
    {
      "epoch": 0.38826666666666665,
      "grad_norm": 0.7892341561868786,
      "learning_rate": 1.9948164863859004e-06,
      "loss": 0.0146,
      "step": 364
    },
    {
      "epoch": 0.3893333333333333,
      "grad_norm": 0.6568964569346487,
      "learning_rate": 1.994689401028559e-06,
      "loss": 0.0131,
      "step": 365
    },
    {
      "epoch": 0.3904,
      "grad_norm": 1.633661113619997,
      "learning_rate": 1.9945607807378715e-06,
      "loss": 0.0329,
      "step": 366
    },
    {
      "epoch": 0.3914666666666667,
      "grad_norm": 1.126467308042084,
      "learning_rate": 1.9944306257123157e-06,
      "loss": 0.0446,
      "step": 367
    },
    {
      "epoch": 0.39253333333333335,
      "grad_norm": 2.0843407882687908,
      "learning_rate": 1.9942989361527366e-06,
      "loss": 0.0428,
      "step": 368
    },
    {
      "epoch": 0.3936,
      "grad_norm": 2.2219389663095814,
      "learning_rate": 1.994165712262349e-06,
      "loss": 0.0564,
      "step": 369
    },
    {
      "epoch": 0.39466666666666667,
      "grad_norm": 2.7775942987619797,
      "learning_rate": 1.9940309542467345e-06,
      "loss": 0.0689,
      "step": 370
    },
    {
      "epoch": 0.3957333333333333,
      "grad_norm": 1.8350062571764503,
      "learning_rate": 1.993894662313841e-06,
      "loss": 0.0694,
      "step": 371
    },
    {
      "epoch": 0.3968,
      "grad_norm": 1.029665838458409,
      "learning_rate": 1.993756836673986e-06,
      "loss": 0.0173,
      "step": 372
    },
    {
      "epoch": 0.39786666666666665,
      "grad_norm": 0.571214571115293,
      "learning_rate": 1.9936174775398506e-06,
      "loss": 0.0053,
      "step": 373
    },
    {
      "epoch": 0.3989333333333333,
      "grad_norm": 1.3213872708985888,
      "learning_rate": 1.9934765851264846e-06,
      "loss": 0.0695,
      "step": 374
    },
    {
      "epoch": 0.4,
      "grad_norm": 0.23510781603507086,
      "learning_rate": 1.993334159651303e-06,
      "loss": 0.0054,
      "step": 375
    },
    {
      "epoch": 0.4010666666666667,
      "grad_norm": 1.1060879217421968,
      "learning_rate": 1.9931902013340865e-06,
      "loss": 0.0189,
      "step": 376
    },
    {
      "epoch": 0.40213333333333334,
      "grad_norm": 0.3710399547602498,
      "learning_rate": 1.9930447103969815e-06,
      "loss": 0.0046,
      "step": 377
    },
    {
      "epoch": 0.4032,
      "grad_norm": 1.622717686078824,
      "learning_rate": 1.992897687064499e-06,
      "loss": 0.0247,
      "step": 378
    },
    {
      "epoch": 0.40426666666666666,
      "grad_norm": 2.2476983489121847,
      "learning_rate": 1.992749131563514e-06,
      "loss": 0.0818,
      "step": 379
    },
    {
      "epoch": 0.4053333333333333,
      "grad_norm": 1.315470500355049,
      "learning_rate": 1.9925990441232684e-06,
      "loss": 0.0322,
      "step": 380
    },
    {
      "epoch": 0.4064,
      "grad_norm": 2.5737294966668522,
      "learning_rate": 1.9924474249753655e-06,
      "loss": 0.0836,
      "step": 381
    },
    {
      "epoch": 0.40746666666666664,
      "grad_norm": 0.9394492979525191,
      "learning_rate": 1.9922942743537724e-06,
      "loss": 0.0297,
      "step": 382
    },
    {
      "epoch": 0.40853333333333336,
      "grad_norm": 0.8069382855063404,
      "learning_rate": 1.9921395924948214e-06,
      "loss": 0.0166,
      "step": 383
    },
    {
      "epoch": 0.4096,
      "grad_norm": 1.4306192080840419,
      "learning_rate": 1.991983379637206e-06,
      "loss": 0.0296,
      "step": 384
    },
    {
      "epoch": 0.4106666666666667,
      "grad_norm": 1.3969683122099108,
      "learning_rate": 1.991825636021982e-06,
      "loss": 0.0203,
      "step": 385
    },
    {
      "epoch": 0.41173333333333334,
      "grad_norm": 1.825285692623069,
      "learning_rate": 1.991666361892569e-06,
      "loss": 0.0872,
      "step": 386
    },
    {
      "epoch": 0.4128,
      "grad_norm": 0.8975216401244392,
      "learning_rate": 1.991505557494747e-06,
      "loss": 0.0316,
      "step": 387
    },
    {
      "epoch": 0.41386666666666666,
      "grad_norm": 1.921594655691583,
      "learning_rate": 1.9913432230766574e-06,
      "loss": 0.0398,
      "step": 388
    },
    {
      "epoch": 0.4149333333333333,
      "grad_norm": 1.8453404863459837,
      "learning_rate": 1.9911793588888043e-06,
      "loss": 0.0538,
      "step": 389
    },
    {
      "epoch": 0.416,
      "grad_norm": 1.0578785118600522,
      "learning_rate": 1.9910139651840495e-06,
      "loss": 0.0152,
      "step": 390
    },
    {
      "epoch": 0.41706666666666664,
      "grad_norm": 0.1293043522954174,
      "learning_rate": 1.9908470422176183e-06,
      "loss": 0.0032,
      "step": 391
    },
    {
      "epoch": 0.41813333333333336,
      "grad_norm": 0.8193852729764006,
      "learning_rate": 1.990678590247093e-06,
      "loss": 0.0252,
      "step": 392
    },
    {
      "epoch": 0.4192,
      "grad_norm": 0.8114012251103345,
      "learning_rate": 1.990508609532417e-06,
      "loss": 0.0125,
      "step": 393
    },
    {
      "epoch": 0.4202666666666667,
      "grad_norm": 2.818291734468121,
      "learning_rate": 1.9903371003358928e-06,
      "loss": 0.0189,
      "step": 394
    },
    {
      "epoch": 0.42133333333333334,
      "grad_norm": 0.9204435003254485,
      "learning_rate": 1.9901640629221803e-06,
      "loss": 0.0329,
      "step": 395
    },
    {
      "epoch": 0.4224,
      "grad_norm": 0.08712425359694305,
      "learning_rate": 1.9899894975582992e-06,
      "loss": 0.0011,
      "step": 396
    },
    {
      "epoch": 0.42346666666666666,
      "grad_norm": 0.03241923575638935,
      "learning_rate": 1.989813404513626e-06,
      "loss": 0.0006,
      "step": 397
    },
    {
      "epoch": 0.4245333333333333,
      "grad_norm": 1.6779979572184394,
      "learning_rate": 1.9896357840598943e-06,
      "loss": 0.0961,
      "step": 398
    },
    {
      "epoch": 0.4256,
      "grad_norm": 0.050696178342396175,
      "learning_rate": 1.9894566364711964e-06,
      "loss": 0.001,
      "step": 399
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 1.4891393117145435,
      "learning_rate": 1.9892759620239787e-06,
      "loss": 0.0906,
      "step": 400
    },
    {
      "epoch": 0.4266666666666667,
      "eval_loss": 0.07928112149238586,
      "eval_runtime": 8.2676,
      "eval_samples_per_second": 12.095,
      "eval_steps_per_second": 6.048,
      "step": 400
    },
    {
      "epoch": 0.42773333333333335,
      "grad_norm": 0.2825199528851997,
      "learning_rate": 1.989093760997046e-06,
      "loss": 0.0034,
      "step": 401
    },
    {
      "epoch": 0.4288,
      "grad_norm": 0.06701874009051513,
      "learning_rate": 1.9889100336715574e-06,
      "loss": 0.0014,
      "step": 402
    },
    {
      "epoch": 0.4298666666666667,
      "grad_norm": 1.1540056838329342,
      "learning_rate": 1.9887247803310275e-06,
      "loss": 0.0344,
      "step": 403
    },
    {
      "epoch": 0.43093333333333333,
      "grad_norm": 0.17492470261185009,
      "learning_rate": 1.988538001261327e-06,
      "loss": 0.0023,
      "step": 404
    },
    {
      "epoch": 0.432,
      "grad_norm": 1.842060768202244,
      "learning_rate": 1.9883496967506787e-06,
      "loss": 0.0277,
      "step": 405
    },
    {
      "epoch": 0.43306666666666666,
      "grad_norm": 1.5947437342416269,
      "learning_rate": 1.9881598670896615e-06,
      "loss": 0.042,
      "step": 406
    },
    {
      "epoch": 0.4341333333333333,
      "grad_norm": 0.9161274283634603,
      "learning_rate": 1.9879685125712064e-06,
      "loss": 0.0367,
      "step": 407
    },
    {
      "epoch": 0.4352,
      "grad_norm": 2.360301377480192,
      "learning_rate": 1.9877756334905984e-06,
      "loss": 0.0682,
      "step": 408
    },
    {
      "epoch": 0.4362666666666667,
      "grad_norm": 2.8033256381176845,
      "learning_rate": 1.9875812301454742e-06,
      "loss": 0.0215,
      "step": 409
    },
    {
      "epoch": 0.43733333333333335,
      "grad_norm": 1.5583202561269525,
      "learning_rate": 1.987385302835824e-06,
      "loss": 0.0363,
      "step": 410
    },
    {
      "epoch": 0.4384,
      "grad_norm": 2.781896561969346,
      "learning_rate": 1.9871878518639875e-06,
      "loss": 0.068,
      "step": 411
    },
    {
      "epoch": 0.43946666666666667,
      "grad_norm": 0.21642280193886335,
      "learning_rate": 1.9869888775346573e-06,
      "loss": 0.0036,
      "step": 412
    },
    {
      "epoch": 0.44053333333333333,
      "grad_norm": 1.6029255115528245,
      "learning_rate": 1.986788380154877e-06,
      "loss": 0.0647,
      "step": 413
    },
    {
      "epoch": 0.4416,
      "grad_norm": 0.5806042371514701,
      "learning_rate": 1.986586360034039e-06,
      "loss": 0.0132,
      "step": 414
    },
    {
      "epoch": 0.44266666666666665,
      "grad_norm": 0.9908273749386388,
      "learning_rate": 1.9863828174838866e-06,
      "loss": 0.0415,
      "step": 415
    },
    {
      "epoch": 0.4437333333333333,
      "grad_norm": 0.6290093251213951,
      "learning_rate": 1.9861777528185124e-06,
      "loss": 0.0105,
      "step": 416
    },
    {
      "epoch": 0.4448,
      "grad_norm": 0.14553068803017533,
      "learning_rate": 1.985971166354357e-06,
      "loss": 0.004,
      "step": 417
    },
    {
      "epoch": 0.4458666666666667,
      "grad_norm": 1.3506786155965647,
      "learning_rate": 1.9857630584102097e-06,
      "loss": 0.0751,
      "step": 418
    },
    {
      "epoch": 0.44693333333333335,
      "grad_norm": 0.5584989326737009,
      "learning_rate": 1.985553429307208e-06,
      "loss": 0.014,
      "step": 419
    },
    {
      "epoch": 0.448,
      "grad_norm": 1.6294250896843834,
      "learning_rate": 1.9853422793688367e-06,
      "loss": 0.0636,
      "step": 420
    },
    {
      "epoch": 0.44906666666666667,
      "grad_norm": 0.5596353903671426,
      "learning_rate": 1.985129608920927e-06,
      "loss": 0.0098,
      "step": 421
    },
    {
      "epoch": 0.45013333333333333,
      "grad_norm": 1.3728856599421018,
      "learning_rate": 1.9849154182916564e-06,
      "loss": 0.0406,
      "step": 422
    },
    {
      "epoch": 0.4512,
      "grad_norm": 1.4539828782817406,
      "learning_rate": 1.984699707811549e-06,
      "loss": 0.0425,
      "step": 423
    },
    {
      "epoch": 0.45226666666666665,
      "grad_norm": 1.1916004180696034,
      "learning_rate": 1.9844824778134736e-06,
      "loss": 0.0306,
      "step": 424
    },
    {
      "epoch": 0.4533333333333333,
      "grad_norm": 1.419985849067304,
      "learning_rate": 1.9842637286326438e-06,
      "loss": 0.0551,
      "step": 425
    },
    {
      "epoch": 0.4544,
      "grad_norm": 1.3883049129527003,
      "learning_rate": 1.984043460606618e-06,
      "loss": 0.0513,
      "step": 426
    },
    {
      "epoch": 0.4554666666666667,
      "grad_norm": 0.1278745223052872,
      "learning_rate": 1.9838216740752974e-06,
      "loss": 0.0052,
      "step": 427
    },
    {
      "epoch": 0.45653333333333335,
      "grad_norm": 0.6233977796404779,
      "learning_rate": 1.983598369380928e-06,
      "loss": 0.0342,
      "step": 428
    },
    {
      "epoch": 0.4576,
      "grad_norm": 0.39517621879791065,
      "learning_rate": 1.9833735468680964e-06,
      "loss": 0.01,
      "step": 429
    },
    {
      "epoch": 0.45866666666666667,
      "grad_norm": 0.4211386313113123,
      "learning_rate": 1.9831472068837337e-06,
      "loss": 0.0135,
      "step": 430
    },
    {
      "epoch": 0.4597333333333333,
      "grad_norm": 1.8464041929380612,
      "learning_rate": 1.9829193497771107e-06,
      "loss": 0.0597,
      "step": 431
    },
    {
      "epoch": 0.4608,
      "grad_norm": 1.3803065563385135,
      "learning_rate": 1.9826899758998406e-06,
      "loss": 0.0403,
      "step": 432
    },
    {
      "epoch": 0.46186666666666665,
      "grad_norm": 0.7417135247038509,
      "learning_rate": 1.982459085605877e-06,
      "loss": 0.016,
      "step": 433
    },
    {
      "epoch": 0.4629333333333333,
      "grad_norm": 1.39451525357249,
      "learning_rate": 1.9822266792515126e-06,
      "loss": 0.0182,
      "step": 434
    },
    {
      "epoch": 0.464,
      "grad_norm": 2.8641679197940273,
      "learning_rate": 1.98199275719538e-06,
      "loss": 0.1259,
      "step": 435
    },
    {
      "epoch": 0.4650666666666667,
      "grad_norm": 0.5715361958864581,
      "learning_rate": 1.981757319798452e-06,
      "loss": 0.0088,
      "step": 436
    },
    {
      "epoch": 0.46613333333333334,
      "grad_norm": 2.4227706234953055,
      "learning_rate": 1.981520367424038e-06,
      "loss": 0.0455,
      "step": 437
    },
    {
      "epoch": 0.4672,
      "grad_norm": 2.930333077963303,
      "learning_rate": 1.981281900437786e-06,
      "loss": 0.1153,
      "step": 438
    },
    {
      "epoch": 0.46826666666666666,
      "grad_norm": 2.8810723377913883,
      "learning_rate": 1.9810419192076813e-06,
      "loss": 0.1719,
      "step": 439
    },
    {
      "epoch": 0.4693333333333333,
      "grad_norm": 1.2033125300206557,
      "learning_rate": 1.9808004241040453e-06,
      "loss": 0.0335,
      "step": 440
    },
    {
      "epoch": 0.4704,
      "grad_norm": 1.5784293247380277,
      "learning_rate": 1.9805574154995368e-06,
      "loss": 0.0241,
      "step": 441
    },
    {
      "epoch": 0.47146666666666665,
      "grad_norm": 0.331053930672315,
      "learning_rate": 1.980312893769148e-06,
      "loss": 0.0059,
      "step": 442
    },
    {
      "epoch": 0.47253333333333336,
      "grad_norm": 0.3750843000391053,
      "learning_rate": 1.9800668592902084e-06,
      "loss": 0.0116,
      "step": 443
    },
    {
      "epoch": 0.4736,
      "grad_norm": 1.7511119092314256,
      "learning_rate": 1.97981931244238e-06,
      "loss": 0.0325,
      "step": 444
    },
    {
      "epoch": 0.4746666666666667,
      "grad_norm": 0.8672178018929745,
      "learning_rate": 1.97957025360766e-06,
      "loss": 0.015,
      "step": 445
    },
    {
      "epoch": 0.47573333333333334,
      "grad_norm": 1.1316891807624356,
      "learning_rate": 1.979319683170378e-06,
      "loss": 0.0247,
      "step": 446
    },
    {
      "epoch": 0.4768,
      "grad_norm": 1.7458341470636687,
      "learning_rate": 1.9790676015171957e-06,
      "loss": 0.0645,
      "step": 447
    },
    {
      "epoch": 0.47786666666666666,
      "grad_norm": 2.1936196357092346,
      "learning_rate": 1.978814009037108e-06,
      "loss": 0.0451,
      "step": 448
    },
    {
      "epoch": 0.4789333333333333,
      "grad_norm": 0.8697055179908226,
      "learning_rate": 1.9785589061214406e-06,
      "loss": 0.0213,
      "step": 449
    },
    {
      "epoch": 0.48,
      "grad_norm": 0.22437585040149477,
      "learning_rate": 1.97830229316385e-06,
      "loss": 0.0054,
      "step": 450
    },
    {
      "epoch": 0.48,
      "eval_loss": 0.059111062437295914,
      "eval_runtime": 8.3864,
      "eval_samples_per_second": 11.924,
      "eval_steps_per_second": 5.962,
      "step": 450
    },
    {
      "epoch": 0.48106666666666664,
      "grad_norm": 0.10636278575330274,
      "learning_rate": 1.9780441705603223e-06,
      "loss": 0.0021,
      "step": 451
    },
    {
      "epoch": 0.48213333333333336,
      "grad_norm": 2.5573873105038434,
      "learning_rate": 1.977784538709175e-06,
      "loss": 0.1313,
      "step": 452
    },
    {
      "epoch": 0.4832,
      "grad_norm": 1.663012931362963,
      "learning_rate": 1.977523398011052e-06,
      "loss": 0.0691,
      "step": 453
    },
    {
      "epoch": 0.4842666666666667,
      "grad_norm": 0.7219317225159716,
      "learning_rate": 1.977260748868928e-06,
      "loss": 0.0096,
      "step": 454
    },
    {
      "epoch": 0.48533333333333334,
      "grad_norm": 0.7982966573390478,
      "learning_rate": 1.976996591688104e-06,
      "loss": 0.0137,
      "step": 455
    },
    {
      "epoch": 0.4864,
      "grad_norm": 0.20970702399928798,
      "learning_rate": 1.976730926876208e-06,
      "loss": 0.0046,
      "step": 456
    },
    {
      "epoch": 0.48746666666666666,
      "grad_norm": 0.28803719058990657,
      "learning_rate": 1.976463754843195e-06,
      "loss": 0.005,
      "step": 457
    },
    {
      "epoch": 0.4885333333333333,
      "grad_norm": 0.7919194276555528,
      "learning_rate": 1.9761950760013465e-06,
      "loss": 0.0282,
      "step": 458
    },
    {
      "epoch": 0.4896,
      "grad_norm": 1.4705813607789455,
      "learning_rate": 1.975924890765268e-06,
      "loss": 0.0579,
      "step": 459
    },
    {
      "epoch": 0.49066666666666664,
      "grad_norm": 0.0892978502279876,
      "learning_rate": 1.975653199551889e-06,
      "loss": 0.002,
      "step": 460
    },
    {
      "epoch": 0.49173333333333336,
      "grad_norm": 0.2924517573264484,
      "learning_rate": 1.975380002780465e-06,
      "loss": 0.0054,
      "step": 461
    },
    {
      "epoch": 0.4928,
      "grad_norm": 0.13984323661447734,
      "learning_rate": 1.9751053008725736e-06,
      "loss": 0.0048,
      "step": 462
    },
    {
      "epoch": 0.4938666666666667,
      "grad_norm": 0.9708483997669436,
      "learning_rate": 1.9748290942521147e-06,
      "loss": 0.0206,
      "step": 463
    },
    {
      "epoch": 0.49493333333333334,
      "grad_norm": 1.2833574509895846,
      "learning_rate": 1.974551383345311e-06,
      "loss": 0.0296,
      "step": 464
    },
    {
      "epoch": 0.496,
      "grad_norm": 0.8281324977406651,
      "learning_rate": 1.974272168580705e-06,
      "loss": 0.0278,
      "step": 465
    },
    {
      "epoch": 0.49706666666666666,
      "grad_norm": 0.044148734591724956,
      "learning_rate": 1.9739914503891623e-06,
      "loss": 0.0015,
      "step": 466
    },
    {
      "epoch": 0.4981333333333333,
      "grad_norm": 0.12615582529209052,
      "learning_rate": 1.9737092292038666e-06,
      "loss": 0.0029,
      "step": 467
    },
    {
      "epoch": 0.4992,
      "grad_norm": 0.2572697580666658,
      "learning_rate": 1.973425505460321e-06,
      "loss": 0.0083,
      "step": 468
    },
    {
      "epoch": 0.5002666666666666,
      "grad_norm": 0.1241476180135192,
      "learning_rate": 1.9731402795963475e-06,
      "loss": 0.0029,
      "step": 469
    },
    {
      "epoch": 0.5013333333333333,
      "grad_norm": 0.2062065751894674,
      "learning_rate": 1.972853552052087e-06,
      "loss": 0.0042,
      "step": 470
    },
    {
      "epoch": 0.5024,
      "grad_norm": 0.2666525204106077,
      "learning_rate": 1.972565323269996e-06,
      "loss": 0.0065,
      "step": 471
    },
    {
      "epoch": 0.5034666666666666,
      "grad_norm": 0.81144616074266,
      "learning_rate": 1.9722755936948495e-06,
      "loss": 0.025,
      "step": 472
    },
    {
      "epoch": 0.5045333333333333,
      "grad_norm": 1.444231248641308,
      "learning_rate": 1.9719843637737363e-06,
      "loss": 0.0291,
      "step": 473
    },
    {
      "epoch": 0.5056,
      "grad_norm": 0.4874177855432997,
      "learning_rate": 1.9716916339560623e-06,
      "loss": 0.0074,
      "step": 474
    },
    {
      "epoch": 0.5066666666666667,
      "grad_norm": 0.07849556590261975,
      "learning_rate": 1.971397404693547e-06,
      "loss": 0.002,
      "step": 475
    },
    {
      "epoch": 0.5077333333333334,
      "grad_norm": 0.5517723930132947,
      "learning_rate": 1.9711016764402236e-06,
      "loss": 0.0097,
      "step": 476
    },
    {
      "epoch": 0.5088,
      "grad_norm": 0.7299515657510972,
      "learning_rate": 1.970804449652439e-06,
      "loss": 0.0209,
      "step": 477
    },
    {
      "epoch": 0.5098666666666667,
      "grad_norm": 0.870187254255976,
      "learning_rate": 1.9705057247888524e-06,
      "loss": 0.0274,
      "step": 478
    },
    {
      "epoch": 0.5109333333333334,
      "grad_norm": 0.4378815653508658,
      "learning_rate": 1.9702055023104342e-06,
      "loss": 0.0067,
      "step": 479
    },
    {
      "epoch": 0.512,
      "grad_norm": 0.19791484072606055,
      "learning_rate": 1.9699037826804664e-06,
      "loss": 0.0028,
      "step": 480
    },
    {
      "epoch": 0.5130666666666667,
      "grad_norm": 0.33265027100392863,
      "learning_rate": 1.9696005663645413e-06,
      "loss": 0.0046,
      "step": 481
    },
    {
      "epoch": 0.5141333333333333,
      "grad_norm": 0.5850664754775464,
      "learning_rate": 1.9692958538305603e-06,
      "loss": 0.0074,
      "step": 482
    },
    {
      "epoch": 0.5152,
      "grad_norm": 1.424929398925143,
      "learning_rate": 1.9689896455487335e-06,
      "loss": 0.1158,
      "step": 483
    },
    {
      "epoch": 0.5162666666666667,
      "grad_norm": 0.13577194866828218,
      "learning_rate": 1.9686819419915807e-06,
      "loss": 0.0015,
      "step": 484
    },
    {
      "epoch": 0.5173333333333333,
      "grad_norm": 0.41803441824249704,
      "learning_rate": 1.968372743633927e-06,
      "loss": 0.008,
      "step": 485
    },
    {
      "epoch": 0.5184,
      "grad_norm": 4.12682235282853,
      "learning_rate": 1.9680620509529057e-06,
      "loss": 0.0162,
      "step": 486
    },
    {
      "epoch": 0.5194666666666666,
      "grad_norm": 1.503044654721969,
      "learning_rate": 1.9677498644279548e-06,
      "loss": 0.0422,
      "step": 487
    },
    {
      "epoch": 0.5205333333333333,
      "grad_norm": 0.7689074004737195,
      "learning_rate": 1.9674361845408186e-06,
      "loss": 0.0094,
      "step": 488
    },
    {
      "epoch": 0.5216,
      "grad_norm": 0.06909875982015076,
      "learning_rate": 1.9671210117755453e-06,
      "loss": 0.0007,
      "step": 489
    },
    {
      "epoch": 0.5226666666666666,
      "grad_norm": 1.2206766665571167,
      "learning_rate": 1.966804346618487e-06,
      "loss": 0.1015,
      "step": 490
    },
    {
      "epoch": 0.5237333333333334,
      "grad_norm": 1.1789396464075375,
      "learning_rate": 1.9664861895582992e-06,
      "loss": 0.0854,
      "step": 491
    },
    {
      "epoch": 0.5248,
      "grad_norm": 0.21039611614928425,
      "learning_rate": 1.9661665410859383e-06,
      "loss": 0.0026,
      "step": 492
    },
    {
      "epoch": 0.5258666666666667,
      "grad_norm": 0.054725892737321646,
      "learning_rate": 1.9658454016946625e-06,
      "loss": 0.0013,
      "step": 493
    },
    {
      "epoch": 0.5269333333333334,
      "grad_norm": 1.1777205041840952,
      "learning_rate": 1.9655227718800323e-06,
      "loss": 0.0185,
      "step": 494
    },
    {
      "epoch": 0.528,
      "grad_norm": 1.0317741265994544,
      "learning_rate": 1.965198652139906e-06,
      "loss": 0.0587,
      "step": 495
    },
    {
      "epoch": 0.5290666666666667,
      "grad_norm": 0.891353426464908,
      "learning_rate": 1.964873042974442e-06,
      "loss": 0.0401,
      "step": 496
    },
    {
      "epoch": 0.5301333333333333,
      "grad_norm": 1.30587203863953,
      "learning_rate": 1.9645459448860975e-06,
      "loss": 0.0309,
      "step": 497
    },
    {
      "epoch": 0.5312,
      "grad_norm": 1.3596410335486893,
      "learning_rate": 1.9642173583796264e-06,
      "loss": 0.0413,
      "step": 498
    },
    {
      "epoch": 0.5322666666666667,
      "grad_norm": 1.895269444451895,
      "learning_rate": 1.96388728396208e-06,
      "loss": 0.0832,
      "step": 499
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 0.8616463910896954,
      "learning_rate": 1.9635557221428053e-06,
      "loss": 0.0282,
      "step": 500
    },
    {
      "epoch": 0.5333333333333333,
      "eval_loss": 0.0750061422586441,
      "eval_runtime": 8.263,
      "eval_samples_per_second": 12.102,
      "eval_steps_per_second": 6.051,
      "step": 500
    },
    {
      "epoch": 0.5344,
      "grad_norm": 1.0484027260920663,
      "learning_rate": 1.963222673433445e-06,
      "loss": 0.0384,
      "step": 501
    },
    {
      "epoch": 0.5354666666666666,
      "grad_norm": 0.7655681891587585,
      "learning_rate": 1.9628881383479356e-06,
      "loss": 0.0143,
      "step": 502
    },
    {
      "epoch": 0.5365333333333333,
      "grad_norm": 1.0787203352903525,
      "learning_rate": 1.962552117402508e-06,
      "loss": 0.0252,
      "step": 503
    },
    {
      "epoch": 0.5376,
      "grad_norm": 0.4951788218638876,
      "learning_rate": 1.9622146111156854e-06,
      "loss": 0.0167,
      "step": 504
    },
    {
      "epoch": 0.5386666666666666,
      "grad_norm": 1.0190831345745026,
      "learning_rate": 1.9618756200082834e-06,
      "loss": 0.0209,
      "step": 505
    },
    {
      "epoch": 0.5397333333333333,
      "grad_norm": 1.5762111962709655,
      "learning_rate": 1.9615351446034087e-06,
      "loss": 0.0548,
      "step": 506
    },
    {
      "epoch": 0.5408,
      "grad_norm": 0.4583231105242901,
      "learning_rate": 1.9611931854264588e-06,
      "loss": 0.011,
      "step": 507
    },
    {
      "epoch": 0.5418666666666667,
      "grad_norm": 0.5862500686640746,
      "learning_rate": 1.96084974300512e-06,
      "loss": 0.0077,
      "step": 508
    },
    {
      "epoch": 0.5429333333333334,
      "grad_norm": 0.8574568627565791,
      "learning_rate": 1.960504817869369e-06,
      "loss": 0.0373,
      "step": 509
    },
    {
      "epoch": 0.544,
      "grad_norm": 1.2010733201915198,
      "learning_rate": 1.960158410551468e-06,
      "loss": 0.0447,
      "step": 510
    },
    {
      "epoch": 0.5450666666666667,
      "grad_norm": 0.8555492767495577,
      "learning_rate": 1.9598105215859696e-06,
      "loss": 0.0466,
      "step": 511
    },
    {
      "epoch": 0.5461333333333334,
      "grad_norm": 0.10178459528093674,
      "learning_rate": 1.95946115150971e-06,
      "loss": 0.0021,
      "step": 512
    },
    {
      "epoch": 0.5472,
      "grad_norm": 0.800504235107064,
      "learning_rate": 1.9591103008618125e-06,
      "loss": 0.0274,
      "step": 513
    },
    {
      "epoch": 0.5482666666666667,
      "grad_norm": 0.5316447147161468,
      "learning_rate": 1.9587579701836846e-06,
      "loss": 0.0079,
      "step": 514
    },
    {
      "epoch": 0.5493333333333333,
      "grad_norm": 1.736227171167706,
      "learning_rate": 1.9584041600190176e-06,
      "loss": 0.0368,
      "step": 515
    },
    {
      "epoch": 0.5504,
      "grad_norm": 0.733523786009821,
      "learning_rate": 1.958048870913786e-06,
      "loss": 0.0135,
      "step": 516
    },
    {
      "epoch": 0.5514666666666667,
      "grad_norm": 0.5321584802143156,
      "learning_rate": 1.9576921034162466e-06,
      "loss": 0.0211,
      "step": 517
    },
    {
      "epoch": 0.5525333333333333,
      "grad_norm": 0.9700623063668581,
      "learning_rate": 1.9573338580769374e-06,
      "loss": 0.0213,
      "step": 518
    },
    {
      "epoch": 0.5536,
      "grad_norm": 1.5444464892245888,
      "learning_rate": 1.9569741354486763e-06,
      "loss": 0.064,
      "step": 519
    },
    {
      "epoch": 0.5546666666666666,
      "grad_norm": 0.9917141522432631,
      "learning_rate": 1.9566129360865625e-06,
      "loss": 0.0233,
      "step": 520
    },
    {
      "epoch": 0.5557333333333333,
      "grad_norm": 0.1624747704143236,
      "learning_rate": 1.956250260547972e-06,
      "loss": 0.0054,
      "step": 521
    },
    {
      "epoch": 0.5568,
      "grad_norm": 0.020676204559768888,
      "learning_rate": 1.955886109392561e-06,
      "loss": 0.0006,
      "step": 522
    },
    {
      "epoch": 0.5578666666666666,
      "grad_norm": 2.9044828339315623,
      "learning_rate": 1.95552048318226e-06,
      "loss": 0.0408,
      "step": 523
    },
    {
      "epoch": 0.5589333333333333,
      "grad_norm": 0.5831891601240735,
      "learning_rate": 1.9551533824812774e-06,
      "loss": 0.0097,
      "step": 524
    },
    {
      "epoch": 0.56,
      "grad_norm": 0.5857357629454975,
      "learning_rate": 1.9547848078560974e-06,
      "loss": 0.0139,
      "step": 525
    },
    {
      "epoch": 0.5610666666666667,
      "grad_norm": 0.21217825118743366,
      "learning_rate": 1.9544147598754773e-06,
      "loss": 0.0032,
      "step": 526
    },
    {
      "epoch": 0.5621333333333334,
      "grad_norm": 2.4670392982236082,
      "learning_rate": 1.954043239110449e-06,
      "loss": 0.0316,
      "step": 527
    },
    {
      "epoch": 0.5632,
      "grad_norm": 0.5406170478676595,
      "learning_rate": 1.9536702461343164e-06,
      "loss": 0.0224,
      "step": 528
    },
    {
      "epoch": 0.5642666666666667,
      "grad_norm": 0.055518527171553374,
      "learning_rate": 1.953295781522656e-06,
      "loss": 0.002,
      "step": 529
    },
    {
      "epoch": 0.5653333333333334,
      "grad_norm": 1.3934912347870063,
      "learning_rate": 1.9529198458533144e-06,
      "loss": 0.0398,
      "step": 530
    },
    {
      "epoch": 0.5664,
      "grad_norm": 0.4045943505474674,
      "learning_rate": 1.952542439706408e-06,
      "loss": 0.0058,
      "step": 531
    },
    {
      "epoch": 0.5674666666666667,
      "grad_norm": 1.7864041111845064,
      "learning_rate": 1.9521635636643235e-06,
      "loss": 0.0444,
      "step": 532
    },
    {
      "epoch": 0.5685333333333333,
      "grad_norm": 1.2920646109126186,
      "learning_rate": 1.9517832183117157e-06,
      "loss": 0.0388,
      "step": 533
    },
    {
      "epoch": 0.5696,
      "grad_norm": 0.7948792055347192,
      "learning_rate": 1.9514014042355057e-06,
      "loss": 0.0168,
      "step": 534
    },
    {
      "epoch": 0.5706666666666667,
      "grad_norm": 1.6705131453586166,
      "learning_rate": 1.951018122024881e-06,
      "loss": 0.1448,
      "step": 535
    },
    {
      "epoch": 0.5717333333333333,
      "grad_norm": 1.1168431435244262,
      "learning_rate": 1.950633372271296e-06,
      "loss": 0.0415,
      "step": 536
    },
    {
      "epoch": 0.5728,
      "grad_norm": 0.6514860220679357,
      "learning_rate": 1.9502471555684693e-06,
      "loss": 0.0099,
      "step": 537
    },
    {
      "epoch": 0.5738666666666666,
      "grad_norm": 1.2822333127340622,
      "learning_rate": 1.949859472512382e-06,
      "loss": 0.0334,
      "step": 538
    },
    {
      "epoch": 0.5749333333333333,
      "grad_norm": 0.05784985500576959,
      "learning_rate": 1.9494703237012795e-06,
      "loss": 0.002,
      "step": 539
    },
    {
      "epoch": 0.576,
      "grad_norm": 0.9322715943880168,
      "learning_rate": 1.9490797097356673e-06,
      "loss": 0.0382,
      "step": 540
    },
    {
      "epoch": 0.5770666666666666,
      "grad_norm": 1.195879018881952,
      "learning_rate": 1.9486876312183136e-06,
      "loss": 0.0307,
      "step": 541
    },
    {
      "epoch": 0.5781333333333334,
      "grad_norm": 0.508657257504912,
      "learning_rate": 1.9482940887542458e-06,
      "loss": 0.0095,
      "step": 542
    },
    {
      "epoch": 0.5792,
      "grad_norm": 0.06695661372207187,
      "learning_rate": 1.9478990829507503e-06,
      "loss": 0.0016,
      "step": 543
    },
    {
      "epoch": 0.5802666666666667,
      "grad_norm": 0.6717175414997428,
      "learning_rate": 1.947502614417372e-06,
      "loss": 0.0143,
      "step": 544
    },
    {
      "epoch": 0.5813333333333334,
      "grad_norm": 0.3243179957792768,
      "learning_rate": 1.9471046837659123e-06,
      "loss": 0.0112,
      "step": 545
    },
    {
      "epoch": 0.5824,
      "grad_norm": 0.7631675841259196,
      "learning_rate": 1.9467052916104297e-06,
      "loss": 0.0276,
      "step": 546
    },
    {
      "epoch": 0.5834666666666667,
      "grad_norm": 2.0144599920001727,
      "learning_rate": 1.946304438567237e-06,
      "loss": 0.0921,
      "step": 547
    },
    {
      "epoch": 0.5845333333333333,
      "grad_norm": 1.0636321610949848,
      "learning_rate": 1.945902125254902e-06,
      "loss": 0.0187,
      "step": 548
    },
    {
      "epoch": 0.5856,
      "grad_norm": 0.35874953906327267,
      "learning_rate": 1.945498352294246e-06,
      "loss": 0.0073,
      "step": 549
    },
    {
      "epoch": 0.5866666666666667,
      "grad_norm": 0.11859155797457026,
      "learning_rate": 1.9450931203083423e-06,
      "loss": 0.004,
      "step": 550
    },
    {
      "epoch": 0.5866666666666667,
      "eval_loss": 0.0564335361123085,
      "eval_runtime": 8.2114,
      "eval_samples_per_second": 12.178,
      "eval_steps_per_second": 6.089,
      "step": 550
    },
    {
      "epoch": 0.5877333333333333,
      "grad_norm": 0.9039799412688934,
      "learning_rate": 1.9446864299225154e-06,
      "loss": 0.0333,
      "step": 551
    },
    {
      "epoch": 0.5888,
      "grad_norm": 0.7538502138841161,
      "learning_rate": 1.9442782817643423e-06,
      "loss": 0.0563,
      "step": 552
    },
    {
      "epoch": 0.5898666666666667,
      "grad_norm": 0.1358781642223268,
      "learning_rate": 1.943868676463646e-06,
      "loss": 0.0025,
      "step": 553
    },
    {
      "epoch": 0.5909333333333333,
      "grad_norm": 1.48617799274998,
      "learning_rate": 1.943457614652501e-06,
      "loss": 0.047,
      "step": 554
    },
    {
      "epoch": 0.592,
      "grad_norm": 1.1293466674581456,
      "learning_rate": 1.9430450969652287e-06,
      "loss": 0.0385,
      "step": 555
    },
    {
      "epoch": 0.5930666666666666,
      "grad_norm": 0.8012169267070843,
      "learning_rate": 1.9426311240383965e-06,
      "loss": 0.013,
      "step": 556
    },
    {
      "epoch": 0.5941333333333333,
      "grad_norm": 0.6572329690288506,
      "learning_rate": 1.9422156965108168e-06,
      "loss": 0.0306,
      "step": 557
    },
    {
      "epoch": 0.5952,
      "grad_norm": 0.19306800078152603,
      "learning_rate": 1.9417988150235494e-06,
      "loss": 0.0038,
      "step": 558
    },
    {
      "epoch": 0.5962666666666666,
      "grad_norm": 1.3017265451514113,
      "learning_rate": 1.9413804802198945e-06,
      "loss": 0.0476,
      "step": 559
    },
    {
      "epoch": 0.5973333333333334,
      "grad_norm": 0.8375105380873863,
      "learning_rate": 1.9409606927453965e-06,
      "loss": 0.014,
      "step": 560
    },
    {
      "epoch": 0.5984,
      "grad_norm": 0.8885298874629408,
      "learning_rate": 1.940539453247842e-06,
      "loss": 0.0151,
      "step": 561
    },
    {
      "epoch": 0.5994666666666667,
      "grad_norm": 1.5102673561210778,
      "learning_rate": 1.9401167623772573e-06,
      "loss": 0.0374,
      "step": 562
    },
    {
      "epoch": 0.6005333333333334,
      "grad_norm": 1.987721672034343,
      "learning_rate": 1.9396926207859082e-06,
      "loss": 0.0953,
      "step": 563
    },
    {
      "epoch": 0.6016,
      "grad_norm": 0.22000547641573698,
      "learning_rate": 1.9392670291283e-06,
      "loss": 0.0046,
      "step": 564
    },
    {
      "epoch": 0.6026666666666667,
      "grad_norm": 0.8882455389638617,
      "learning_rate": 1.9388399880611754e-06,
      "loss": 0.0229,
      "step": 565
    },
    {
      "epoch": 0.6037333333333333,
      "grad_norm": 0.5255035590758061,
      "learning_rate": 1.938411498243513e-06,
      "loss": 0.0228,
      "step": 566
    },
    {
      "epoch": 0.6048,
      "grad_norm": 0.343214637954108,
      "learning_rate": 1.9379815603365282e-06,
      "loss": 0.012,
      "step": 567
    },
    {
      "epoch": 0.6058666666666667,
      "grad_norm": 0.6053924697986651,
      "learning_rate": 1.93755017500367e-06,
      "loss": 0.0145,
      "step": 568
    },
    {
      "epoch": 0.6069333333333333,
      "grad_norm": 0.9254674234883058,
      "learning_rate": 1.937117342910621e-06,
      "loss": 0.0216,
      "step": 569
    },
    {
      "epoch": 0.608,
      "grad_norm": 0.8523880140703605,
      "learning_rate": 1.936683064725297e-06,
      "loss": 0.0221,
      "step": 570
    },
    {
      "epoch": 0.6090666666666666,
      "grad_norm": 0.9347656082249436,
      "learning_rate": 1.936247341117845e-06,
      "loss": 0.0188,
      "step": 571
    },
    {
      "epoch": 0.6101333333333333,
      "grad_norm": 0.8541104243225714,
      "learning_rate": 1.935810172760642e-06,
      "loss": 0.0473,
      "step": 572
    },
    {
      "epoch": 0.6112,
      "grad_norm": 0.8791764463094474,
      "learning_rate": 1.9353715603282955e-06,
      "loss": 0.0532,
      "step": 573
    },
    {
      "epoch": 0.6122666666666666,
      "grad_norm": 2.699319257248717,
      "learning_rate": 1.93493150449764e-06,
      "loss": 0.0537,
      "step": 574
    },
    {
      "epoch": 0.6133333333333333,
      "grad_norm": 0.1353088356819775,
      "learning_rate": 1.9344900059477396e-06,
      "loss": 0.0037,
      "step": 575
    },
    {
      "epoch": 0.6144,
      "grad_norm": 0.34618338498092704,
      "learning_rate": 1.934047065359881e-06,
      "loss": 0.0062,
      "step": 576
    },
    {
      "epoch": 0.6154666666666667,
      "grad_norm": 1.7078634001380137,
      "learning_rate": 1.9336026834175797e-06,
      "loss": 0.0771,
      "step": 577
    },
    {
      "epoch": 0.6165333333333334,
      "grad_norm": 0.14844162026860286,
      "learning_rate": 1.933156860806574e-06,
      "loss": 0.0031,
      "step": 578
    },
    {
      "epoch": 0.6176,
      "grad_norm": 1.2154534323817083,
      "learning_rate": 1.9327095982148254e-06,
      "loss": 0.0239,
      "step": 579
    },
    {
      "epoch": 0.6186666666666667,
      "grad_norm": 0.3272739540580518,
      "learning_rate": 1.932260896332517e-06,
      "loss": 0.007,
      "step": 580
    },
    {
      "epoch": 0.6197333333333334,
      "grad_norm": 0.10198673028774524,
      "learning_rate": 1.9318107558520538e-06,
      "loss": 0.0019,
      "step": 581
    },
    {
      "epoch": 0.6208,
      "grad_norm": 0.16913851829841492,
      "learning_rate": 1.9313591774680597e-06,
      "loss": 0.0038,
      "step": 582
    },
    {
      "epoch": 0.6218666666666667,
      "grad_norm": 0.07959301608009922,
      "learning_rate": 1.9309061618773786e-06,
      "loss": 0.0024,
      "step": 583
    },
    {
      "epoch": 0.6229333333333333,
      "grad_norm": 1.0893009664541993,
      "learning_rate": 1.9304517097790717e-06,
      "loss": 0.0407,
      "step": 584
    },
    {
      "epoch": 0.624,
      "grad_norm": 1.2631392794129843,
      "learning_rate": 1.929995821874417e-06,
      "loss": 0.0352,
      "step": 585
    },
    {
      "epoch": 0.6250666666666667,
      "grad_norm": 1.3997694152883324,
      "learning_rate": 1.9295384988669073e-06,
      "loss": 0.0393,
      "step": 586
    },
    {
      "epoch": 0.6261333333333333,
      "grad_norm": 1.6978660405005055,
      "learning_rate": 1.9290797414622513e-06,
      "loss": 0.0352,
      "step": 587
    },
    {
      "epoch": 0.6272,
      "grad_norm": 0.6308822438288059,
      "learning_rate": 1.928619550368371e-06,
      "loss": 0.0132,
      "step": 588
    },
    {
      "epoch": 0.6282666666666666,
      "grad_norm": 0.1371164881678459,
      "learning_rate": 1.9281579262953986e-06,
      "loss": 0.0025,
      "step": 589
    },
    {
      "epoch": 0.6293333333333333,
      "grad_norm": 0.6370240527064276,
      "learning_rate": 1.9276948699556807e-06,
      "loss": 0.0112,
      "step": 590
    },
    {
      "epoch": 0.6304,
      "grad_norm": 0.3056363205998125,
      "learning_rate": 1.9272303820637725e-06,
      "loss": 0.0058,
      "step": 591
    },
    {
      "epoch": 0.6314666666666666,
      "grad_norm": 0.55831070154103,
      "learning_rate": 1.926764463336438e-06,
      "loss": 0.01,
      "step": 592
    },
    {
      "epoch": 0.6325333333333333,
      "grad_norm": 0.8262080377150349,
      "learning_rate": 1.9262971144926496e-06,
      "loss": 0.0245,
      "step": 593
    },
    {
      "epoch": 0.6336,
      "grad_norm": 0.7226875150679721,
      "learning_rate": 1.9258283362535866e-06,
      "loss": 0.0097,
      "step": 594
    },
    {
      "epoch": 0.6346666666666667,
      "grad_norm": 0.042475954479241414,
      "learning_rate": 1.925358129342634e-06,
      "loss": 0.0006,
      "step": 595
    },
    {
      "epoch": 0.6357333333333334,
      "grad_norm": 0.859032501597276,
      "learning_rate": 1.9248864944853816e-06,
      "loss": 0.0378,
      "step": 596
    },
    {
      "epoch": 0.6368,
      "grad_norm": 1.3244307530631885,
      "learning_rate": 1.9244134324096223e-06,
      "loss": 0.0517,
      "step": 597
    },
    {
      "epoch": 0.6378666666666667,
      "grad_norm": 0.5857618506011136,
      "learning_rate": 1.9239389438453514e-06,
      "loss": 0.003,
      "step": 598
    },
    {
      "epoch": 0.6389333333333334,
      "grad_norm": 1.575917222926197,
      "learning_rate": 1.9234630295247656e-06,
      "loss": 0.0524,
      "step": 599
    },
    {
      "epoch": 0.64,
      "grad_norm": 0.03170525562888107,
      "learning_rate": 1.922985690182262e-06,
      "loss": 0.0008,
      "step": 600
    },
    {
      "epoch": 0.64,
      "eval_loss": 0.08799741417169571,
      "eval_runtime": 8.2278,
      "eval_samples_per_second": 12.154,
      "eval_steps_per_second": 6.077,
      "step": 600
    },
    {
      "epoch": 0.6410666666666667,
      "grad_norm": 0.009690918488452322,
      "learning_rate": 1.922506926554436e-06,
      "loss": 0.0003,
      "step": 601
    },
    {
      "epoch": 0.6421333333333333,
      "grad_norm": 1.7933818506504124,
      "learning_rate": 1.922026739380082e-06,
      "loss": 0.0453,
      "step": 602
    },
    {
      "epoch": 0.6432,
      "grad_norm": 0.6728832662063972,
      "learning_rate": 1.92154512940019e-06,
      "loss": 0.0127,
      "step": 603
    },
    {
      "epoch": 0.6442666666666667,
      "grad_norm": 2.0454536910248007,
      "learning_rate": 1.921062097357946e-06,
      "loss": 0.0386,
      "step": 604
    },
    {
      "epoch": 0.6453333333333333,
      "grad_norm": 0.5798489601175519,
      "learning_rate": 1.920577643998731e-06,
      "loss": 0.0071,
      "step": 605
    },
    {
      "epoch": 0.6464,
      "grad_norm": 0.2394641534653747,
      "learning_rate": 1.9200917700701174e-06,
      "loss": 0.0036,
      "step": 606
    },
    {
      "epoch": 0.6474666666666666,
      "grad_norm": 0.9346485691984059,
      "learning_rate": 1.9196044763218716e-06,
      "loss": 0.0109,
      "step": 607
    },
    {
      "epoch": 0.6485333333333333,
      "grad_norm": 0.20767795476182135,
      "learning_rate": 1.919115763505951e-06,
      "loss": 0.0032,
      "step": 608
    },
    {
      "epoch": 0.6496,
      "grad_norm": 0.9746443826052226,
      "learning_rate": 1.9186256323765014e-06,
      "loss": 0.044,
      "step": 609
    },
    {
      "epoch": 0.6506666666666666,
      "grad_norm": 0.03632552447261078,
      "learning_rate": 1.9181340836898583e-06,
      "loss": 0.0008,
      "step": 610
    },
    {
      "epoch": 0.6517333333333334,
      "grad_norm": 0.016034323467636072,
      "learning_rate": 1.9176411182045444e-06,
      "loss": 0.0005,
      "step": 611
    },
    {
      "epoch": 0.6528,
      "grad_norm": 1.2072262713544197,
      "learning_rate": 1.9171467366812685e-06,
      "loss": 0.0396,
      "step": 612
    },
    {
      "epoch": 0.6538666666666667,
      "grad_norm": 0.06082727387699129,
      "learning_rate": 1.9166509398829245e-06,
      "loss": 0.0012,
      "step": 613
    },
    {
      "epoch": 0.6549333333333334,
      "grad_norm": 0.3879482512495693,
      "learning_rate": 1.9161537285745914e-06,
      "loss": 0.0039,
      "step": 614
    },
    {
      "epoch": 0.656,
      "grad_norm": 0.638808482088454,
      "learning_rate": 1.915655103523529e-06,
      "loss": 0.0074,
      "step": 615
    },
    {
      "epoch": 0.6570666666666667,
      "grad_norm": 0.8138491050409327,
      "learning_rate": 1.91515506549918e-06,
      "loss": 0.0132,
      "step": 616
    },
    {
      "epoch": 0.6581333333333333,
      "grad_norm": 0.540067462167089,
      "learning_rate": 1.9146536152731677e-06,
      "loss": 0.0172,
      "step": 617
    },
    {
      "epoch": 0.6592,
      "grad_norm": 0.6745443836623596,
      "learning_rate": 1.914150753619294e-06,
      "loss": 0.0127,
      "step": 618
    },
    {
      "epoch": 0.6602666666666667,
      "grad_norm": 0.0571756718504632,
      "learning_rate": 1.9136464813135383e-06,
      "loss": 0.0013,
      "step": 619
    },
    {
      "epoch": 0.6613333333333333,
      "grad_norm": 1.0696688251669149,
      "learning_rate": 1.9131407991340576e-06,
      "loss": 0.0191,
      "step": 620
    },
    {
      "epoch": 0.6624,
      "grad_norm": 0.9286743366557831,
      "learning_rate": 1.9126337078611853e-06,
      "loss": 0.0155,
      "step": 621
    },
    {
      "epoch": 0.6634666666666666,
      "grad_norm": 0.7214214892481057,
      "learning_rate": 1.9121252082774273e-06,
      "loss": 0.0122,
      "step": 622
    },
    {
      "epoch": 0.6645333333333333,
      "grad_norm": 1.0342887383390953,
      "learning_rate": 1.911615301167464e-06,
      "loss": 0.0183,
      "step": 623
    },
    {
      "epoch": 0.6656,
      "grad_norm": 1.158658852177621,
      "learning_rate": 1.9111039873181477e-06,
      "loss": 0.0208,
      "step": 624
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 0.933991719728494,
      "learning_rate": 1.910591267518501e-06,
      "loss": 0.0447,
      "step": 625
    },
    {
      "epoch": 0.6677333333333333,
      "grad_norm": 2.6089665241843285,
      "learning_rate": 1.910077142559716e-06,
      "loss": 0.0638,
      "step": 626
    },
    {
      "epoch": 0.6688,
      "grad_norm": 2.250722631227982,
      "learning_rate": 1.909561613235154e-06,
      "loss": 0.0592,
      "step": 627
    },
    {
      "epoch": 0.6698666666666667,
      "grad_norm": 0.08631342544886995,
      "learning_rate": 1.909044680340343e-06,
      "loss": 0.0031,
      "step": 628
    },
    {
      "epoch": 0.6709333333333334,
      "grad_norm": 0.15542900973082988,
      "learning_rate": 1.9085263446729764e-06,
      "loss": 0.0028,
      "step": 629
    },
    {
      "epoch": 0.672,
      "grad_norm": 1.022068539031681,
      "learning_rate": 1.908006607032913e-06,
      "loss": 0.0189,
      "step": 630
    },
    {
      "epoch": 0.6730666666666667,
      "grad_norm": 0.15157861026738817,
      "learning_rate": 1.907485468222174e-06,
      "loss": 0.0033,
      "step": 631
    },
    {
      "epoch": 0.6741333333333334,
      "grad_norm": 0.7061085215681796,
      "learning_rate": 1.906962929044944e-06,
      "loss": 0.0353,
      "step": 632
    },
    {
      "epoch": 0.6752,
      "grad_norm": 1.7929133283068759,
      "learning_rate": 1.9064389903075675e-06,
      "loss": 0.097,
      "step": 633
    },
    {
      "epoch": 0.6762666666666667,
      "grad_norm": 0.8589919170763982,
      "learning_rate": 1.9059136528185498e-06,
      "loss": 0.0157,
      "step": 634
    },
    {
      "epoch": 0.6773333333333333,
      "grad_norm": 0.36494696901420853,
      "learning_rate": 1.9053869173885536e-06,
      "loss": 0.0067,
      "step": 635
    },
    {
      "epoch": 0.6784,
      "grad_norm": 0.6532318752374391,
      "learning_rate": 1.9048587848303995e-06,
      "loss": 0.0202,
      "step": 636
    },
    {
      "epoch": 0.6794666666666667,
      "grad_norm": 0.8657373525057245,
      "learning_rate": 1.9043292559590633e-06,
      "loss": 0.027,
      "step": 637
    },
    {
      "epoch": 0.6805333333333333,
      "grad_norm": 0.5189799148758188,
      "learning_rate": 1.9037983315916765e-06,
      "loss": 0.0137,
      "step": 638
    },
    {
      "epoch": 0.6816,
      "grad_norm": 0.04327467414717054,
      "learning_rate": 1.9032660125475236e-06,
      "loss": 0.0008,
      "step": 639
    },
    {
      "epoch": 0.6826666666666666,
      "grad_norm": 0.28806340514043643,
      "learning_rate": 1.9027322996480405e-06,
      "loss": 0.0057,
      "step": 640
    },
    {
      "epoch": 0.6837333333333333,
      "grad_norm": 0.7926939670917631,
      "learning_rate": 1.9021971937168152e-06,
      "loss": 0.0159,
      "step": 641
    },
    {
      "epoch": 0.6848,
      "grad_norm": 0.10089339697782138,
      "learning_rate": 1.9016606955795846e-06,
      "loss": 0.0022,
      "step": 642
    },
    {
      "epoch": 0.6858666666666666,
      "grad_norm": 1.4015949919911506,
      "learning_rate": 1.9011228060642346e-06,
      "loss": 0.0423,
      "step": 643
    },
    {
      "epoch": 0.6869333333333333,
      "grad_norm": 0.2377784994817877,
      "learning_rate": 1.9005835260007969e-06,
      "loss": 0.0037,
      "step": 644
    },
    {
      "epoch": 0.688,
      "grad_norm": 0.41763550718320475,
      "learning_rate": 1.9000428562214505e-06,
      "loss": 0.0066,
      "step": 645
    },
    {
      "epoch": 0.6890666666666667,
      "grad_norm": 0.16240431871680872,
      "learning_rate": 1.899500797560518e-06,
      "loss": 0.0048,
      "step": 646
    },
    {
      "epoch": 0.6901333333333334,
      "grad_norm": 0.36944281047610233,
      "learning_rate": 1.8989573508544653e-06,
      "loss": 0.0044,
      "step": 647
    },
    {
      "epoch": 0.6912,
      "grad_norm": 0.048698287672728456,
      "learning_rate": 1.8984125169419006e-06,
      "loss": 0.001,
      "step": 648
    },
    {
      "epoch": 0.6922666666666667,
      "grad_norm": 1.1741308042050045,
      "learning_rate": 1.8978662966635724e-06,
      "loss": 0.0275,
      "step": 649
    },
    {
      "epoch": 0.6933333333333334,
      "grad_norm": 1.3558362474002168,
      "learning_rate": 1.8973186908623685e-06,
      "loss": 0.0205,
      "step": 650
    },
    {
      "epoch": 0.6933333333333334,
      "eval_loss": 0.07789424806833267,
      "eval_runtime": 8.3568,
      "eval_samples_per_second": 11.966,
      "eval_steps_per_second": 5.983,
      "step": 650
    },
    {
      "epoch": 0.6944,
      "grad_norm": 1.7482459975039009,
      "learning_rate": 1.8967697003833154e-06,
      "loss": 0.0648,
      "step": 651
    },
    {
      "epoch": 0.6954666666666667,
      "grad_norm": 0.9838146620076734,
      "learning_rate": 1.8962193260735756e-06,
      "loss": 0.0363,
      "step": 652
    },
    {
      "epoch": 0.6965333333333333,
      "grad_norm": 0.21390240495670962,
      "learning_rate": 1.895667568782447e-06,
      "loss": 0.0024,
      "step": 653
    },
    {
      "epoch": 0.6976,
      "grad_norm": 0.8151337293902924,
      "learning_rate": 1.8951144293613618e-06,
      "loss": 0.0148,
      "step": 654
    },
    {
      "epoch": 0.6986666666666667,
      "grad_norm": 0.5162306807123138,
      "learning_rate": 1.8945599086638854e-06,
      "loss": 0.0171,
      "step": 655
    },
    {
      "epoch": 0.6997333333333333,
      "grad_norm": 0.38429318683486613,
      "learning_rate": 1.894004007545715e-06,
      "loss": 0.0079,
      "step": 656
    },
    {
      "epoch": 0.7008,
      "grad_norm": 0.2911510256599981,
      "learning_rate": 1.8934467268646758e-06,
      "loss": 0.0072,
      "step": 657
    },
    {
      "epoch": 0.7018666666666666,
      "grad_norm": 0.6637191436854831,
      "learning_rate": 1.892888067480725e-06,
      "loss": 0.0258,
      "step": 658
    },
    {
      "epoch": 0.7029333333333333,
      "grad_norm": 0.8101059665578735,
      "learning_rate": 1.8923280302559442e-06,
      "loss": 0.015,
      "step": 659
    },
    {
      "epoch": 0.704,
      "grad_norm": 0.09007455887002334,
      "learning_rate": 1.8917666160545443e-06,
      "loss": 0.0015,
      "step": 660
    },
    {
      "epoch": 0.7050666666666666,
      "grad_norm": 0.4166713394320213,
      "learning_rate": 1.891203825742858e-06,
      "loss": 0.0066,
      "step": 661
    },
    {
      "epoch": 0.7061333333333333,
      "grad_norm": 1.140005754244955,
      "learning_rate": 1.8906396601893432e-06,
      "loss": 0.0296,
      "step": 662
    },
    {
      "epoch": 0.7072,
      "grad_norm": 0.7125664873819846,
      "learning_rate": 1.8900741202645807e-06,
      "loss": 0.0105,
      "step": 663
    },
    {
      "epoch": 0.7082666666666667,
      "grad_norm": 1.162278687098443,
      "learning_rate": 1.8895072068412701e-06,
      "loss": 0.0136,
      "step": 664
    },
    {
      "epoch": 0.7093333333333334,
      "grad_norm": 0.12850306398178354,
      "learning_rate": 1.8889389207942319e-06,
      "loss": 0.0019,
      "step": 665
    },
    {
      "epoch": 0.7104,
      "grad_norm": 0.9709033474128045,
      "learning_rate": 1.8883692630004044e-06,
      "loss": 0.0346,
      "step": 666
    },
    {
      "epoch": 0.7114666666666667,
      "grad_norm": 0.1236617961891707,
      "learning_rate": 1.8877982343388427e-06,
      "loss": 0.0019,
      "step": 667
    },
    {
      "epoch": 0.7125333333333334,
      "grad_norm": 0.4869541092375322,
      "learning_rate": 1.8872258356907174e-06,
      "loss": 0.0161,
      "step": 668
    },
    {
      "epoch": 0.7136,
      "grad_norm": 0.050618181244294486,
      "learning_rate": 1.8866520679393125e-06,
      "loss": 0.0006,
      "step": 669
    },
    {
      "epoch": 0.7146666666666667,
      "grad_norm": 1.4761081938136003,
      "learning_rate": 1.8860769319700258e-06,
      "loss": 0.1135,
      "step": 670
    },
    {
      "epoch": 0.7157333333333333,
      "grad_norm": 0.6252382856366319,
      "learning_rate": 1.8855004286703657e-06,
      "loss": 0.0104,
      "step": 671
    },
    {
      "epoch": 0.7168,
      "grad_norm": 0.6439559554870532,
      "learning_rate": 1.8849225589299507e-06,
      "loss": 0.0094,
      "step": 672
    },
    {
      "epoch": 0.7178666666666667,
      "grad_norm": 0.28214655901364616,
      "learning_rate": 1.8843433236405077e-06,
      "loss": 0.0061,
      "step": 673
    },
    {
      "epoch": 0.7189333333333333,
      "grad_norm": 0.5128291981023604,
      "learning_rate": 1.8837627236958715e-06,
      "loss": 0.033,
      "step": 674
    },
    {
      "epoch": 0.72,
      "grad_norm": 0.7869181765904392,
      "learning_rate": 1.8831807599919823e-06,
      "loss": 0.0308,
      "step": 675
    },
    {
      "epoch": 0.7210666666666666,
      "grad_norm": 0.006353292310558568,
      "learning_rate": 1.8825974334268842e-06,
      "loss": 0.0002,
      "step": 676
    },
    {
      "epoch": 0.7221333333333333,
      "grad_norm": 0.014967788496948244,
      "learning_rate": 1.8820127449007255e-06,
      "loss": 0.0004,
      "step": 677
    },
    {
      "epoch": 0.7232,
      "grad_norm": 0.21859308512940928,
      "learning_rate": 1.8814266953157553e-06,
      "loss": 0.0055,
      "step": 678
    },
    {
      "epoch": 0.7242666666666666,
      "grad_norm": 1.2461213147088943,
      "learning_rate": 1.8808392855763235e-06,
      "loss": 0.0371,
      "step": 679
    },
    {
      "epoch": 0.7253333333333334,
      "grad_norm": 0.10500248158730184,
      "learning_rate": 1.8802505165888784e-06,
      "loss": 0.0017,
      "step": 680
    },
    {
      "epoch": 0.7264,
      "grad_norm": 1.8198780794585319,
      "learning_rate": 1.8796603892619665e-06,
      "loss": 0.0656,
      "step": 681
    },
    {
      "epoch": 0.7274666666666667,
      "grad_norm": 0.6129129603289553,
      "learning_rate": 1.8790689045062297e-06,
      "loss": 0.0097,
      "step": 682
    },
    {
      "epoch": 0.7285333333333334,
      "grad_norm": 2.0670625892250705,
      "learning_rate": 1.8784760632344043e-06,
      "loss": 0.0618,
      "step": 683
    },
    {
      "epoch": 0.7296,
      "grad_norm": 0.040040852797923,
      "learning_rate": 1.8778818663613215e-06,
      "loss": 0.0006,
      "step": 684
    },
    {
      "epoch": 0.7306666666666667,
      "grad_norm": 0.3734802415610818,
      "learning_rate": 1.8772863148039026e-06,
      "loss": 0.0086,
      "step": 685
    },
    {
      "epoch": 0.7317333333333333,
      "grad_norm": 2.3829205537157403,
      "learning_rate": 1.8766894094811602e-06,
      "loss": 0.0727,
      "step": 686
    },
    {
      "epoch": 0.7328,
      "grad_norm": 0.07598476564118967,
      "learning_rate": 1.876091151314196e-06,
      "loss": 0.0015,
      "step": 687
    },
    {
      "epoch": 0.7338666666666667,
      "grad_norm": 0.8020548938183406,
      "learning_rate": 1.8754915412261989e-06,
      "loss": 0.0464,
      "step": 688
    },
    {
      "epoch": 0.7349333333333333,
      "grad_norm": 0.9189831756888492,
      "learning_rate": 1.8748905801424442e-06,
      "loss": 0.0097,
      "step": 689
    },
    {
      "epoch": 0.736,
      "grad_norm": 0.8698201134779201,
      "learning_rate": 1.8742882689902916e-06,
      "loss": 0.0387,
      "step": 690
    },
    {
      "epoch": 0.7370666666666666,
      "grad_norm": 0.3837850280105085,
      "learning_rate": 1.8736846086991853e-06,
      "loss": 0.0041,
      "step": 691
    },
    {
      "epoch": 0.7381333333333333,
      "grad_norm": 0.08376766362596819,
      "learning_rate": 1.8730796002006498e-06,
      "loss": 0.0013,
      "step": 692
    },
    {
      "epoch": 0.7392,
      "grad_norm": 0.8243964566185918,
      "learning_rate": 1.8724732444282914e-06,
      "loss": 0.0272,
      "step": 693
    },
    {
      "epoch": 0.7402666666666666,
      "grad_norm": 0.06561835665780034,
      "learning_rate": 1.8718655423177942e-06,
      "loss": 0.0012,
      "step": 694
    },
    {
      "epoch": 0.7413333333333333,
      "grad_norm": 1.9770659144069223,
      "learning_rate": 1.8712564948069212e-06,
      "loss": 0.1281,
      "step": 695
    },
    {
      "epoch": 0.7424,
      "grad_norm": 0.6808221729580057,
      "learning_rate": 1.8706461028355102e-06,
      "loss": 0.0278,
      "step": 696
    },
    {
      "epoch": 0.7434666666666667,
      "grad_norm": 0.2805141264349283,
      "learning_rate": 1.8700343673454748e-06,
      "loss": 0.0057,
      "step": 697
    },
    {
      "epoch": 0.7445333333333334,
      "grad_norm": 1.3630696487065848,
      "learning_rate": 1.869421289280801e-06,
      "loss": 0.0482,
      "step": 698
    },
    {
      "epoch": 0.7456,
      "grad_norm": 0.45934846960562553,
      "learning_rate": 1.8688068695875474e-06,
      "loss": 0.0195,
      "step": 699
    },
    {
      "epoch": 0.7466666666666667,
      "grad_norm": 0.8478316453189086,
      "learning_rate": 1.8681911092138417e-06,
      "loss": 0.022,
      "step": 700
    },
    {
      "epoch": 0.7466666666666667,
      "eval_loss": 0.14599137008190155,
      "eval_runtime": 8.3463,
      "eval_samples_per_second": 11.981,
      "eval_steps_per_second": 5.991,
      "step": 700
    },
    {
      "epoch": 0.7477333333333334,
      "grad_norm": 1.6537827342230196,
      "learning_rate": 1.8675740091098817e-06,
      "loss": 0.0361,
      "step": 701
    },
    {
      "epoch": 0.7488,
      "grad_norm": 1.3526954464708587,
      "learning_rate": 1.8669555702279318e-06,
      "loss": 0.0278,
      "step": 702
    },
    {
      "epoch": 0.7498666666666667,
      "grad_norm": 1.15397568692622,
      "learning_rate": 1.8663357935223228e-06,
      "loss": 0.0287,
      "step": 703
    },
    {
      "epoch": 0.7509333333333333,
      "grad_norm": 0.4320899696852264,
      "learning_rate": 1.865714679949449e-06,
      "loss": 0.0265,
      "step": 704
    },
    {
      "epoch": 0.752,
      "grad_norm": 0.21985410834860744,
      "learning_rate": 1.865092230467769e-06,
      "loss": 0.0081,
      "step": 705
    },
    {
      "epoch": 0.7530666666666667,
      "grad_norm": 0.64197353580112,
      "learning_rate": 1.8644684460378018e-06,
      "loss": 0.0168,
      "step": 706
    },
    {
      "epoch": 0.7541333333333333,
      "grad_norm": 0.49761728799072774,
      "learning_rate": 1.863843327622127e-06,
      "loss": 0.0396,
      "step": 707
    },
    {
      "epoch": 0.7552,
      "grad_norm": 1.283299911113395,
      "learning_rate": 1.8632168761853823e-06,
      "loss": 0.0178,
      "step": 708
    },
    {
      "epoch": 0.7562666666666666,
      "grad_norm": 2.118132944346098,
      "learning_rate": 1.8625890926942631e-06,
      "loss": 0.1543,
      "step": 709
    },
    {
      "epoch": 0.7573333333333333,
      "grad_norm": 0.2694109746423913,
      "learning_rate": 1.8619599781175195e-06,
      "loss": 0.0049,
      "step": 710
    },
    {
      "epoch": 0.7584,
      "grad_norm": 0.7318430595449652,
      "learning_rate": 1.8613295334259559e-06,
      "loss": 0.0307,
      "step": 711
    },
    {
      "epoch": 0.7594666666666666,
      "grad_norm": 0.1500358076950247,
      "learning_rate": 1.8606977595924293e-06,
      "loss": 0.0027,
      "step": 712
    },
    {
      "epoch": 0.7605333333333333,
      "grad_norm": 0.4718961665735485,
      "learning_rate": 1.8600646575918484e-06,
      "loss": 0.0138,
      "step": 713
    },
    {
      "epoch": 0.7616,
      "grad_norm": 0.8864599535171884,
      "learning_rate": 1.85943022840117e-06,
      "loss": 0.0442,
      "step": 714
    },
    {
      "epoch": 0.7626666666666667,
      "grad_norm": 0.2217109209467052,
      "learning_rate": 1.8587944729994002e-06,
      "loss": 0.0045,
      "step": 715
    },
    {
      "epoch": 0.7637333333333334,
      "grad_norm": 0.1856112558053254,
      "learning_rate": 1.8581573923675906e-06,
      "loss": 0.0035,
      "step": 716
    },
    {
      "epoch": 0.7648,
      "grad_norm": 0.5109471217029353,
      "learning_rate": 1.8575189874888392e-06,
      "loss": 0.0099,
      "step": 717
    },
    {
      "epoch": 0.7658666666666667,
      "grad_norm": 1.774273478868457,
      "learning_rate": 1.856879259348286e-06,
      "loss": 0.0653,
      "step": 718
    },
    {
      "epoch": 0.7669333333333334,
      "grad_norm": 0.6357577238575974,
      "learning_rate": 1.856238208933114e-06,
      "loss": 0.0194,
      "step": 719
    },
    {
      "epoch": 0.768,
      "grad_norm": 1.2519081954903675,
      "learning_rate": 1.8555958372325456e-06,
      "loss": 0.0445,
      "step": 720
    },
    {
      "epoch": 0.7690666666666667,
      "grad_norm": 0.13216131308199502,
      "learning_rate": 1.8549521452378434e-06,
      "loss": 0.0027,
      "step": 721
    },
    {
      "epoch": 0.7701333333333333,
      "grad_norm": 2.2932859639163157,
      "learning_rate": 1.8543071339423063e-06,
      "loss": 0.1572,
      "step": 722
    },
    {
      "epoch": 0.7712,
      "grad_norm": 0.8892398942439078,
      "learning_rate": 1.8536608043412696e-06,
      "loss": 0.0215,
      "step": 723
    },
    {
      "epoch": 0.7722666666666667,
      "grad_norm": 1.1044212758824195,
      "learning_rate": 1.853013157432103e-06,
      "loss": 0.0206,
      "step": 724
    },
    {
      "epoch": 0.7733333333333333,
      "grad_norm": 0.04737647613454427,
      "learning_rate": 1.8523641942142082e-06,
      "loss": 0.0014,
      "step": 725
    },
    {
      "epoch": 0.7744,
      "grad_norm": 1.8740445566312973,
      "learning_rate": 1.8517139156890193e-06,
      "loss": 0.057,
      "step": 726
    },
    {
      "epoch": 0.7754666666666666,
      "grad_norm": 0.5827727755530225,
      "learning_rate": 1.8510623228599994e-06,
      "loss": 0.0112,
      "step": 727
    },
    {
      "epoch": 0.7765333333333333,
      "grad_norm": 0.9932722718227635,
      "learning_rate": 1.8504094167326394e-06,
      "loss": 0.0462,
      "step": 728
    },
    {
      "epoch": 0.7776,
      "grad_norm": 0.2981346688194257,
      "learning_rate": 1.8497551983144576e-06,
      "loss": 0.0054,
      "step": 729
    },
    {
      "epoch": 0.7786666666666666,
      "grad_norm": 0.48501496823240203,
      "learning_rate": 1.8490996686149966e-06,
      "loss": 0.0145,
      "step": 730
    },
    {
      "epoch": 0.7797333333333333,
      "grad_norm": 0.785772938987278,
      "learning_rate": 1.8484428286458233e-06,
      "loss": 0.0135,
      "step": 731
    },
    {
      "epoch": 0.7808,
      "grad_norm": 0.23910637165939902,
      "learning_rate": 1.8477846794205257e-06,
      "loss": 0.0049,
      "step": 732
    },
    {
      "epoch": 0.7818666666666667,
      "grad_norm": 0.2177932327400783,
      "learning_rate": 1.8471252219547124e-06,
      "loss": 0.0088,
      "step": 733
    },
    {
      "epoch": 0.7829333333333334,
      "grad_norm": 1.1800699679193265,
      "learning_rate": 1.8464644572660113e-06,
      "loss": 0.0452,
      "step": 734
    },
    {
      "epoch": 0.784,
      "grad_norm": 2.025992908145484,
      "learning_rate": 1.8458023863740666e-06,
      "loss": 0.0565,
      "step": 735
    },
    {
      "epoch": 0.7850666666666667,
      "grad_norm": 0.3597458532138365,
      "learning_rate": 1.845139010300539e-06,
      "loss": 0.0052,
      "step": 736
    },
    {
      "epoch": 0.7861333333333334,
      "grad_norm": 0.23447688879389122,
      "learning_rate": 1.8444743300691026e-06,
      "loss": 0.0041,
      "step": 737
    },
    {
      "epoch": 0.7872,
      "grad_norm": 1.0217974031018804,
      "learning_rate": 1.8438083467054442e-06,
      "loss": 0.0174,
      "step": 738
    },
    {
      "epoch": 0.7882666666666667,
      "grad_norm": 0.4407473823580305,
      "learning_rate": 1.8431410612372617e-06,
      "loss": 0.0065,
      "step": 739
    },
    {
      "epoch": 0.7893333333333333,
      "grad_norm": 0.32606365652237235,
      "learning_rate": 1.8424724746942623e-06,
      "loss": 0.0072,
      "step": 740
    },
    {
      "epoch": 0.7904,
      "grad_norm": 1.3835298162527605,
      "learning_rate": 1.841802588108161e-06,
      "loss": 0.012,
      "step": 741
    },
    {
      "epoch": 0.7914666666666667,
      "grad_norm": 0.27234435434149745,
      "learning_rate": 1.8411314025126782e-06,
      "loss": 0.0043,
      "step": 742
    },
    {
      "epoch": 0.7925333333333333,
      "grad_norm": 0.9264895282601704,
      "learning_rate": 1.8404589189435393e-06,
      "loss": 0.0177,
      "step": 743
    },
    {
      "epoch": 0.7936,
      "grad_norm": 0.8074935065238816,
      "learning_rate": 1.8397851384384734e-06,
      "loss": 0.0196,
      "step": 744
    },
    {
      "epoch": 0.7946666666666666,
      "grad_norm": 0.1043654508508842,
      "learning_rate": 1.8391100620372097e-06,
      "loss": 0.0016,
      "step": 745
    },
    {
      "epoch": 0.7957333333333333,
      "grad_norm": 0.294338685689348,
      "learning_rate": 1.8384336907814782e-06,
      "loss": 0.0038,
      "step": 746
    },
    {
      "epoch": 0.7968,
      "grad_norm": 1.877458111911435,
      "learning_rate": 1.8377560257150058e-06,
      "loss": 0.1197,
      "step": 747
    },
    {
      "epoch": 0.7978666666666666,
      "grad_norm": 0.28728205490269343,
      "learning_rate": 1.8370770678835173e-06,
      "loss": 0.0032,
      "step": 748
    },
    {
      "epoch": 0.7989333333333334,
      "grad_norm": 0.13587158370211505,
      "learning_rate": 1.8363968183347311e-06,
      "loss": 0.0018,
      "step": 749
    },
    {
      "epoch": 0.8,
      "grad_norm": 0.012187216319295395,
      "learning_rate": 1.8357152781183601e-06,
      "loss": 0.0004,
      "step": 750
    },
    {
      "epoch": 0.8,
      "eval_loss": 0.12575645744800568,
      "eval_runtime": 8.3279,
      "eval_samples_per_second": 12.008,
      "eval_steps_per_second": 6.004,
      "step": 750
    },
    {
      "epoch": 0.8010666666666667,
      "grad_norm": 0.5959272862031918,
      "learning_rate": 1.8350324482861082e-06,
      "loss": 0.0089,
      "step": 751
    },
    {
      "epoch": 0.8021333333333334,
      "grad_norm": 0.8599561461029128,
      "learning_rate": 1.834348329891669e-06,
      "loss": 0.0735,
      "step": 752
    },
    {
      "epoch": 0.8032,
      "grad_norm": 0.3736642755602307,
      "learning_rate": 1.8336629239907253e-06,
      "loss": 0.0051,
      "step": 753
    },
    {
      "epoch": 0.8042666666666667,
      "grad_norm": 2.1960910655785706,
      "learning_rate": 1.8329762316409464e-06,
      "loss": 0.0474,
      "step": 754
    },
    {
      "epoch": 0.8053333333333333,
      "grad_norm": 0.23486155369972542,
      "learning_rate": 1.8322882539019862e-06,
      "loss": 0.0026,
      "step": 755
    },
    {
      "epoch": 0.8064,
      "grad_norm": 0.4135277646156687,
      "learning_rate": 1.831598991835483e-06,
      "loss": 0.0038,
      "step": 756
    },
    {
      "epoch": 0.8074666666666667,
      "grad_norm": 1.165467690491739,
      "learning_rate": 1.8309084465050568e-06,
      "loss": 0.0176,
      "step": 757
    },
    {
      "epoch": 0.8085333333333333,
      "grad_norm": 2.02646027680192,
      "learning_rate": 1.8302166189763071e-06,
      "loss": 0.0831,
      "step": 758
    },
    {
      "epoch": 0.8096,
      "grad_norm": 1.6085867863054608,
      "learning_rate": 1.829523510316813e-06,
      "loss": 0.0424,
      "step": 759
    },
    {
      "epoch": 0.8106666666666666,
      "grad_norm": 0.08394023384907391,
      "learning_rate": 1.8288291215961298e-06,
      "loss": 0.0011,
      "step": 760
    },
    {
      "epoch": 0.8117333333333333,
      "grad_norm": 1.5549433129437507,
      "learning_rate": 1.8281334538857881e-06,
      "loss": 0.0543,
      "step": 761
    },
    {
      "epoch": 0.8128,
      "grad_norm": 1.1958564233447515,
      "learning_rate": 1.827436508259293e-06,
      "loss": 0.1382,
      "step": 762
    },
    {
      "epoch": 0.8138666666666666,
      "grad_norm": 1.8875089670264504,
      "learning_rate": 1.8267382857921207e-06,
      "loss": 0.1114,
      "step": 763
    },
    {
      "epoch": 0.8149333333333333,
      "grad_norm": 0.8482532923040282,
      "learning_rate": 1.8260387875617183e-06,
      "loss": 0.0223,
      "step": 764
    },
    {
      "epoch": 0.816,
      "grad_norm": 0.33106328286533665,
      "learning_rate": 1.8253380146475007e-06,
      "loss": 0.0047,
      "step": 765
    },
    {
      "epoch": 0.8170666666666667,
      "grad_norm": 0.7790924737666333,
      "learning_rate": 1.8246359681308512e-06,
      "loss": 0.0542,
      "step": 766
    },
    {
      "epoch": 0.8181333333333334,
      "grad_norm": 1.2138816360719327,
      "learning_rate": 1.8239326490951171e-06,
      "loss": 0.0637,
      "step": 767
    },
    {
      "epoch": 0.8192,
      "grad_norm": 0.7481846968226915,
      "learning_rate": 1.82322805862561e-06,
      "loss": 0.0241,
      "step": 768
    },
    {
      "epoch": 0.8202666666666667,
      "grad_norm": 0.49646729395998357,
      "learning_rate": 1.822522197809603e-06,
      "loss": 0.0119,
      "step": 769
    },
    {
      "epoch": 0.8213333333333334,
      "grad_norm": 0.6802325293844261,
      "learning_rate": 1.8218150677363308e-06,
      "loss": 0.0157,
      "step": 770
    },
    {
      "epoch": 0.8224,
      "grad_norm": 0.3203206951174304,
      "learning_rate": 1.8211066694969851e-06,
      "loss": 0.0053,
      "step": 771
    },
    {
      "epoch": 0.8234666666666667,
      "grad_norm": 0.7237727939102068,
      "learning_rate": 1.8203970041847156e-06,
      "loss": 0.0196,
      "step": 772
    },
    {
      "epoch": 0.8245333333333333,
      "grad_norm": 0.5815456038630266,
      "learning_rate": 1.8196860728946267e-06,
      "loss": 0.0192,
      "step": 773
    },
    {
      "epoch": 0.8256,
      "grad_norm": 0.7384144199958987,
      "learning_rate": 1.8189738767237765e-06,
      "loss": 0.0167,
      "step": 774
    },
    {
      "epoch": 0.8266666666666667,
      "grad_norm": 0.8452498499854597,
      "learning_rate": 1.8182604167711754e-06,
      "loss": 0.0321,
      "step": 775
    },
    {
      "epoch": 0.8277333333333333,
      "grad_norm": 1.1155855351659207,
      "learning_rate": 1.8175456941377836e-06,
      "loss": 0.0908,
      "step": 776
    },
    {
      "epoch": 0.8288,
      "grad_norm": 0.5831585770270585,
      "learning_rate": 1.8168297099265092e-06,
      "loss": 0.0178,
      "step": 777
    },
    {
      "epoch": 0.8298666666666666,
      "grad_norm": 0.5159803955898651,
      "learning_rate": 1.8161124652422087e-06,
      "loss": 0.0509,
      "step": 778
    },
    {
      "epoch": 0.8309333333333333,
      "grad_norm": 0.39455087113487614,
      "learning_rate": 1.8153939611916815e-06,
      "loss": 0.0202,
      "step": 779
    },
    {
      "epoch": 0.832,
      "grad_norm": 0.4893148909516496,
      "learning_rate": 1.8146741988836724e-06,
      "loss": 0.0126,
      "step": 780
    },
    {
      "epoch": 0.8330666666666666,
      "grad_norm": 0.3944238669973449,
      "learning_rate": 1.8139531794288668e-06,
      "loss": 0.0089,
      "step": 781
    },
    {
      "epoch": 0.8341333333333333,
      "grad_norm": 1.3203783416668555,
      "learning_rate": 1.8132309039398898e-06,
      "loss": 0.044,
      "step": 782
    },
    {
      "epoch": 0.8352,
      "grad_norm": 0.3733033862606873,
      "learning_rate": 1.8125073735313056e-06,
      "loss": 0.0119,
      "step": 783
    },
    {
      "epoch": 0.8362666666666667,
      "grad_norm": 0.4157990871864292,
      "learning_rate": 1.8117825893196143e-06,
      "loss": 0.0171,
      "step": 784
    },
    {
      "epoch": 0.8373333333333334,
      "grad_norm": 0.9873948651016035,
      "learning_rate": 1.8110565524232508e-06,
      "loss": 0.0418,
      "step": 785
    },
    {
      "epoch": 0.8384,
      "grad_norm": 0.373128353176687,
      "learning_rate": 1.8103292639625835e-06,
      "loss": 0.0082,
      "step": 786
    },
    {
      "epoch": 0.8394666666666667,
      "grad_norm": 0.4700397236766773,
      "learning_rate": 1.8096007250599113e-06,
      "loss": 0.0094,
      "step": 787
    },
    {
      "epoch": 0.8405333333333334,
      "grad_norm": 1.1544212720503313,
      "learning_rate": 1.8088709368394634e-06,
      "loss": 0.0306,
      "step": 788
    },
    {
      "epoch": 0.8416,
      "grad_norm": 0.31405851779047433,
      "learning_rate": 1.808139900427397e-06,
      "loss": 0.0078,
      "step": 789
    },
    {
      "epoch": 0.8426666666666667,
      "grad_norm": 1.7290262085984993,
      "learning_rate": 1.8074076169517943e-06,
      "loss": 0.055,
      "step": 790
    },
    {
      "epoch": 0.8437333333333333,
      "grad_norm": 1.4623456102740366,
      "learning_rate": 1.8066740875426634e-06,
      "loss": 0.0607,
      "step": 791
    },
    {
      "epoch": 0.8448,
      "grad_norm": 0.4213527888839155,
      "learning_rate": 1.805939313331934e-06,
      "loss": 0.0078,
      "step": 792
    },
    {
      "epoch": 0.8458666666666667,
      "grad_norm": 0.8697053625190254,
      "learning_rate": 1.8052032954534564e-06,
      "loss": 0.0447,
      "step": 793
    },
    {
      "epoch": 0.8469333333333333,
      "grad_norm": 0.07002893438915347,
      "learning_rate": 1.8044660350430017e-06,
      "loss": 0.0017,
      "step": 794
    },
    {
      "epoch": 0.848,
      "grad_norm": 0.4633257884238649,
      "learning_rate": 1.8037275332382564e-06,
      "loss": 0.0084,
      "step": 795
    },
    {
      "epoch": 0.8490666666666666,
      "grad_norm": 1.3124423563701477,
      "learning_rate": 1.8029877911788241e-06,
      "loss": 0.0251,
      "step": 796
    },
    {
      "epoch": 0.8501333333333333,
      "grad_norm": 1.1207872973331625,
      "learning_rate": 1.802246810006221e-06,
      "loss": 0.0292,
      "step": 797
    },
    {
      "epoch": 0.8512,
      "grad_norm": 0.49388843139638594,
      "learning_rate": 1.8015045908638768e-06,
      "loss": 0.0416,
      "step": 798
    },
    {
      "epoch": 0.8522666666666666,
      "grad_norm": 0.35403955364230993,
      "learning_rate": 1.8007611348971307e-06,
      "loss": 0.0127,
      "step": 799
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 0.5034914729242231,
      "learning_rate": 1.8000164432532304e-06,
      "loss": 0.012,
      "step": 800
    },
    {
      "epoch": 0.8533333333333334,
      "eval_loss": 0.053370095789432526,
      "eval_runtime": 8.3092,
      "eval_samples_per_second": 12.035,
      "eval_steps_per_second": 6.017,
      "step": 800
    },
    {
      "epoch": 0.8544,
      "grad_norm": 0.36895224014402334,
      "learning_rate": 1.7992705170813306e-06,
      "loss": 0.0078,
      "step": 801
    },
    {
      "epoch": 0.8554666666666667,
      "grad_norm": 0.8252968745608963,
      "learning_rate": 1.7985233575324914e-06,
      "loss": 0.0272,
      "step": 802
    },
    {
      "epoch": 0.8565333333333334,
      "grad_norm": 1.1763097545031713,
      "learning_rate": 1.7977749657596758e-06,
      "loss": 0.0344,
      "step": 803
    },
    {
      "epoch": 0.8576,
      "grad_norm": 0.5414117222730287,
      "learning_rate": 1.7970253429177476e-06,
      "loss": 0.0099,
      "step": 804
    },
    {
      "epoch": 0.8586666666666667,
      "grad_norm": 1.2355141437660309,
      "learning_rate": 1.796274490163472e-06,
      "loss": 0.0879,
      "step": 805
    },
    {
      "epoch": 0.8597333333333333,
      "grad_norm": 0.5127741675009583,
      "learning_rate": 1.7955224086555105e-06,
      "loss": 0.0078,
      "step": 806
    },
    {
      "epoch": 0.8608,
      "grad_norm": 1.8632872491399184,
      "learning_rate": 1.7947690995544216e-06,
      "loss": 0.1231,
      "step": 807
    },
    {
      "epoch": 0.8618666666666667,
      "grad_norm": 0.3007814403727227,
      "learning_rate": 1.7940145640226581e-06,
      "loss": 0.0044,
      "step": 808
    },
    {
      "epoch": 0.8629333333333333,
      "grad_norm": 0.10168799783835121,
      "learning_rate": 1.7932588032245643e-06,
      "loss": 0.0017,
      "step": 809
    },
    {
      "epoch": 0.864,
      "grad_norm": 0.307820320152951,
      "learning_rate": 1.7925018183263769e-06,
      "loss": 0.0074,
      "step": 810
    },
    {
      "epoch": 0.8650666666666667,
      "grad_norm": 0.5182017885407396,
      "learning_rate": 1.7917436104962204e-06,
      "loss": 0.01,
      "step": 811
    },
    {
      "epoch": 0.8661333333333333,
      "grad_norm": 0.32253536427501683,
      "learning_rate": 1.7909841809041065e-06,
      "loss": 0.0187,
      "step": 812
    },
    {
      "epoch": 0.8672,
      "grad_norm": 0.34005533079953526,
      "learning_rate": 1.790223530721933e-06,
      "loss": 0.0057,
      "step": 813
    },
    {
      "epoch": 0.8682666666666666,
      "grad_norm": 0.1909316693569716,
      "learning_rate": 1.7894616611234806e-06,
      "loss": 0.0043,
      "step": 814
    },
    {
      "epoch": 0.8693333333333333,
      "grad_norm": 1.478335175372691,
      "learning_rate": 1.7886985732844114e-06,
      "loss": 0.0501,
      "step": 815
    },
    {
      "epoch": 0.8704,
      "grad_norm": 1.1716937815295259,
      "learning_rate": 1.787934268382268e-06,
      "loss": 0.0335,
      "step": 816
    },
    {
      "epoch": 0.8714666666666666,
      "grad_norm": 0.05439033142980008,
      "learning_rate": 1.7871687475964711e-06,
      "loss": 0.0013,
      "step": 817
    },
    {
      "epoch": 0.8725333333333334,
      "grad_norm": 0.536222083547284,
      "learning_rate": 1.7864020121083171e-06,
      "loss": 0.0138,
      "step": 818
    },
    {
      "epoch": 0.8736,
      "grad_norm": 1.3458359629286443,
      "learning_rate": 1.785634063100978e-06,
      "loss": 0.0385,
      "step": 819
    },
    {
      "epoch": 0.8746666666666667,
      "grad_norm": 1.3649235702755,
      "learning_rate": 1.784864901759497e-06,
      "loss": 0.0339,
      "step": 820
    },
    {
      "epoch": 0.8757333333333334,
      "grad_norm": 0.30027259568249803,
      "learning_rate": 1.7840945292707885e-06,
      "loss": 0.0072,
      "step": 821
    },
    {
      "epoch": 0.8768,
      "grad_norm": 1.3243107032449952,
      "learning_rate": 1.7833229468236366e-06,
      "loss": 0.1008,
      "step": 822
    },
    {
      "epoch": 0.8778666666666667,
      "grad_norm": 0.13681447172171157,
      "learning_rate": 1.7825501556086917e-06,
      "loss": 0.0036,
      "step": 823
    },
    {
      "epoch": 0.8789333333333333,
      "grad_norm": 0.5040166624199399,
      "learning_rate": 1.78177615681847e-06,
      "loss": 0.0099,
      "step": 824
    },
    {
      "epoch": 0.88,
      "grad_norm": 0.8191446395314659,
      "learning_rate": 1.7810009516473508e-06,
      "loss": 0.0528,
      "step": 825
    },
    {
      "epoch": 0.8810666666666667,
      "grad_norm": 0.6656923642458409,
      "learning_rate": 1.780224541291575e-06,
      "loss": 0.0058,
      "step": 826
    },
    {
      "epoch": 0.8821333333333333,
      "grad_norm": 0.07523140261740402,
      "learning_rate": 1.779446926949244e-06,
      "loss": 0.0028,
      "step": 827
    },
    {
      "epoch": 0.8832,
      "grad_norm": 0.7327408060072352,
      "learning_rate": 1.7786681098203155e-06,
      "loss": 0.0243,
      "step": 828
    },
    {
      "epoch": 0.8842666666666666,
      "grad_norm": 0.5688924217563622,
      "learning_rate": 1.7778880911066047e-06,
      "loss": 0.0283,
      "step": 829
    },
    {
      "epoch": 0.8853333333333333,
      "grad_norm": 0.20295904776689908,
      "learning_rate": 1.7771068720117808e-06,
      "loss": 0.0038,
      "step": 830
    },
    {
      "epoch": 0.8864,
      "grad_norm": 0.15585420550276582,
      "learning_rate": 1.7763244537413649e-06,
      "loss": 0.0028,
      "step": 831
    },
    {
      "epoch": 0.8874666666666666,
      "grad_norm": 0.9312786557049378,
      "learning_rate": 1.7755408375027284e-06,
      "loss": 0.0131,
      "step": 832
    },
    {
      "epoch": 0.8885333333333333,
      "grad_norm": 1.292940050593777,
      "learning_rate": 1.7747560245050926e-06,
      "loss": 0.0547,
      "step": 833
    },
    {
      "epoch": 0.8896,
      "grad_norm": 0.47924657994827013,
      "learning_rate": 1.7739700159595234e-06,
      "loss": 0.0109,
      "step": 834
    },
    {
      "epoch": 0.8906666666666667,
      "grad_norm": 0.6959830731874318,
      "learning_rate": 1.7731828130789338e-06,
      "loss": 0.0117,
      "step": 835
    },
    {
      "epoch": 0.8917333333333334,
      "grad_norm": 0.08123142159922864,
      "learning_rate": 1.772394417078078e-06,
      "loss": 0.003,
      "step": 836
    },
    {
      "epoch": 0.8928,
      "grad_norm": 0.07894197690380898,
      "learning_rate": 1.7716048291735532e-06,
      "loss": 0.0029,
      "step": 837
    },
    {
      "epoch": 0.8938666666666667,
      "grad_norm": 0.26682915515866196,
      "learning_rate": 1.7708140505837942e-06,
      "loss": 0.0041,
      "step": 838
    },
    {
      "epoch": 0.8949333333333334,
      "grad_norm": 0.7307717914383901,
      "learning_rate": 1.7700220825290733e-06,
      "loss": 0.0593,
      "step": 839
    },
    {
      "epoch": 0.896,
      "grad_norm": 0.5459164968650944,
      "learning_rate": 1.7692289262314999e-06,
      "loss": 0.0078,
      "step": 840
    },
    {
      "epoch": 0.8970666666666667,
      "grad_norm": 0.6136665907387636,
      "learning_rate": 1.7684345829150151e-06,
      "loss": 0.0143,
      "step": 841
    },
    {
      "epoch": 0.8981333333333333,
      "grad_norm": 0.029118313370510067,
      "learning_rate": 1.767639053805393e-06,
      "loss": 0.0008,
      "step": 842
    },
    {
      "epoch": 0.8992,
      "grad_norm": 0.13813382275007977,
      "learning_rate": 1.7668423401302369e-06,
      "loss": 0.003,
      "step": 843
    },
    {
      "epoch": 0.9002666666666667,
      "grad_norm": 0.6157084116148966,
      "learning_rate": 1.766044443118978e-06,
      "loss": 0.044,
      "step": 844
    },
    {
      "epoch": 0.9013333333333333,
      "grad_norm": 2.062922045507839,
      "learning_rate": 1.765245364002874e-06,
      "loss": 0.0558,
      "step": 845
    },
    {
      "epoch": 0.9024,
      "grad_norm": 0.7371080849477383,
      "learning_rate": 1.7644451040150066e-06,
      "loss": 0.0132,
      "step": 846
    },
    {
      "epoch": 0.9034666666666666,
      "grad_norm": 0.7773691013862728,
      "learning_rate": 1.7636436643902793e-06,
      "loss": 0.0205,
      "step": 847
    },
    {
      "epoch": 0.9045333333333333,
      "grad_norm": 1.6905175037093625,
      "learning_rate": 1.7628410463654163e-06,
      "loss": 0.0389,
      "step": 848
    },
    {
      "epoch": 0.9056,
      "grad_norm": 0.06391501037524207,
      "learning_rate": 1.7620372511789604e-06,
      "loss": 0.0016,
      "step": 849
    },
    {
      "epoch": 0.9066666666666666,
      "grad_norm": 0.23754507243207357,
      "learning_rate": 1.7612322800712704e-06,
      "loss": 0.0043,
      "step": 850
    },
    {
      "epoch": 0.9066666666666666,
      "eval_loss": 0.06493183970451355,
      "eval_runtime": 9.2558,
      "eval_samples_per_second": 10.804,
      "eval_steps_per_second": 5.402,
      "step": 850
    },
    {
      "epoch": 0.9077333333333333,
      "grad_norm": 0.11522491154504028,
      "learning_rate": 1.7604261342845205e-06,
      "loss": 0.0033,
      "step": 851
    },
    {
      "epoch": 0.9088,
      "grad_norm": 0.10544553514498471,
      "learning_rate": 1.7596188150626963e-06,
      "loss": 0.0031,
      "step": 852
    },
    {
      "epoch": 0.9098666666666667,
      "grad_norm": 0.7103429756853613,
      "learning_rate": 1.7588103236515954e-06,
      "loss": 0.0361,
      "step": 853
    },
    {
      "epoch": 0.9109333333333334,
      "grad_norm": 0.7428779821661828,
      "learning_rate": 1.7580006612988238e-06,
      "loss": 0.0604,
      "step": 854
    },
    {
      "epoch": 0.912,
      "grad_norm": 1.3285680107698499,
      "learning_rate": 1.7571898292537943e-06,
      "loss": 0.0248,
      "step": 855
    },
    {
      "epoch": 0.9130666666666667,
      "grad_norm": 0.2700284204147992,
      "learning_rate": 1.7563778287677247e-06,
      "loss": 0.0047,
      "step": 856
    },
    {
      "epoch": 0.9141333333333334,
      "grad_norm": 0.4285906295736961,
      "learning_rate": 1.7555646610936357e-06,
      "loss": 0.0132,
      "step": 857
    },
    {
      "epoch": 0.9152,
      "grad_norm": 0.817481863958403,
      "learning_rate": 1.7547503274863496e-06,
      "loss": 0.0393,
      "step": 858
    },
    {
      "epoch": 0.9162666666666667,
      "grad_norm": 0.8000548344661702,
      "learning_rate": 1.7539348292024878e-06,
      "loss": 0.0146,
      "step": 859
    },
    {
      "epoch": 0.9173333333333333,
      "grad_norm": 0.5004377055556393,
      "learning_rate": 1.7531181675004683e-06,
      "loss": 0.0094,
      "step": 860
    },
    {
      "epoch": 0.9184,
      "grad_norm": 0.4818274803342577,
      "learning_rate": 1.7523003436405054e-06,
      "loss": 0.0088,
      "step": 861
    },
    {
      "epoch": 0.9194666666666667,
      "grad_norm": 0.07482480348938156,
      "learning_rate": 1.7514813588846059e-06,
      "loss": 0.0032,
      "step": 862
    },
    {
      "epoch": 0.9205333333333333,
      "grad_norm": 0.481044423432111,
      "learning_rate": 1.750661214496568e-06,
      "loss": 0.0144,
      "step": 863
    },
    {
      "epoch": 0.9216,
      "grad_norm": 0.4984826627914621,
      "learning_rate": 1.7498399117419807e-06,
      "loss": 0.0224,
      "step": 864
    },
    {
      "epoch": 0.9226666666666666,
      "grad_norm": 1.1474206429314626,
      "learning_rate": 1.7490174518882186e-06,
      "loss": 0.0526,
      "step": 865
    },
    {
      "epoch": 0.9237333333333333,
      "grad_norm": 0.9434708879125293,
      "learning_rate": 1.7481938362044428e-06,
      "loss": 0.0311,
      "step": 866
    },
    {
      "epoch": 0.9248,
      "grad_norm": 0.3535353322476962,
      "learning_rate": 1.7473690659615985e-06,
      "loss": 0.0083,
      "step": 867
    },
    {
      "epoch": 0.9258666666666666,
      "grad_norm": 0.9233610937074402,
      "learning_rate": 1.7465431424324115e-06,
      "loss": 0.021,
      "step": 868
    },
    {
      "epoch": 0.9269333333333334,
      "grad_norm": 0.0381949887798563,
      "learning_rate": 1.7457160668913882e-06,
      "loss": 0.0008,
      "step": 869
    },
    {
      "epoch": 0.928,
      "grad_norm": 0.10475509463522734,
      "learning_rate": 1.744887840614812e-06,
      "loss": 0.0042,
      "step": 870
    },
    {
      "epoch": 0.9290666666666667,
      "grad_norm": 1.097369465053356,
      "learning_rate": 1.7440584648807422e-06,
      "loss": 0.0226,
      "step": 871
    },
    {
      "epoch": 0.9301333333333334,
      "grad_norm": 0.8034539747593563,
      "learning_rate": 1.743227940969012e-06,
      "loss": 0.0139,
      "step": 872
    },
    {
      "epoch": 0.9312,
      "grad_norm": 1.5098893310606223,
      "learning_rate": 1.7423962701612264e-06,
      "loss": 0.0494,
      "step": 873
    },
    {
      "epoch": 0.9322666666666667,
      "grad_norm": 1.183787985459629,
      "learning_rate": 1.7415634537407602e-06,
      "loss": 0.0324,
      "step": 874
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 0.9869556179312732,
      "learning_rate": 1.7407294929927558e-06,
      "loss": 0.0293,
      "step": 875
    },
    {
      "epoch": 0.9344,
      "grad_norm": 1.307413794562261,
      "learning_rate": 1.739894389204122e-06,
      "loss": 0.0174,
      "step": 876
    },
    {
      "epoch": 0.9354666666666667,
      "grad_norm": 0.6586306424965217,
      "learning_rate": 1.7390581436635308e-06,
      "loss": 0.0197,
      "step": 877
    },
    {
      "epoch": 0.9365333333333333,
      "grad_norm": 0.4043924214860192,
      "learning_rate": 1.738220757661416e-06,
      "loss": 0.0054,
      "step": 878
    },
    {
      "epoch": 0.9376,
      "grad_norm": 0.5088216345136679,
      "learning_rate": 1.7373822324899724e-06,
      "loss": 0.0155,
      "step": 879
    },
    {
      "epoch": 0.9386666666666666,
      "grad_norm": 2.1231817727610176,
      "learning_rate": 1.736542569443151e-06,
      "loss": 0.0648,
      "step": 880
    },
    {
      "epoch": 0.9397333333333333,
      "grad_norm": 0.844118384711583,
      "learning_rate": 1.7357017698166604e-06,
      "loss": 0.0302,
      "step": 881
    },
    {
      "epoch": 0.9408,
      "grad_norm": 0.06773963213315144,
      "learning_rate": 1.7348598349079616e-06,
      "loss": 0.0026,
      "step": 882
    },
    {
      "epoch": 0.9418666666666666,
      "grad_norm": 0.520985003208029,
      "learning_rate": 1.734016766016269e-06,
      "loss": 0.01,
      "step": 883
    },
    {
      "epoch": 0.9429333333333333,
      "grad_norm": 0.6766732414862024,
      "learning_rate": 1.7331725644425453e-06,
      "loss": 0.0227,
      "step": 884
    },
    {
      "epoch": 0.944,
      "grad_norm": 0.19169654682905016,
      "learning_rate": 1.732327231489502e-06,
      "loss": 0.0069,
      "step": 885
    },
    {
      "epoch": 0.9450666666666667,
      "grad_norm": 0.5739250700621576,
      "learning_rate": 1.7314807684615965e-06,
      "loss": 0.0113,
      "step": 886
    },
    {
      "epoch": 0.9461333333333334,
      "grad_norm": 2.589012811817353,
      "learning_rate": 1.7306331766650298e-06,
      "loss": 0.0453,
      "step": 887
    },
    {
      "epoch": 0.9472,
      "grad_norm": 2.3283272194877607,
      "learning_rate": 1.7297844574077445e-06,
      "loss": 0.0512,
      "step": 888
    },
    {
      "epoch": 0.9482666666666667,
      "grad_norm": 0.08031806368889559,
      "learning_rate": 1.7289346119994234e-06,
      "loss": 0.0021,
      "step": 889
    },
    {
      "epoch": 0.9493333333333334,
      "grad_norm": 0.8282674805029137,
      "learning_rate": 1.7280836417514873e-06,
      "loss": 0.0229,
      "step": 890
    },
    {
      "epoch": 0.9504,
      "grad_norm": 0.5500672651045168,
      "learning_rate": 1.7272315479770923e-06,
      "loss": 0.015,
      "step": 891
    },
    {
      "epoch": 0.9514666666666667,
      "grad_norm": 0.7803183849599556,
      "learning_rate": 1.7263783319911282e-06,
      "loss": 0.0176,
      "step": 892
    },
    {
      "epoch": 0.9525333333333333,
      "grad_norm": 0.8919164411124452,
      "learning_rate": 1.7255239951102167e-06,
      "loss": 0.09,
      "step": 893
    },
    {
      "epoch": 0.9536,
      "grad_norm": 0.8799607735287165,
      "learning_rate": 1.7246685386527096e-06,
      "loss": 0.0235,
      "step": 894
    },
    {
      "epoch": 0.9546666666666667,
      "grad_norm": 0.5384817024411757,
      "learning_rate": 1.7238119639386855e-06,
      "loss": 0.0121,
      "step": 895
    },
    {
      "epoch": 0.9557333333333333,
      "grad_norm": 0.12014693936874205,
      "learning_rate": 1.7229542722899493e-06,
      "loss": 0.0024,
      "step": 896
    },
    {
      "epoch": 0.9568,
      "grad_norm": 0.827858735368603,
      "learning_rate": 1.7220954650300292e-06,
      "loss": 0.0617,
      "step": 897
    },
    {
      "epoch": 0.9578666666666666,
      "grad_norm": 0.6525540756770545,
      "learning_rate": 1.721235543484175e-06,
      "loss": 0.0242,
      "step": 898
    },
    {
      "epoch": 0.9589333333333333,
      "grad_norm": 0.44614571143621745,
      "learning_rate": 1.720374508979356e-06,
      "loss": 0.0112,
      "step": 899
    },
    {
      "epoch": 0.96,
      "grad_norm": 0.7043329837387845,
      "learning_rate": 1.7195123628442587e-06,
      "loss": 0.0198,
      "step": 900
    },
    {
      "epoch": 0.96,
      "eval_loss": 0.06702824681997299,
      "eval_runtime": 8.4156,
      "eval_samples_per_second": 11.883,
      "eval_steps_per_second": 5.941,
      "step": 900
    },
    {
      "epoch": 0.9610666666666666,
      "grad_norm": 0.7201943038229085,
      "learning_rate": 1.7186491064092855e-06,
      "loss": 0.0453,
      "step": 901
    },
    {
      "epoch": 0.9621333333333333,
      "grad_norm": 1.6075880142157002,
      "learning_rate": 1.7177847410065513e-06,
      "loss": 0.0521,
      "step": 902
    },
    {
      "epoch": 0.9632,
      "grad_norm": 0.4452359083266732,
      "learning_rate": 1.7169192679698834e-06,
      "loss": 0.0125,
      "step": 903
    },
    {
      "epoch": 0.9642666666666667,
      "grad_norm": 0.44141821014464877,
      "learning_rate": 1.7160526886348174e-06,
      "loss": 0.0168,
      "step": 904
    },
    {
      "epoch": 0.9653333333333334,
      "grad_norm": 0.3041218639469686,
      "learning_rate": 1.7151850043385965e-06,
      "loss": 0.0092,
      "step": 905
    },
    {
      "epoch": 0.9664,
      "grad_norm": 0.847915323435404,
      "learning_rate": 1.7143162164201686e-06,
      "loss": 0.0368,
      "step": 906
    },
    {
      "epoch": 0.9674666666666667,
      "grad_norm": 1.6488620050289835,
      "learning_rate": 1.7134463262201853e-06,
      "loss": 0.0506,
      "step": 907
    },
    {
      "epoch": 0.9685333333333334,
      "grad_norm": 1.4437731473777529,
      "learning_rate": 1.7125753350809987e-06,
      "loss": 0.0512,
      "step": 908
    },
    {
      "epoch": 0.9696,
      "grad_norm": 3.4417556394185813,
      "learning_rate": 1.7117032443466592e-06,
      "loss": 0.1375,
      "step": 909
    },
    {
      "epoch": 0.9706666666666667,
      "grad_norm": 1.393607964551126,
      "learning_rate": 1.7108300553629156e-06,
      "loss": 0.0404,
      "step": 910
    },
    {
      "epoch": 0.9717333333333333,
      "grad_norm": 0.21196540619952392,
      "learning_rate": 1.7099557694772102e-06,
      "loss": 0.0061,
      "step": 911
    },
    {
      "epoch": 0.9728,
      "grad_norm": 0.6223387116095862,
      "learning_rate": 1.7090803880386782e-06,
      "loss": 0.0252,
      "step": 912
    },
    {
      "epoch": 0.9738666666666667,
      "grad_norm": 0.07423684189600925,
      "learning_rate": 1.7082039123981453e-06,
      "loss": 0.0033,
      "step": 913
    },
    {
      "epoch": 0.9749333333333333,
      "grad_norm": 0.05354461119851362,
      "learning_rate": 1.707326343908126e-06,
      "loss": 0.0014,
      "step": 914
    },
    {
      "epoch": 0.976,
      "grad_norm": 0.17654795092403208,
      "learning_rate": 1.7064476839228212e-06,
      "loss": 0.0079,
      "step": 915
    },
    {
      "epoch": 0.9770666666666666,
      "grad_norm": 1.1560415348836615,
      "learning_rate": 1.705567933798116e-06,
      "loss": 0.0709,
      "step": 916
    },
    {
      "epoch": 0.9781333333333333,
      "grad_norm": 0.6343824883733383,
      "learning_rate": 1.7046870948915775e-06,
      "loss": 0.0127,
      "step": 917
    },
    {
      "epoch": 0.9792,
      "grad_norm": 0.1494249398692408,
      "learning_rate": 1.7038051685624527e-06,
      "loss": 0.005,
      "step": 918
    },
    {
      "epoch": 0.9802666666666666,
      "grad_norm": 0.6696530221859195,
      "learning_rate": 1.702922156171668e-06,
      "loss": 0.0106,
      "step": 919
    },
    {
      "epoch": 0.9813333333333333,
      "grad_norm": 0.14314344177076077,
      "learning_rate": 1.702038059081824e-06,
      "loss": 0.0032,
      "step": 920
    },
    {
      "epoch": 0.9824,
      "grad_norm": 0.32484865198159396,
      "learning_rate": 1.7011528786571966e-06,
      "loss": 0.0086,
      "step": 921
    },
    {
      "epoch": 0.9834666666666667,
      "grad_norm": 0.8822743257829567,
      "learning_rate": 1.7002666162637325e-06,
      "loss": 0.0313,
      "step": 922
    },
    {
      "epoch": 0.9845333333333334,
      "grad_norm": 0.7756855471213663,
      "learning_rate": 1.6993792732690478e-06,
      "loss": 0.018,
      "step": 923
    },
    {
      "epoch": 0.9856,
      "grad_norm": 0.7609762590097283,
      "learning_rate": 1.698490851042427e-06,
      "loss": 0.0671,
      "step": 924
    },
    {
      "epoch": 0.9866666666666667,
      "grad_norm": 1.2735635481734564,
      "learning_rate": 1.6976013509548195e-06,
      "loss": 0.0286,
      "step": 925
    },
    {
      "epoch": 0.9877333333333334,
      "grad_norm": 1.4346762691717854,
      "learning_rate": 1.6967107743788384e-06,
      "loss": 0.1199,
      "step": 926
    },
    {
      "epoch": 0.9888,
      "grad_norm": 0.790669534924756,
      "learning_rate": 1.6958191226887566e-06,
      "loss": 0.0269,
      "step": 927
    },
    {
      "epoch": 0.9898666666666667,
      "grad_norm": 0.06747991177904396,
      "learning_rate": 1.6949263972605082e-06,
      "loss": 0.0017,
      "step": 928
    },
    {
      "epoch": 0.9909333333333333,
      "grad_norm": 0.20496814720380593,
      "learning_rate": 1.694032599471682e-06,
      "loss": 0.0049,
      "step": 929
    },
    {
      "epoch": 0.992,
      "grad_norm": 1.276497227455641,
      "learning_rate": 1.6931377307015237e-06,
      "loss": 0.0543,
      "step": 930
    },
    {
      "epoch": 0.9930666666666667,
      "grad_norm": 0.5302394338714648,
      "learning_rate": 1.6922417923309297e-06,
      "loss": 0.0265,
      "step": 931
    },
    {
      "epoch": 0.9941333333333333,
      "grad_norm": 0.22701284188681078,
      "learning_rate": 1.6913447857424485e-06,
      "loss": 0.008,
      "step": 932
    },
    {
      "epoch": 0.9952,
      "grad_norm": 0.5967580489510217,
      "learning_rate": 1.690446712320276e-06,
      "loss": 0.0104,
      "step": 933
    },
    {
      "epoch": 0.9962666666666666,
      "grad_norm": 0.3878277040856282,
      "learning_rate": 1.689547573450255e-06,
      "loss": 0.0103,
      "step": 934
    },
    {
      "epoch": 0.9973333333333333,
      "grad_norm": 0.32365680427814997,
      "learning_rate": 1.6886473705198715e-06,
      "loss": 0.0058,
      "step": 935
    },
    {
      "epoch": 0.9984,
      "grad_norm": 1.3705000469682167,
      "learning_rate": 1.6877461049182546e-06,
      "loss": 0.0396,
      "step": 936
    },
    {
      "epoch": 0.9994666666666666,
      "grad_norm": 0.5429930585759183,
      "learning_rate": 1.6868437780361726e-06,
      "loss": 0.028,
      "step": 937
    },
    {
      "epoch": 1.0,
      "grad_norm": 0.5429930585759183,
      "learning_rate": 1.6859403912660318e-06,
      "loss": 0.0096,
      "step": 938
    },
    {
      "epoch": 1.0010666666666668,
      "grad_norm": 0.4916829789703387,
      "learning_rate": 1.6850359460018735e-06,
      "loss": 0.0044,
      "step": 939
    },
    {
      "epoch": 1.0021333333333333,
      "grad_norm": 0.2979310166282705,
      "learning_rate": 1.6841304436393732e-06,
      "loss": 0.0165,
      "step": 940
    },
    {
      "epoch": 1.0032,
      "grad_norm": 0.8370743670659195,
      "learning_rate": 1.6832238855758367e-06,
      "loss": 0.0339,
      "step": 941
    },
    {
      "epoch": 1.0042666666666666,
      "grad_norm": 0.16192307827765665,
      "learning_rate": 1.6823162732102e-06,
      "loss": 0.0037,
      "step": 942
    },
    {
      "epoch": 1.0053333333333334,
      "grad_norm": 0.25394307806042143,
      "learning_rate": 1.681407607943025e-06,
      "loss": 0.0057,
      "step": 943
    },
    {
      "epoch": 1.0064,
      "grad_norm": 0.5039087022497899,
      "learning_rate": 1.6804978911764987e-06,
      "loss": 0.0247,
      "step": 944
    },
    {
      "epoch": 1.0074666666666667,
      "grad_norm": 0.04841683509251501,
      "learning_rate": 1.679587124314431e-06,
      "loss": 0.0168,
      "step": 945
    },
    {
      "epoch": 1.0085333333333333,
      "grad_norm": 0.7702555161572083,
      "learning_rate": 1.678675308762252e-06,
      "loss": 0.0078,
      "step": 946
    },
    {
      "epoch": 1.0096,
      "grad_norm": 0.5228406163032586,
      "learning_rate": 1.6777624459270099e-06,
      "loss": 0.0096,
      "step": 947
    },
    {
      "epoch": 1.0106666666666666,
      "grad_norm": 0.07932404354364939,
      "learning_rate": 1.6768485372173696e-06,
      "loss": 0.001,
      "step": 948
    },
    {
      "epoch": 1.0117333333333334,
      "grad_norm": 0.7272162639399672,
      "learning_rate": 1.6759335840436088e-06,
      "loss": 0.0338,
      "step": 949
    },
    {
      "epoch": 1.0128,
      "grad_norm": 0.1325222502866181,
      "learning_rate": 1.675017587817618e-06,
      "loss": 0.006,
      "step": 950
    },
    {
      "epoch": 1.0128,
      "eval_loss": 0.05511786788702011,
      "eval_runtime": 8.3359,
      "eval_samples_per_second": 11.996,
      "eval_steps_per_second": 5.998,
      "step": 950
    },
    {
      "epoch": 1.0138666666666667,
      "grad_norm": 0.2851585922035912,
      "learning_rate": 1.674100549952897e-06,
      "loss": 0.003,
      "step": 951
    },
    {
      "epoch": 1.0149333333333332,
      "grad_norm": 0.1635246987897608,
      "learning_rate": 1.6731824718645523e-06,
      "loss": 0.0123,
      "step": 952
    },
    {
      "epoch": 1.016,
      "grad_norm": 0.9554459164625243,
      "learning_rate": 1.672263354969297e-06,
      "loss": 0.0239,
      "step": 953
    },
    {
      "epoch": 1.0170666666666666,
      "grad_norm": 0.6049818674300176,
      "learning_rate": 1.671343200685446e-06,
      "loss": 0.0368,
      "step": 954
    },
    {
      "epoch": 1.0181333333333333,
      "grad_norm": 1.2174111129081242,
      "learning_rate": 1.6704220104329153e-06,
      "loss": 0.0089,
      "step": 955
    },
    {
      "epoch": 1.0192,
      "grad_norm": 0.09893112075059436,
      "learning_rate": 1.6694997856332194e-06,
      "loss": 0.0023,
      "step": 956
    },
    {
      "epoch": 1.0202666666666667,
      "grad_norm": 0.09001324637021094,
      "learning_rate": 1.6685765277094698e-06,
      "loss": 0.014,
      "step": 957
    },
    {
      "epoch": 1.0213333333333334,
      "grad_norm": 0.6901973285139684,
      "learning_rate": 1.6676522380863718e-06,
      "loss": 0.0026,
      "step": 958
    },
    {
      "epoch": 1.0224,
      "grad_norm": 0.059717251369744574,
      "learning_rate": 1.6667269181902234e-06,
      "loss": 0.0059,
      "step": 959
    },
    {
      "epoch": 1.0234666666666667,
      "grad_norm": 0.3083472218723695,
      "learning_rate": 1.6658005694489108e-06,
      "loss": 0.0044,
      "step": 960
    },
    {
      "epoch": 1.0245333333333333,
      "grad_norm": 1.2387887367525359,
      "learning_rate": 1.66487319329191e-06,
      "loss": 0.067,
      "step": 961
    },
    {
      "epoch": 1.0256,
      "grad_norm": 0.05958218523488344,
      "learning_rate": 1.6639447911502806e-06,
      "loss": 0.0038,
      "step": 962
    },
    {
      "epoch": 1.0266666666666666,
      "grad_norm": 0.25803312922414584,
      "learning_rate": 1.6630153644566666e-06,
      "loss": 0.0022,
      "step": 963
    },
    {
      "epoch": 1.0277333333333334,
      "grad_norm": 0.13407512286627216,
      "learning_rate": 1.6620849146452928e-06,
      "loss": 0.0014,
      "step": 964
    },
    {
      "epoch": 1.0288,
      "grad_norm": 0.9967498197509435,
      "learning_rate": 1.6611534431519622e-06,
      "loss": 0.0098,
      "step": 965
    },
    {
      "epoch": 1.0298666666666667,
      "grad_norm": 0.04855423463199995,
      "learning_rate": 1.6602209514140548e-06,
      "loss": 0.0021,
      "step": 966
    },
    {
      "epoch": 1.0309333333333333,
      "grad_norm": 0.9190388514477494,
      "learning_rate": 1.6592874408705253e-06,
      "loss": 0.0249,
      "step": 967
    },
    {
      "epoch": 1.032,
      "grad_norm": 0.15521259953012823,
      "learning_rate": 1.6583529129619003e-06,
      "loss": 0.0035,
      "step": 968
    },
    {
      "epoch": 1.0330666666666666,
      "grad_norm": 0.0739501147905464,
      "learning_rate": 1.6574173691302758e-06,
      "loss": 0.0207,
      "step": 969
    },
    {
      "epoch": 1.0341333333333333,
      "grad_norm": 0.48810685041497015,
      "learning_rate": 1.6564808108193163e-06,
      "loss": 0.0007,
      "step": 970
    },
    {
      "epoch": 1.0352,
      "grad_norm": 0.07637320025474216,
      "learning_rate": 1.6555432394742511e-06,
      "loss": 0.0064,
      "step": 971
    },
    {
      "epoch": 1.0362666666666667,
      "grad_norm": 0.39526147128400013,
      "learning_rate": 1.6546046565418732e-06,
      "loss": 0.0022,
      "step": 972
    },
    {
      "epoch": 1.0373333333333334,
      "grad_norm": 0.33979283542891386,
      "learning_rate": 1.6536650634705365e-06,
      "loss": 0.0076,
      "step": 973
    },
    {
      "epoch": 1.0384,
      "grad_norm": 1.8339909658885087,
      "learning_rate": 1.6527244617101537e-06,
      "loss": 0.0351,
      "step": 974
    },
    {
      "epoch": 1.0394666666666668,
      "grad_norm": 0.32217927046265177,
      "learning_rate": 1.651782852712194e-06,
      "loss": 0.0006,
      "step": 975
    },
    {
      "epoch": 1.0405333333333333,
      "grad_norm": 0.28508392541225847,
      "learning_rate": 1.6508402379296808e-06,
      "loss": 0.0043,
      "step": 976
    },
    {
      "epoch": 1.0416,
      "grad_norm": 0.037354972250637136,
      "learning_rate": 1.6498966188171895e-06,
      "loss": 0.0031,
      "step": 977
    },
    {
      "epoch": 1.0426666666666666,
      "grad_norm": 0.7166489206167719,
      "learning_rate": 1.6489519968308457e-06,
      "loss": 0.0641,
      "step": 978
    },
    {
      "epoch": 1.0437333333333334,
      "grad_norm": 1.0515466328685,
      "learning_rate": 1.648006373428322e-06,
      "loss": 0.01,
      "step": 979
    },
    {
      "epoch": 1.0448,
      "grad_norm": 0.936126382450395,
      "learning_rate": 1.6470597500688369e-06,
      "loss": 0.0066,
      "step": 980
    },
    {
      "epoch": 1.0458666666666667,
      "grad_norm": 0.06579766473780263,
      "learning_rate": 1.6461121282131516e-06,
      "loss": 0.0022,
      "step": 981
    },
    {
      "epoch": 1.0469333333333333,
      "grad_norm": 0.09021244626430282,
      "learning_rate": 1.6451635093235683e-06,
      "loss": 0.0011,
      "step": 982
    },
    {
      "epoch": 1.048,
      "grad_norm": 0.01025702341477458,
      "learning_rate": 1.644213894863927e-06,
      "loss": 0.0003,
      "step": 983
    },
    {
      "epoch": 1.0490666666666666,
      "grad_norm": 1.3151879642844628,
      "learning_rate": 1.6432632862996055e-06,
      "loss": 0.0263,
      "step": 984
    },
    {
      "epoch": 1.0501333333333334,
      "grad_norm": 0.9276898564205044,
      "learning_rate": 1.6423116850975145e-06,
      "loss": 0.0079,
      "step": 985
    },
    {
      "epoch": 1.0512,
      "grad_norm": 0.02947729014406564,
      "learning_rate": 1.641359092726096e-06,
      "loss": 0.0018,
      "step": 986
    },
    {
      "epoch": 1.0522666666666667,
      "grad_norm": 0.19598979775248843,
      "learning_rate": 1.6404055106553234e-06,
      "loss": 0.0009,
      "step": 987
    },
    {
      "epoch": 1.0533333333333332,
      "grad_norm": 1.8171369166805973,
      "learning_rate": 1.6394509403566952e-06,
      "loss": 0.0308,
      "step": 988
    },
    {
      "epoch": 1.0544,
      "grad_norm": 0.7848075693667415,
      "learning_rate": 1.6384953833032367e-06,
      "loss": 0.0279,
      "step": 989
    },
    {
      "epoch": 1.0554666666666668,
      "grad_norm": 0.04284710379550343,
      "learning_rate": 1.637538840969494e-06,
      "loss": 0.0005,
      "step": 990
    },
    {
      "epoch": 1.0565333333333333,
      "grad_norm": 0.03007223360486748,
      "learning_rate": 1.6365813148315355e-06,
      "loss": 0.0007,
      "step": 991
    },
    {
      "epoch": 1.0576,
      "grad_norm": 0.01899139669637451,
      "learning_rate": 1.6356228063669465e-06,
      "loss": 0.0005,
      "step": 992
    },
    {
      "epoch": 1.0586666666666666,
      "grad_norm": 0.11346226457614883,
      "learning_rate": 1.6346633170548287e-06,
      "loss": 0.0014,
      "step": 993
    },
    {
      "epoch": 1.0597333333333334,
      "grad_norm": 0.04943624657920941,
      "learning_rate": 1.6337028483757966e-06,
      "loss": 0.0009,
      "step": 994
    },
    {
      "epoch": 1.0608,
      "grad_norm": 0.015138645630175255,
      "learning_rate": 1.6327414018119774e-06,
      "loss": 0.0009,
      "step": 995
    },
    {
      "epoch": 1.0618666666666667,
      "grad_norm": 1.4799218601071658,
      "learning_rate": 1.631778978847006e-06,
      "loss": 0.014,
      "step": 996
    },
    {
      "epoch": 1.0629333333333333,
      "grad_norm": 1.2249010640123865,
      "learning_rate": 1.6308155809660247e-06,
      "loss": 0.0121,
      "step": 997
    },
    {
      "epoch": 1.064,
      "grad_norm": 1.021197338464407,
      "learning_rate": 1.6298512096556795e-06,
      "loss": 0.0632,
      "step": 998
    },
    {
      "epoch": 1.0650666666666666,
      "grad_norm": 0.4954690700310796,
      "learning_rate": 1.6288858664041198e-06,
      "loss": 0.0003,
      "step": 999
    },
    {
      "epoch": 1.0661333333333334,
      "grad_norm": 0.20535195318024518,
      "learning_rate": 1.6279195527009938e-06,
      "loss": 0.0203,
      "step": 1000
    },
    {
      "epoch": 1.0661333333333334,
      "eval_loss": 0.09908830374479294,
      "eval_runtime": 8.2885,
      "eval_samples_per_second": 12.065,
      "eval_steps_per_second": 6.032,
      "step": 1000
    }
  ],
  "logging_steps": 1,
  "max_steps": 2811,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 3,
  "save_steps": 250,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 2259115302912.0,
  "train_batch_size": 2,
  "trial_name": null,
  "trial_params": null
}