You can deploy this model and start earning money today!

amrisaurus/
pretrained-m-bert-400

Name: pretrained-m-bert-400
Availability: InStock

transformers

bert

pretraining

generated_from_keras_callback

endpoints_compatible

Views

No views yet

pretrained-m-bert-400

This model is a fine-tuned version of on an unknown dataset. It achieves the following results on the evaluation set:

Train Loss: nan
Validation Loss: nan
Epoch: 399

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

optimizer: {'name': 'Adam', 'learning_rate': 1e-04, 'decay': 0.0, 'beta_1': 0.9, 'beta_2': 0.999, 'epsilon': 1e-07, 'amsgrad': False}
training_precision: float32

Training results

Train Loss	Validation Loss	Epoch
10.2737	10.9284	0
7.7909	10.9299	1
6.9555	11.4698	2
6.4835	11.5760	3
6.3613	11.4740	4
6.3206	12.1134	5
6.5777	11.8247	6
6.0680	12.1764	7
5.9353	12.1038	8
6.0701	12.0687	9
6.0047	12.4985	10
5.9272	12.8107	11
5.9446	12.5006	12
5.9716	12.8384	13
6.0548	12.3585	14
5.8666	12.5273	15
5.8951	12.8032	16
5.9528	13.0296	17
5.8313	12.9472	18
5.8324	13.0546	19
5.8763	13.1180	20
5.7623	13.2588	21
5.8636	13.2705	22
5.8864	13.1756	23
5.7413	13.0413	24
5.6825	13.2796	25
5.8705	13.5748	26
5.7772	14.0853	27
5.8029	13.5957	28
5.9590	13.0809	29
5.8240	13.0912	30
5.7687	13.5828	31
5.9836	13.5432	32
5.6915	13.7082	33
5.7853	13.6080	34
5.7760	13.3992	35
5.7134	13.6552	36
5.8415	13.5479	37
5.8087	13.6847	38
5.8611	13.6231	39
5.6492	13.8722	40
5.7846	13.7056	41
5.7455	14.1208	42
5.7129	13.7774	43
5.7185	14.0725	44
5.6655	14.0980	45
5.6734	14.0126	46
5.6658	14.1982	47
5.6720	14.0881	48
5.8220	14.0841	49
5.8567	14.0512	50
5.6811	14.4002	51
5.7271	14.1651	52
5.7329	13.8948	53
5.9306	14.1744	54
5.6757	13.6761	55
5.8785	14.1815	56
5.7267	14.4592	57
5.7313	14.1220	58
5.7537	14.3197	59
5.7907	13.9449	60
5.6611	14.0992	61
5.7009	14.4630	62
5.6760	14.3946	63
5.7096	14.2776	64
5.7778	14.3569	65
5.7223	14.5246	66
5.7954	14.2003	67
5.9369	14.3692	68
5.8792	14.5358	69
5.7172	14.3076	70
5.6608	14.1833	71
5.8710	14.1070	72
5.6896	13.9720	73
5.7404	14.8816	74
5.8649	14.1338	75
5.8223	14.4951	76
5.7701	14.4468	77
5.7852	14.3300	78
5.7038	14.0439	79
5.7386	14.3995	80
5.7594	14.1541	81
5.7688	14.3452	82
5.6329	14.9077	83
5.8224	14.5802	84
5.7969	14.8311	85
5.8297	14.5400	86
5.6488	15.0369	87
5.8020	14.7833	88
5.7345	14.3675	89
5.7530	14.1602	90
5.7599	15.2734	91
5.7256	14.9461	92
5.6803	14.8461	93
5.8602	14.5303	94
5.6319	14.8087	95
5.7581	14.7901	96
5.6319	14.8252	97
5.6869	14.8271	98
5.7664	15.2408	99
5.7731	15.0161	100
5.7304	15.4610	101
5.8412	14.8069	102
5.7723	14.1676	103
5.6118	15.4048	104
5.7734	15.1165	105
5.8253	14.9264	106
5.8027	14.7596	107
5.7457	15.1671	108
5.7381	15.2209	109
5.8087	14.7408	110
5.8030	15.2581	111
5.8320	14.9718	112
5.6863	15.2960	113
5.8710	14.7119	114
5.7232	15.0268	115
5.8191	14.8410	116
5.6752	15.1243	117
5.8462	15.0258	118
5.6872	15.1223	119
5.7252	14.9306	120
5.8288	15.0880	121
5.7154	15.1128	122
5.7731	15.4266	123
5.7265	14.9659	124
5.6335	15.1716	125
5.7175	15.6793	126
5.7104	15.4801	127
5.6567	15.0955	128
5.9180	15.0188	129
5.5288	15.3623	130
5.7597	15.4404	131
5.8730	15.1977	132
5.7699	15.5542	133
5.6693	15.1629	134
5.7615	15.1227	135
5.7240	15.4303	136
5.7303	15.1579	137
5.7373	15.2233	138
5.8327	14.7246	139
5.6575	15.5657	140
5.6499	15.1918	141
5.7592	14.9380	142
5.7694	15.3017	143
5.7230	15.3452	144
5.8646	14.7439	145
5.7644	15.3110	146
5.7203	15.8015	147
5.6472	15.6682	148
5.8608	15.1659	149
5.7988	15.8322	150
5.8471	15.3636	151
5.7727	15.7957	152
5.6508	15.1050	153
5.7816	15.3157	154
5.8210	15.6138	155
5.7539	15.1308	156
5.7941	15.3775	157
5.6000	15.4838	158
5.7631	15.5708	159
5.7086	15.5326	160
5.7873	15.4520	161
5.7033	15.1639	162
5.8096	14.9752	163
5.7741	15.1489	164
5.6837	15.8508	165
5.6194	15.6911	166
5.8802	15.8204	167
5.7230	15.3510	168
5.7498	15.5641	169
5.6593	16.0866	170
5.7106	15.6393	171
5.7150	15.7347	172
5.8900	15.1096	173
5.6876	16.0257	174
5.7460	15.7940	175
5.6921	15.4479	176
5.7380	15.8687	177
5.6652	15.7234	178
5.7337	15.9722	179
5.7107	15.6004	180
5.6688	15.9564	181
5.7698	15.4953	182
5.6752	15.4695	183
5.7951	15.3870	184
5.6820	15.3892	185
5.7012	15.3069	186
5.8445	15.4246	187
5.7400	15.7290	188
5.7490	15.6652	189
5.7101	15.9525	190
5.8126	15.2409	191
5.7394	15.6082	192
5.6442	15.7932	193
5.7402	15.1385	194
5.7884	15.4226	195
5.5444	16.1383	196
5.7094	15.8144	197
5.6645	16.0524	198
5.6880	15.7864	199
5.7136	15.5176	200
5.6637	15.2914	201
5.6428	16.0657	202
5.7652	16.0983	203
5.7069	16.2021	204
5.7251	15.6593	205
5.7546	15.5634	206
5.6854	16.0332	207
5.7590	15.9248	208
5.7916	15.4682	209
5.7794	16.1797	210
5.6640	15.8133	211
5.5957	15.9253	212
5.8607	16.3813	213
5.7572	16.1253	214
5.7549	16.0874	215
5.6915	16.3464	216
5.6458	16.7042	217
5.6706	15.7191	218
5.7297	16.0799	219
5.6525	15.7766	220
5.6576	16.2920	221
5.6630	15.7460	222
5.7052	16.1921	223
5.7096	15.9475	224
5.8168	15.6872	225
5.7823	16.1230	226
5.7059	15.8028	227
5.7665	16.0063	228
5.7908	16.2456	229
5.7071	16.0749	230
5.7506	16.0597	231
5.6364	16.1518	232
5.7050	16.2710	233
5.7266	16.2172	234
5.7804	15.8192	235
5.7076	16.1186	236
5.6965	16.1123	237
5.7385	15.7495	238
5.7877	16.0528	239
5.5933	16.1774	240
5.6745	16.5711	241
5.6913	16.3114	242
5.7292	16.3525	243
5.7804	15.9284	244
5.6428	16.1581	245
5.6294	16.0005	246
5.7076	16.2986	247
5.7254	16.1134	248
5.7657	16.3133	249
5.7027	15.9364	250
5.6698	16.6521	251
5.6628	15.7597	252
5.6293	16.2164	253
5.6199	15.8001	254
5.6581	16.0590	255
5.6714	16.0894	256
5.7542	16.1121	257
5.7222	16.1358	258
5.8194	15.9213	259
5.6567	16.0372	260
5.6751	16.3755	261
5.6469	16.0893	262
5.6717	16.1122	263
5.7958	15.8767	264
5.8171	16.2429	265
5.7119	16.2250	266
5.7855	16.4065	267
5.7949	15.4456	268
5.7782	16.4003	269
5.7497	15.8927	270
5.6609	16.3852	271
5.8071	16.3739	272
5.7726	15.9497	273
5.6874	16.0825	274
5.7265	15.9471	275
5.8261	15.9685	276
5.6508	16.3370	277
5.6734	16.3040	278
5.6986	16.2803	279
5.7025	16.6162	280
5.7346	16.1483	281
5.6689	16.1718	282
5.6913	16.0822	283
5.7541	15.5025	284
5.7325	16.2702	285
5.8124	15.7343	286
5.6972	16.3263	287
5.7388	16.2631	288
5.7337	16.1185	289
5.5873	16.2938	290
5.6859	16.2026	291
5.8711	15.2906	292
5.6716	15.5945	293
5.7098	16.1930	294
5.6214	16.2915	295
5.7025	16.1317	296
5.6574	16.6203	297
5.7909	16.1098	298
5.8298	15.5068	299
5.7457	16.4390	300
5.6674	16.1994	301
5.6473	16.4981	302
5.7486	16.0311	303
5.5914	16.8805	304
5.7065	15.6899	305
5.7049	16.4121	306
5.7791	16.5573	307
5.7422	16.4121	308
5.6493	15.8135	309
5.7504	16.1579	310
5.7983	15.7995	311
5.6670	15.7541	312
5.6519	15.8321	313
5.7987	16.1384	314
5.8223	16.2025	315
5.7494	16.2737	316
5.7390	16.2242	317
5.7607	16.4318	318
5.6872	16.4799	319
5.7474	16.3387	320
5.8631	16.0204	321
5.7391	15.9252	322
5.6785	17.0023	323
5.6791	16.0897	324
5.7644	16.0529	325
5.7013	16.6206	326
5.8280	16.4234	327
5.6553	16.4436	328
5.6920	nan	329
5.7356	16.2001	330
5.7204	16.1120	331
5.5542	16.2315	332
5.7303	16.2902	333
5.6750	16.3221	334
5.6405	16.5904	335
5.8191	16.0871	336
5.7464	15.8915	337
5.7566	16.6865	338
5.7168	16.0537	339
5.6113	16.5037	340
5.6066	15.8096	341
5.6343	16.5955	342
nan	nan	343
nan	nan	344
nan	nan	345
nan	nan	346
nan	nan	347
nan	nan	348
nan	nan	349
nan	nan	350
nan	nan	351
nan	nan	352
nan	nan	353
nan	nan	354
nan	nan	355
nan	nan	356
nan	nan	357
nan	nan	358
nan	nan	359
nan	nan	360
nan	nan	361
nan	nan	362
nan	nan	363
nan	nan	364
nan	nan	365
nan	nan	366
nan	nan	367
nan	nan	368
nan	nan	369
nan	nan	370
nan	nan	371
nan	nan	372
nan	nan	373
nan	nan	374
nan	nan	375
nan	nan	376
nan	nan	377
nan	nan	378
nan	nan	379
nan	nan	380
nan	nan	381
nan	nan	382
nan	nan	383
nan	nan	384
nan	nan	385
nan	nan	386
nan	nan	387
nan	nan	388
nan	nan	389
nan	nan	390
nan	nan	391
nan	nan	392
nan	nan	393
nan	nan	394
nan	nan	395
nan	nan	396
nan	nan	397
nan	nan	398
nan	nan	399

Framework versions

Transformers 4.27.0.dev0
TensorFlow 2.9.2
Datasets 2.9.0
Tokenizers 0.13.2

amrisaurus/pretrained-m-bert-400

pretrained-m-bert-400

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

amrisaurus/
pretrained-m-bert-400