Views
No views yet
1models:
2- model: bigcode/starcoder2-3b
3- model: TechxGenus/starcoder2-3b-instruct
4 parameters:
5 density:
6 - filter: self_attn.q_proj.0
7 value: 0.01384
8 - filter: self_attn.q_proj.1
9 value: 0.00657
10 - filter: self_attn.q_proj.2
11 value: 0.02731
12 - filter: self_attn.q_proj.3
13 value: 0.03261
14 - filter: self_attn.q_proj.4
15 value: 0.05056
16 - filter: self_attn.q_proj.5
17 value: 0.05539
18 - filter: self_attn.q_proj.6
19 value: 0.05796
20 - filter: self_attn.q_proj.7
21 value: 0.06573
22 - filter: self_attn.q_proj.8
23 value: 0.09558
24 - filter: self_attn.q_proj.9
25 value: 0.11226
26 - filter: self_attn.q_proj.10
27 value: 0.1053
28 - filter: self_attn.q_proj.11
29 value: 0.07023
30 - filter: self_attn.q_proj.12
31 value: 0.04345
32 - filter: self_attn.q_proj.13
33 value: 0.02855
34 - filter: self_attn.q_proj.14
35 value: 0.04248
36 - filter: self_attn.q_proj.15
37 value: 0.00938
38 - filter: self_attn.q_proj.16
39 value: 0.04849
40 - filter: self_attn.q_proj.17
41 value: 0.0569
42 - filter: self_attn.q_proj.18
43 value: 0.02524
44 - filter: self_attn.q_proj.19
45 value: 0.03765
46 - filter: self_attn.q_proj.20
47 value: 0.00301
48 - filter: self_attn.q_proj.21
49 value: 0.01149
50 - filter: self_attn.k_proj.0
51 value: 0.01448
52 - filter: self_attn.k_proj.1
53 value: 0.01995
54 - filter: self_attn.k_proj.2
55 value: 0.02198
56 - filter: self_attn.k_proj.3
57 value: 0.02643
58 - filter: self_attn.k_proj.4
59 value: 0.04244
60 - filter: self_attn.k_proj.5
61 value: 0.03983
62 - filter: self_attn.k_proj.6
63 value: 0.03963
64 - filter: self_attn.k_proj.7
65 value: 0.04097
66 - filter: self_attn.k_proj.8
67 value: 0.10344
68 - filter: self_attn.k_proj.9
69 value: 0.12206
70 - filter: self_attn.k_proj.10
71 value: 0.10247
72 - filter: self_attn.k_proj.11
73 value: 0.08638
74 - filter: self_attn.k_proj.12
75 value: 0.06374
76 - filter: self_attn.k_proj.13
77 value: 0.05815
78 - filter: self_attn.k_proj.14
79 value: 0.0267
80 - filter: self_attn.k_proj.15
81 value: 0.0105
82 - filter: self_attn.k_proj.16
83 value: 0.03183
84 - filter: self_attn.k_proj.17
85 value: 0.0173
86 - filter: self_attn.k_proj.18
87 value: 0.06724
88 - filter: self_attn.k_proj.19
89 value: 0.01356
90 - filter: self_attn.k_proj.20
91 value: 0.03054
92 - filter: self_attn.k_proj.21
93 value: 0.02039
94 - filter: self_attn.v_proj.0
95 value: 0.00132
96 - filter: self_attn.v_proj.1
97 value: 0.00024
98 - filter: self_attn.v_proj.2
99 value: 0.00149
100 - filter: self_attn.v_proj.3
101 value: 0.00292
102 - filter: self_attn.v_proj.4
103 value: 0.00208
104 - filter: self_attn.v_proj.5
105 value: 0.00715
106 - filter: self_attn.v_proj.6
107 value: 0.00725
108 - filter: self_attn.v_proj.7
109 value: 0.00891
110 - filter: self_attn.v_proj.8
111 value: 0.0271
112 - filter: self_attn.v_proj.9
113 value: 0.03499
114 - filter: self_attn.v_proj.10
115 value: 0.04242
116 - filter: self_attn.v_proj.11
117 value: 0.05088
118 - filter: self_attn.v_proj.12
119 value: 0.0481
120 - filter: self_attn.v_proj.13
121 value: 0.04341
122 - filter: self_attn.v_proj.14
123 value: 0.05882
124 - filter: self_attn.v_proj.15
125 value: 0.0702
126 - filter: self_attn.v_proj.16
127 value: 0.07306
128 - filter: self_attn.v_proj.17
129 value: 0.08186
130 - filter: self_attn.v_proj.18
131 value: 0.08394
132 - filter: self_attn.v_proj.19
133 value: 0.07471
134 - filter: self_attn.v_proj.20
135 value: 0.16654
136 - filter: self_attn.v_proj.21
137 value: 0.11261
138 - filter: self_attn.o_proj.0
139 value: 0.00157
140 - filter: self_attn.o_proj.1
141 value: 0.00103
142 - filter: self_attn.o_proj.2
143 value: 0.0019
144 - filter: self_attn.o_proj.3
145 value: 0.00336
146 - filter: self_attn.o_proj.4
147 value: 0.00236
148 - filter: self_attn.o_proj.5
149 value: 0.0061
150 - filter: self_attn.o_proj.6
151 value: 0.00104
152 - filter: self_attn.o_proj.7
153 value: 0.0095
154 - filter: self_attn.o_proj.8
155 value: 0.00767
156 - filter: self_attn.o_proj.9
157 value: 0.01618
158 - filter: self_attn.o_proj.10
159 value: 0.01477
160 - filter: self_attn.o_proj.11
161 value: 0.00161
162 - filter: self_attn.o_proj.12
163 value: 0.00596
164 - filter: self_attn.o_proj.13
165 value: 0.01282
166 - filter: self_attn.o_proj.14
167 value: 0.05706
168 - filter: self_attn.o_proj.15
169 value: 0.04798
170 - filter: self_attn.o_proj.16
171 value: 0.02363
172 - filter: self_attn.o_proj.17
173 value: 0.04288
174 - filter: self_attn.o_proj.18
175 value: 0.12266
176 - filter: self_attn.o_proj.19
177 value: 0.03632
178 - filter: self_attn.o_proj.20
179 value: 0.32836
180 - filter: self_attn.o_proj.21
181 value: 0.25524
182 - filter: mlp.gate_proj.0
183 value: 0.0008
184 - filter: mlp.gate_proj.1
185 value: 0.00325
186 - filter: mlp.gate_proj.2
187 value: 0.0023
188 - filter: mlp.gate_proj.3
189 value: 0.00033
190 - filter: mlp.gate_proj.4
191 value: 0.00163
192 - filter: mlp.gate_proj.5
193 value: 0.00365
194 - filter: mlp.gate_proj.6
195 value: 0.0042
196 - filter: mlp.gate_proj.7
197 value: 0.01307
198 - filter: mlp.gate_proj.8
199 value: 0.01445
200 - filter: mlp.gate_proj.9
201 value: 0.02852
202 - filter: mlp.gate_proj.10
203 value: 0.03948
204 - filter: mlp.gate_proj.11
205 value: 0.04786
206 - filter: mlp.gate_proj.12
207 value: 0.0536
208 - filter: mlp.gate_proj.13
209 value: 0.05585
210 - filter: mlp.gate_proj.14
211 value: 0.0648
212 - filter: mlp.gate_proj.15
213 value: 0.06929
214 - filter: mlp.gate_proj.16
215 value: 0.0744
216 - filter: mlp.gate_proj.17
217 value: 0.08906
218 - filter: mlp.gate_proj.18
219 value: 0.104
220 - filter: mlp.gate_proj.19
221 value: 0.09914
222 - filter: mlp.gate_proj.20
223 value: 0.10889
224 - filter: mlp.gate_proj.21
225 value: 0.12143
226 - filter: mlp.up_proj.0
227 value: 0.00118
228 - filter: mlp.up_proj.1
229 value: 0.00377
230 - filter: mlp.up_proj.2
231 value: 0.00249
232 - filter: mlp.up_proj.3
233 value: 0.00103
234 - filter: mlp.up_proj.4
235 value: 0.00085
236 - filter: mlp.up_proj.5
237 value: 0.00298
238 - filter: mlp.up_proj.6
239 value: 0.00318
240 - filter: mlp.up_proj.7
241 value: 0.01108
242 - filter: mlp.up_proj.8
243 value: 0.0145
244 - filter: mlp.up_proj.9
245 value: 0.02919
246 - filter: mlp.up_proj.10
247 value: 0.03808
248 - filter: mlp.up_proj.11
249 value: 0.04536
250 - filter: mlp.up_proj.12
251 value: 0.05076
252 - filter: mlp.up_proj.13
253 value: 0.05593
254 - filter: mlp.up_proj.14
255 value: 0.06894
256 - filter: mlp.up_proj.15
257 value: 0.07535
258 - filter: mlp.up_proj.16
259 value: 0.07777
260 - filter: mlp.up_proj.17
261 value: 0.08961
262 - filter: mlp.up_proj.18
263 value: 0.1045
264 - filter: mlp.up_proj.19
265 value: 0.10045
266 - filter: mlp.up_proj.20
267 value: 0.11479
268 - filter: mlp.up_proj.21
269 value: 0.10822
270 - filter: mlp.down_proj.0
271 value: 0.07073
272 - filter: mlp.down_proj.1
273 value: 0.04763
274 - filter: mlp.down_proj.2
275 value: 0.01994
276 - filter: mlp.down_proj.3
277 value: 0.00011
278 - filter: mlp.down_proj.4
279 value: 0.00291
280 - filter: mlp.down_proj.5
281 value: 0.00115
282 - filter: mlp.down_proj.6
283 value: 0.00396
284 - filter: mlp.down_proj.7
285 value: 0.02167
286 - filter: mlp.down_proj.8
287 value: 0.00561
288 - filter: mlp.down_proj.9
289 value: 0.00899
290 - filter: mlp.down_proj.10
291 value: 0.01681
292 - filter: mlp.down_proj.11
293 value: 0.02464
294 - filter: mlp.down_proj.12
295 value: 0.02988
296 - filter: mlp.down_proj.13
297 value: 0.03701
298 - filter: mlp.down_proj.14
299 value: 0.04521
300 - filter: mlp.down_proj.15
301 value: 0.07515
302 - filter: mlp.down_proj.16
303 value: 0.05471
304 - filter: mlp.down_proj.17
305 value: 0.05965
306 - filter: mlp.down_proj.18
307 value: 0.06833
308 - filter: mlp.down_proj.19
309 value: 0.07838
310 - filter: mlp.down_proj.20
311 value: 0.11912
312 - filter: mlp.down_proj.21
313 value: 0.20841
314 - value: 1
315 weight:
316 - value: 1
317merge_method: ties
318base_model: bigcode/starcoder2-3b
319parameters:
320 normalize: true
321 int8_mask: true
322dtype: bfloat16
323tokenizer_source: union1!pip install -qU transformers accelerate
2
3from transformers import AutoTokenizer
4import transformers
5import torch
6
7model = "choprahetarth/they_not_like_us"
8messages = [{"role": "user", "content": "What is a large language model?"}]
9
10tokenizer = AutoTokenizer.from_pretrained(model)
11prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
12pipeline = transformers.pipeline(
13 "text-generation",
14 model=model,
15 torch_dtype=torch.float16,
16 device_map="auto",
17)
18
19outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
20print(outputs[0]["generated_text"])