Model	Merge Method	Score(but what?)
beomi/Llama-3-Open-Ko-8B-Instruct-preview	chat vector	-
kuotient/Llama-3-Ko-8B-ties	Ties	-
kuotient/Llama-3-Ko-8B-dare-ties	Dare-ties	-
kuotient/Llama-3-Ko-8B-TA	Task Arithmetic(maybe...? not sure about this)	-
WIP	Model stock(I don't read this paper yet but still)	-

python

messages = [
    {"role": "system", "content": "친절한 챗봇으로서 상대방의 요청에 최대한 자세하고 친절하게 답하자. 모든 대답은 한국어(Korean)으로 대답해줘."},
    {"role": "user", "content": "피보나치 수열이 뭐야? 그리고 피보나치 수열에 대해 파이썬 코드를 짜줘볼래?"},
]
---
피보나치 수열은 1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144, 233, 377, 610, 985, 1597, 2584, 4181, 6765,...와 같은 수열로, 이 수열의 각 항은 이전 두 항의 합으로 구성됩니다. 즉, 첫 번째 항은 1, 두 번째 항은 1, 세 번째 항은 1+2=3, 네 번째 항은 2+3=5, 다섯 번째 항은 3+5=8, 여섯 번째 항은 5+8=13, 일곱 번째 항은 8+13=21, 여덟 번째 항은 13+21=34, 구체적으로는 첫 번째 항과 두 번째 항을 더한 결과입니다.

이러한 수열은 13세기 이탈리아 수학자 레오나르도 피보나치가 처음으로 발견했습니다. 피보나치 수열은 수학, 컴퓨터 과학, 경제학, 생물학 등 다양한 분야에서 응용됩니다.

다음은 피보나치 수열을 생성하는 파이썬 코드입니다.
``(포맷이 깨져서..🤗)`python
def fibonacci(n):
    if n == 0: return 0
    elif n == 1: return 1
    else: return fibonacci(n-1) + fibonacci(n-2)
``🤗`
이 코드를 실행하면 피보나치 수열을 생성할 수 있습니다. 예를 들어, `fibonacci(5)`를 실행하면 5번째 항인 5가 출력됩니다.

이 코드는 수열의 각 항을 계산하는 함수를 정의했습니다. 함수의 이름은 `fibonacci`입니다. 함수는 두 개의 입력인 `n`을 받습니다. `n`이 0이면 0을 반환하고, `n`이 1이면 1을 반환합니다. 그렇지 않으면 이전 두 항을 더한 값을 반환합니다.

이 코드를 실행하면 다음과 같은 결과를 얻을 수 있습니다.
```python
print(fibonacci(0))  # 0
print(fibonacci(1))  # 1
print(fibonacci(2))  # 1
print(fibonacci(3))

python

messages = [
    {"role": "system", "content": "친절한 챗봇으로서 상대방의 요청에 최대한 자세하고 친절하게 답하자. 모든 대답은 한국어(Korean)으로 대답해줘."},
    {"role": "user", "content": "한국의 제헌 헌법에 대해서 자세히 설명해주세요."},
]
---
한국의 제헌헌법은 1948년 7월 12일에 제정된 대한민국의 헌법으로, 이헌 5조에 따라 1948년 7월 17일에 공포된 헌법입니다. 이 헌법은 대한민국의 기본적인 정치질서, 정부조직, 국민의 권리와 의무, 행정기관의 조직과 권한, 재판제도, 지방자치제도, 선거제도, 헌법 개정절차 등에 대한 기본적인 사항을 규정하고 있습니다.

제헌헌법은 1948년 5월 10일에 제정된 헌법 제정위원회에서 작성된 헌법 초안을 수정, 보완하여 1948년 6월 5일에 국회에서 의결한 후, 1948년 7월 12일에 공포되었습니다. 이 헌법은 1948년 7월 17일에 시행되었습니다.

이 헌법은 민주공화국의 기본원칙으로서, 국민주권, 인권보장, 민주적 기본질서, 법치주의를 기본원칙으로 합니다. 또한, 국민의 기본권을 보장하고, 행정기관의 조직과 권한을 정하여 국가의 권력을 분산하고, 지방자치제도를 구축하여 민주적이고 공정한 정부를 구축하려는 목적을 가지고 있습니다.

이 헌법은 1987년 10월 29일에 개정된 헌법으로 대체되었습니다. 이 헌법은 1987년 10월 29일에 제정된 헌법 개정위원회에서 작성된 헌법 초안을 수정, 보완하여 1987년 12월 30일에 국회에서 의결한 후, 1988년 2월 25일에 공포되었습니다. 이 헌법은 민주화운동의 결과로 만들어진 헌법으로, 민주화의 이념을 강조하고, 국민의 기본권을 보장하고, 행정기관의 조직과 권한을 정하여 민주적이고 공정한 정부를 구축하려는 목적을 가지고 있습니다.

이 헌법은 대한민국의 헌법으로서, 현재까지도 대한민국의 헌법으로서 기능하고 있습니다.

python

messages = [
    {"role": "system", "content": "친절한 챗봇으로서 상대방의 요청에 최대한 자세하고 친절하게 답하자. 모든 대답은 한국어(Korean)으로 대답해줘."},
    {"role": "user", "content": "세종대왕의 집현전 맥북 던짐 사건에 대해서 알고 있어?"},
]
---
세종대왕의 집현전 맥북 던짐 사건은 1443년 세종대왕이 집현전에서 의궤를 작성하는 과정에서 일어난 일화입니다. 당시 집현전의 학자들은 의궤를 작성하는 데에 어려움을 겪고 있었는데, 이에 세종대왕은 직접 집현전에 내려가서 학자들을 격려하고 의궤 작성에 필요한 자료를 요청했습니다. 하지만 학자들은 자료를 찾을 수 없어 답답해하던 중에 한 학자가 맥북에 있는 자료를 찾는 방법을 생각해냈고, 이 방법을 통해 의궤를 작성할 수 있었습니다. 이 일화는 세종대왕이 학자들에게는 지혜를 주고, 학자들은 왕에게는 의궤를 작성할 수 있는 방법을 보여주는 좋은 예가 됩니다.

이 사건은 세종대왕이 학자들에게 지식을 요구하고 학자들은 이를 해결하기 위해 노력하는 모습을 보여주는 좋은 예로, 학문과 왕의 지혜가 조화를 이룬 좋은 사례입니다. 또한, 이 사건은 우리나라의 역사에서 중요한 사건으로, 우리는 이 사건을 통해 세종대왕의 학문 지지 정책과 학자의 노력을 알 수 있습니다.

이 사건이 일어난 후, 조선 왕조는 학문을 장려하는 정책을 펼쳤고, 조선 후기에는 학자들이 왕조를 지원받아 학문을 연구할 수 있는 환경이 조성되었습니다. 이 사건은 우리나라 학문 발전에 큰 영향을 미쳤습니다.

이 사건은 세종대왕의 지혜와 학자들의 노력이 조화를 이룬 좋은 예입니다. 우리는 이 사건을 통해 세종대왕의 학문 지지 정책과 학자의 노력을 배워야 합니다.

python

messages = [
    {"role": "system", "content": "친절한 챗봇으로서 상대방의 요청에 최대한 자세하고 친절하게 답하자. 모든 대답은 한국어(Korean)으로 대답해줘."},
    {"role": "user", "content": "나는 오늘 사과 5개를 갖고있어. 그리고 어제 나는 사과 2개를 먹었지. 내가 지금 가진 사과는 몇 개지?"},
]
---
사과 5개 중에서 2개를 먹었으니, 아직 남은 사과는 5개에서 2개를 뺀 3개입니다! 😊

This is a merge of pre-trained language models created using mergekit.

Merge Details

Merge Method

This model was merged using the TIES merge method using meta-llama/Meta-Llama-3-8B as a base.

Models Merged

The following models were included in the merge:

Configuration

The following YAML configuration was used to produce this model:

yaml

models:
  - model: meta-llama/Meta-Llama-3-8B
    # no parameters necessary for base model
  - model: meta-llama/Meta-Llama-3-8B-Instruct
    parameters:
      density: 0.8
      weight: 0.5
  - model: beomi/Llama-3-Open-Ko-8B
    parameters:
      density: 0.8
      weight: 0.5
merge_method: ties
parameters:
    rescale: true
    int8_mask: true
base_model: meta-llama/Meta-Llama-3-8B
dtype: bfloat16

사족: dare-ties 결과가 더 좋아보이는데, 아마 density 차이 때문으로 보임.

RichardErkhov/kuotient_-_Llama-3-Ko-8B-ties-awq

Original model description:

Llama-3-Ko-8B-Ties

Merge Details

Merge Method

Models Merged

Configuration

RichardErkhov/
kuotient_-_Llama-3-Ko-8B-ties-awq