---
tags:
 - merge
 - mergekit
 - lazymergekit
 - sh2orc
 - bccard

base_model:
  -sh2orc/Llama-3-Korean-8B
---

# Llama-3-Korean-12B

Llama-3-Korean-12B is a merge of the following models using LazyMergekit:
* [sh2orc/Llama-3-Korean-8B](sh2orc/Llama-3-Korean-8B)

- Dataset:
  - [maywell/ko_wikidata_QA](https://huggingface.co/datasets/maywell/ko_wikidata_QA)
  - [lcw99/wikipedia-korean-20240501-1million-qna](https://huggingface.co/datasets/lcw99/wikipedia-korean-20240501-1million-qna)

## 💻 Usage

```python
!pip install -qU transformers accelerate

from transformers import AutoTokenizer
import transformers
import torch

model = "sh2orc/Llama-3-Korean-12B"
messages = [{"role": "user", "content": "What is a large language model?"}]

tokenizer = AutoTokenizer.from_pretrained(model)
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])
```

## Q&A

Q. 나혜석에 대해서 알려줘<br>
A. 나혜석은 1900년 4월 6일에 태어난 한국의 화가이자 작가로, 1934년 10월 9일에 세상을 떠났습니다. 그녀는 1918년부터 1923년까지 미술학교를 다녔으며, 1923년부터 1934년까지 화가로 활동했습니다. 그녀의 작품은 주로 여성의 삶과 여성의 권리에 대한 주제를 다루며, 그녀의 작품은 한국 현대미술의 발전에 큰 영향을 미쳤습니다.

Q. 건강하게 살려면? <br>
A. 건강하게 살려면, 먼저 건강한 식단을 유지하고, 충분한 운동을 하며, 충분한 수면과 휴식 시간을 갖는 것이 중요합니다. 또한 스트레스를 관리하고, 건강한 생활습관을 유지하는 것이 중요합니다. 또한, 건강한 식단을 유지하고, 건강한 생활습관을 유지하는 것이 중요합니다.

Q. 2차세계대전에 대해서 알려줘 <br>
A. 2차세계대전은 1939년부터 1945년까지 진행된 세계 대전으로, 독일과 소련이 전쟁에 참여했습니다. 이 전쟁은 1939년 9월 1일 독일이 폴란드에 침공하면서 시작되었고, 1945년 5월 8일 독일이 연합군에 항복하면서 종료되었습니다. 이 전쟁은 1939년부터 1945년까지 6년 동안 진행되었으며, 2차세계대전은 2차대전으로 알려져 있습니다.