Dataset CSV com duas colunas:

prompt: texto de entrada target: continuação/resposta (não vazia)

Exemplo de uso (datasets.load_dataset): from datasets import load_dataset

ds = load_dataset("", data_files={"train": "data/mixed_union.csv"}) print(ds) print(ds["train"][0])

Schema esperado:

prompt: string target: string

Observações:

Linhas com target vazio devem ser filtradas… See the full description on the dataset page: https://huggingface.co/datasets/saumasamir/generaldataset.