Файл конфигурации AutoTrain

Конфигурации AutoTrain - это способ локального использования и обучения моделей с помощью AutoTrain.

После установки AutoTrain Advanced вы можете использовать следующую команду для обучения моделей с использованием конфигурационных файлов AutoTrain:

$ export HF_USERNAME=your_hugging_face_username
$ export HF_TOKEN=your_hugging_face_write_token

$ autotrain --config path/to/config.yaml

Примеры конфигураций для всех задач можно найти в каталоге configs расширенного репозитория AutoTrain на GitHub.

Вот пример конфигурационного файла AutoTrain:

task: llm
base_model: meta-llama/Meta-Llama-3-8B-Instruct
project_name: autotrain-llama3-8b-orpo
log: tensorboard
backend: local

data:
  path: argilla/distilabel-capybara-dpo-7k-binarized
  train_split: train
  valid_split: null
  chat_template: chatml
  column_mapping:
    text_column: chosen
    rejected_text_column: rejected

params:
  trainer: orpo
  block_size: 1024
  model_max_length: 2048
  max_prompt_length: 512
  epochs: 3
  batch_size: 2
  lr: 3e-5
  peft: true
  quantization: int4
  target_modules: all-linear
  padding: right
  optimizer: adamw_torch
  scheduler: linear
  gradient_accumulation: 4
  mixed_precision: bf16

hub:
  username: ${HF_USERNAME}
  token: ${HF_TOKEN}
  push_to_hub: true

В этой конфигурации мы завершаем настройку модели meta-llama/Meta-Llama-3-8B-Instruct на бинаризованном наборе данных argilla/distilabel-capybara-dpo-7k с использованием orpo trainer для 3 эпох с размером пакета 2 и скоростью обучения 3e-5. Более подробную информацию о доступных параметрах можно найти в Форматы данных и параметры.

В случае, если вы не хотите передавать модель в hub, вы можете установить для параметра push_to_hub значение false в файле конфигурации. Если нет, то для передачи модели в hub имя пользователя и токен не требуются. Примечание: они все еще могут понадобиться, если вы пытаетесь получить доступ к закрытым моделям или наборам данных.