AutoTrain API

С помощью AutoTrain API вы можете запустить свой собственный экземпляр AutoTrain и использовать его для обучения моделей в инфраструктуре Hugging Face Spaces (локальное обучение скоро состоится). Этот API предназначен для использования с моделями и наборами данных, совместимыми с autotrain, и предоставляет простой интерфейс для обучения моделей с минимальной настройкой.

Приступая к работе

Чтобы начать работу с AutoTrain API, все, что вам нужно сделать, это установить autotrain-advanced, как описано в разделе "Запуск локально", и запустить команду приложения autotrain:

$ autotrain app --port 8000 --host 127.0.0.1

Затем вы можете получить доступ к ссылке на API по адресу http://127.0.0.1:8000/docs.

Пример использования

curl -X POST "http://127.0.0.1:8000/api/create_project" \
     -H "Content-Type: application/json" \
     -H "Authorization: Bearer hf_XXXXX" \
     -d '{
           "username": "abhishek",
           "project_name": "my-autotrain-api-model",
           "task": "llm:orpo",
           "base_model": "meta-llama/Meta-Llama-3-8B-Instruct",
           "hub_dataset": "argilla/distilabel-capybara-dpo-7k-binarized",
           "train_split": "train",
           "hardware": "spaces-a10g-large",
           "column_mapping": {
               "text_column": "chosen",
               "rejected_text_column": "rejected",
               "prompt_text_column": "prompt"
           },
           "params": {
               "block_size": 1024,
               "model_max_length": 4096,
               "max_prompt_length": 512,
               "epochs": 1,
               "batch_size": 2,
               "lr": 0.00003,
               "peft": true,
               "quantization": "int4",
               "target_modules": "all-linear",
               "padding": "right",
               "optimizer": "adamw_torch",
               "scheduler": "linear",
               "gradient_accumulation": 4,
               "mixed_precision": "fp16",
               "chat_template": "chatml"
           }
         }'