LM Studio позволяет вам общаться с вашими документами полностью офлайн, используя технику, называемую Retrieval-Augmented Generation (RAG).

Как это работает

Когда вы прикрепляете документ к чату, LM Studio:

1. Разбивает документ на меньшие части (чанки)
2. Создаёт векторные представления (эмбеддинги) для каждого чанка
3. Сохраняет эти эмбеддинги локально на вашем компьютере
4. Когда вы задаёте вопрос, находит наиболее релевантные чанки
5. Предоставляет эти чанки модели как контекст для генерации ответа

Поддерживаемые форматы документов

LM Studio поддерживает следующие форматы файлов:

• Текстовые файлы: .txt, .md, .rst
• Документы: .pdf, .docx, .doc
• Электронные таблицы: .csv, .xlsx, .xls
• Код: .py, .js, .ts, .java, .cpp, .c, .h, .php, .rb, .go, .rs
• Веб-страницы: .html, .htm

Как использовать

Метод 1: Перетаскивание файлов

Просто перетащите файлы или папки в окно чата. LM Studio автоматически обработает их и добавит в контекст разговора.

Метод 2: Кнопка прикрепления

Нажмите кнопку прикрепления файлов (скрепка) в интерфейсе чата (Chat) и выберите файлы для загрузки.

Метод 3: Вставка текста

Вы также можете вставить текст напрямую в чат, и он будет обработан как документ.

Настройки RAG

Вы можете настроить параметры RAG в настройках чата:

Размер чанка (Chunk Size)

Определяет, на сколько частей будет разбит документ. Большие чанки сохраняют больше контекста, но могут быть менее точными.

• Рекомендуется: 500-1000 токенов

Перекрытие чанков (Chunk Overlap)

Количество токенов, которые перекрываются между соседними чанками. Помогает сохранить связность контекста.

• Рекомендуется: 50-200 токенов

Количество извлекаемых чанков (Top K)

Сколько наиболее релевантных чанков будет предоставлено модели для каждого запроса.

• Рекомендуется: 3-5 чанков

Порог сходства (Similarity Threshold)

Минимальная оценка сходства для включения чанка в контекст. Более высокие значения означают более строгий отбор.

• Рекомендуется: 0.7-0.9

Управление документами

Просмотр прикреплённых документов

Вы можете увидеть все прикреплённые документы в панели информации о чате. Там отображается количество чанков и размер каждого документа.

Удаление документов

Чтобы удалить документ из чата, нажмите на крестик рядом с ним в панели информации.

Очистка всех документов

Используйте кнопку "Очистить все вложения" для удаления всех документов из текущего чата.

Хранилище эмбеддингов

LM Studio хранит векторные представления документов локально на вашем компьютере. Это позволяет:

• Быстро переиспользовать документы в разных чатах
• Работать полностью офлайн
• Не отправлять ваши документы на внешние серверы

Путь к хранилищу эмбеддингов:

~/.lmstudio/embeddings/

Рекомендации по использованию

Для лучших результатов

• Используйте модели с поддержкой длинного контекста (8K+ токенов)
• Прикрепляйте релевантные документы — не перегружайте чат
• Задавайте конкретные вопросы о содержимом документов
• Экспериментируйте с настройками размера чанков и Top K

Ограничения

• Большие документы могут требовать много времени для обработки
• Качество ответов зависит от возможностей модели
• Некоторые форматы (например, сканированные PDF) могут не поддерживаться

Устранение неполадок

Документ не обрабатывается

• Проверьте, что формат файла поддерживается
• Убедитесь, что файл не повреждён
• Попробуйте конвертировать файл в другой формат (например, PDF в TXT)

Модель игнорирует документы

• Увеличьте количество извлекаемых чанков (Top K)
• Снизьте порог сходства
• Используйте модель с лучшим пониманием контекста

Медленная обработка

• Уменьшите размер документов
• Закройте другие приложения, использующие много ресурсов
• Используйте более быструю модель для эмбеддингов

---

---

Оригинал страницы