Gpt-crawler — сканирование сайтов и создание баз знаний

Практические лайфхаки для разработчиков, DevOps и админов: Docker, Linux, Bash, Python, Golang, Ansible, логи и безопасность — только рабочие решения. Даем готовые команды, конфиги и приёмы диагностики, которые экономят часы и дни. Если нужно быстро настроить, отладить и обезопасить инфраструктуру — вы по адресу.

gpt-crawlerсканирование сайтовбаза знаний

ℹ️ Инструмент для сканирования сайтов и создания файлов знаний, позволяющих обучить собственного GPT на основе одного или нескольких URL-адресов.

🔥 Он автоматически собирает информацию из указанного источника, формируя базу знаний, которую можно использовать для кастомных моделей.

✳️ Например, можно проанализировать документацию Builder.io и создать GPT, отвечающий на вопросы по интеграции этого сервиса.

📱 GitHub: https://github.com/BuilderIO/gpt-crawler

tags: #утилиты #ии #документация

🧭 @recura_tech

Скриншот VS Code с файлом конфигурации gpt-crawler и открытым терминалом на фоне рабочего стола — пример настройки и запуска.
Пример конфигурации gpt-crawler в VS Code и команда запуска в терминале.

Читайте так же