Crawl4AI: как получить чистый Markdown и JSON из веб-страниц без вызова LLM.
Рекомендуем передавать модели текст страницы без меню и подвала.
Что делает Crawl4AI
Crawl4AI получает веб-страницы через браузер и возвращает Markdown. Для очистки предусмотрен Fit Markdown: он позволяет убрать служебные блоки или отобрать нужный текст по запросу через BM25.
Извлечение данных
Если структура страниц повторяется, CSS- или XPath-схема помогает извлечь JSON без вызова LLM. Для извлечения с помощью модели предусмотрена отдельная стратегия.
Проверка перед передачей агенту
Рекомендуем проверять полученный текст. Для динамических страниц может понадобиться настроить браузер и ожидание загрузки. Библиотека не гарантирует полное чтение любого сайта.
Схема составлена по документации и показывает два пути обработки. Собственного запуска не было.
Источник: github.com/unclecode/crawl4ai
Ещё новости:
