Skip to main content

Про стенд для тестов систем памяти AI-агентов.Когда мне в руки попадает очередное решение для памяти AI-агентов, я радуюсь, как ребёнок собираю с ним стандартный тестовый стенд в docker:1. База для векторов – Qdrant. Поддерживается большинством фреймворков для организации памяти.2. База для хранения графов – Neo4j. Один из старейших игроков векторных БД. Также имеет обширную поддержку среди решений.3. API для LLM. Использую модели через Cerebras. Нравится их скорость. А on-prem-модели позволяют выявить слабые места, которые нивелируют большие SOTA-модели.4. Embedding-модель. Использую один из эмбеддингов от OpenAI. Почему? Исторически так сложилось. 5. Отображение чата с LLM. Open WebUI. Универсальный фреймворк для работы с чатом, в котором есть всё, что можно от него захотеть. 6. Searxng. Поисковый движок для агента, который поддерживает Open WebUI. Не требует внешних API-ключей. Поднимается как Docker-контейнер и хорошо отрабатывает в рамках тестов.Это базовая версия стенда, на котором можно провести базовые тесты по записи/извлечению памяти. Можно его расширить инструментами, чтобы протестировать специфические кейсы или узнать больше информации.

  1. @kdoronin_blog TG

    Про стенд для тестов систем памяти AI-агентов.

    Когда мне в руки попадает очередное решение для памяти AI-агентов, я радуюсь, как ребёнок собираю с ним стандартный тестовый стенд в docker:

    1. База для векторов – Qdrant. Поддерживается большинством фреймворков для организации памяти.

    2. База для хранения графов – Neo4j. Один из старейших игроков векторных БД. Также имеет обширную поддержку среди решений.

    3. API для LLM. Использую модели через Cerebras. Нравится их скорость. А on-prem-модели позволяют выявить слабые места, которые нивелируют большие SOTA-модели.

    4. Embedding-модель. Использую один из эмбеддингов от OpenAI. Почему? Исторически так сложилось.

    5. Отображение чата с LLM. Open WebUI. Универсальный фреймворк для работы с чатом, в котором есть всё, что можно от него захотеть.

    6. Searxng. Поисковый движок для агента, который поддерживает Open WebUI. Не требует внешних API-ключей. Поднимается как Docker-контейнер и хорошо отрабатывает в рамках тестов.

    Это базовая версия стенда, на котором можно провести базовые тесты по записи/извлечению памяти. Можно его расширить инструментами, чтобы протестировать специфические кейсы или узнать больше информации.
    ⭐ 2 👍 13 ❤️ 4 🔥 4