Локальный агент для диагностики инфраструктуры

В статье описаны результаты, которые получил в поисках ответа на вопрос "можно ли решать реальные задачи диагностики и исправления проблем инфраструктуры на слабом MacBook в агентском режиме". Сопутствующими целями были:

• Сравнить качество и эффективность работы одной LLM на разном железе

• Сравнить качество и эффективность более мощной версии LLM с менее мощной

Содержание

• Что имеем

• Ход эксперимента

• Сравнение модели 9B на MB16 и MB48

• Сравнение моделей 9B/35B на MB16 и MB48

• Результаты - задачи решать можно, но с оговорками

Что имеем

Тестовая инфраструктура, которую диагностируем и чиним:
- Виртуальная машина Ubuntu 22.04
- Простой Python/FastAPI сервис, который выполняется и доступен по порту 8000
- Намеренно допущенные ошибки: main.py:14(опечатка), main.py (потерянный import requests), отсутствующий пакет requests в virtualenv

# ----- main.py -----
import os
from fastapi import FastAPI

import internet


app = FastAPI()

@app.get("/info")
def get_info():
    try:
        internet_ok = internet.check()
    except requests.exceptions.RequestExceptio:
        return {"something went wrong"}
    return {"system_name": os.uname().sysname, "internet_ok": internet_ok}

# ----- internet -----
def check():
    import requests
    response = requests.get("https://www.google.com", timeout=5)
    return response.status_code == 200

Ход эксперимента

Во всех экспериментах использовался такой промпт

python приложение по адресу http://10.12.2.134:8000/info возвращает 500. раньше возвращалось {"system_name":"Linux","internet_ok":true}. исправь

Указываем диагностируемый сервер и креды доступа, переключаемся на режим агента, выбираем модель и вводим запрос:

Агент будет предлагать пользователю команды для диагностики и исправления. Получив соглашение на выполнение каждой команды, выполняет на указанном сервере через SSH, передаёт exit code и вывод обратно в LLM.

Вот так ведёт себя модель 9B - в среднем 41 цикл “подумать -> запросить разрешение выполнения команды -> выполнить команду -> проанализировать вывод команды”. Графики для MB16 и MB48

Агент, работающий с этой моделью на MB16 и MB48 дает одинаковые качественные (цепочка проблем исправлена, были зацикливания на некоторых командах), но разные количественные результаты.

Сравнение модели 9B на MB16 и MB48

Сравнение моделей 9B/35B на MB16 и MB48

Агент, работающий на модели 35B, дает более крутые результаты в сравнении с моделью 9B: Цепочка проблем исправлена, зацикливаний не было, израсходовано кратно меньше токенов (~50.000 против ~300.000)

Результаты

1. Модель 9B работающая на MB16, решает задачу в 50-60% сессий

2. Модель 9B качественно даёт одинаковый результат на MB16 и MB48

3. Модель 9B количественно даёт более плохой результат на MB16, чем на MB48

4. Модель 35B - космолёт относительно 9B - решает задачу в 95% сессий

5. Модели 35B нужно меньше итераций (примерно в 3 раза - нет зацикливаний) и меньше количество токенов расходуется (50к против 300к на модели 9B)

6. Жалко ноутбук - без управления кулерами - без специального ПО кулеры вообще не крутятся - температура GPU в моменты работы достигает 90-100, медленно спадает. Включив управление кулерами - температура редко превышает 70, спадает значительно быстрее - за ноутбук спокоен.

В следующей статье будут результаты эксперимента с моделью 35B на более сложных проблемах.