Інноваційний ШІ для розробників: як Claude Code навчився бачити та виправляти помилки самостійно
Бразильський IT-фахівець, який живе з квадриплегією, створив унікальний відкритий інструмент claude-code-eyes. Цей інструмент дає змогу автономному ШІ-агенту бачити фізичне обладнання через камеру та виправляти баги інтерфейсу без участі людини.
Завдання та виклик – створити самодостатній розробницький цикл ШІ
Працюючи над проєктом на базі мікроконтролера ESP32, розробник хотів перевірити, чи може Claude Code пройти всі етапи: від написання прошивки до успішного налаштування реле, а також виконувати тести та оновлення по повітрю (OTA). ШІ впорався із поставленими завданнями, але з’явилася проблема з неправильним відображенням тексту на компактному дисплеї.
Для людини з обмеженою рухливістю традиційний процес передачі інформації був вкрай виснажливим і трудомістким. Спершу доводилося робити скріншоти або фотографії, потім пересилати їх через месенджери, завантажувати та лише після цього аналізувати в чаті Claude Code. Ця рутина значно затримувала роботу над проєктом.
Автоматизація «зору» для ШІ: як з’явився claude-code-eyes
Визнавши, що ремонтний процес через фото та скріншоти занадто тривалий, ІТ-експерт вирішив вдосконалити інструмент, додавши функцію автономного сприйняття зображень. Таким чином було створено claude-code-eyes — навичку, яка надає можливість Claude Code безпосередньо отримувати візуальні дані з будь-якої камери.
- Це може бути навіть старенький Android-смартфон із застосунком IP Webcam, Raspberry Pi Camera чи будь-яке інше джерело з URL-адресою для швидких знімків (snapshot URL).
- Після отримання кадру ШІ обробляє його як звичайний файл, знаходить помилки, виправляє код, повторно прошиває мікроконтролер і знову перевіряє результат.
Завдяки такому підходу Claude Code може діагностувати баги, які звичайні юніт-тести не виявляють: наприклад, викривлені шрифти, обрізаний текст на краї екрана або навіть неправильне підключення дротів.
Самодіагностика та підвищена надійність системи
Особливу увагу розробник приділив системі самоконтролю. Це дозволяє уникнути помилкових дій через низьку якість зображення або технічні збої.
- Захист від галюцинацій: якщо камера надто розмита або розташована далеко, ШІ не робить передчасних висновків, а сигналізує про необхідність налаштувати обладнання.
- Перевірка справності камери: порожні кадри не трактуються як відсутність помилок, а спонукають провести діагностику самого пристрою захоплення зображення.
Технічні особливості та доступність
Інструмент claude-code-eyes втілено у доволі компактному коді — близько 100 рядків на Bash поряд із конфігураційним файлом SKILL.md. Все поширюється під відкритою ліцензією MIT, установка відбувається однією командою, а сам інструмент навіть може автоматично сканувати локальну мережу у пошуках IP-камер.
Код та демонстрація роботи доступні у відкритому репозиторії на GitHub, що робить проект доступним для усіх бажаючих поціновувачів IT-інновацій.
