Друзья, на волне ажиотажа вокруг темы искусственного интеллекта, в рамках которой мы рассмотрели умные чат-боты ChatGPT и Bing AI, предлагаю рассмотреть вопрос, лишь косвенно связанный с ИИ, но решающий ту же задачу помощи людям в поиске информации – визуальный её поиск. Как найти в Интернете то, что не знаем как искать? Если это неизвестные нам растение, порода питомца, деталь, товар, медийная личность или персонаж. Достаточно иметь изображение искомого, а что это, кто это, с чем оно связано, сколько стоит, и где его купить – сможем узнать с помощью технологий визуального интернет-поиска, т.е. поиска по картинке. Эти технологии предлагаются нам совершенно бесплатно популярными поисковиками. Более того, каждый поисковик, предлагающий поиск по картинке, предусматривает в рамках этой функции свои какие-то фишки. Рассмотрим реализации визуального поиска от трёх крупнейших компаний - Google, Microsoft и Яндекс.

↑ Поиск по картинке в Интернете

↑ Что такое визуальный поиск

Но, друзья, сначала несколько слов о том, что такое визуальный поиск, и как он работает.

Визуальный поиск – это поиск информации по снятому на камеру, загруженному из файла, вставленному из буфера обмена изображению, либо его ссылке, если оно размещено в Интернете. Существует как интернет-сервис, мобильное приложение или функция, интегрированная в разные мобильные приложения. При получении от нас изображения идентифицирует его и выдаёт по нему результаты интернет-поиска.

С помощью визуального поиска можно:

• Узнавать названия неизвестных предметов или животных, имена личностей;
• Узнавать места и достопримечательности;
• Узнавать стили архитектуры и дизайна; 
• Узнавать названия фильмов по кадрам из них;
• Узнавать названия товаров и бренды, искать товары в интернет-магазинах;
• Искать похожие изображения.

Помимо основной функции поиска по изображению сервисы визуального поиска предлагают функцию распознавания и перевода текста. Можно снять на камеру смартфона этикетку, упаковку, афишу или меню на иностранном языке. И получить распознанный текст и его перевод.

Некоторые сервисы визуального поиска предусматривают примечательную для учащихся функцию – решение математических и прочих задач. Фотографируем задачу и получаем по ней если не готовое решение, то отсылки на информацию о том, как её решить.

Визуальный поиск базируется на двух методах поиска. Первый: поиск по метаданным изображения – названию, ключевым словам, цветам. Второй: поиск по образцу – с использованием технологии компьютерного зрения, способной обнаруживать и классифицировать объекты на изображении. Эта технология исследует цвет, форму, текстуру и прочие нюансы того, что изображено.

Ни один из этих методов поиска не идеален: метаданных может не быть, либо они могут быть неверны, а компьютерному зрению, как и любому машинному интеллекту, есть куда совершенствоваться. Визуальный поиск может не справиться с идентификацией сложного или редкого объекта. Но ему по силам будут простые вещи, о которых в Интернете масса информации.

Рассмотрим тройку бесплатных сервисов визуального поиска от поисковиков.

↑ Google Lens 

Google Lens, т.е. Google Объектив – визуальный поиск от Google. Интегрирован в поисковик Google. При нажатии его кнопки появляется форма получения изображения. Его можно загрузить как файл, либо вставить ссылку, если оно опубликовано в Интернете. В форму для вставки ссылки также можно вставить изображение, скопированное в буфер обмена.

В результатах визуального поиска увидим страницы с информацией об объекте, а также страницы интернет-магазинов с указанием цен, если это продаваемый товар. Для изображений с текстом доступны функции копирования распознанного текста и перевода. Есть функция поиска источника изображения. Изображение можно кадрировать для фокусирования на объекте или выборе нужного объекта, если их несколько.

Отсылка на сервис визуального поиска Google присутствует на стартовой странице браузера Chrome в виде надписи-ссылки «Картинки».

Больше возможностей получим в мобильной реализации Google Lens, в iOS/Android-приложениях. В них поиск можно осуществлять по существующим файлам изображений и отснятому камерой устройства фото. Google Lens существует как отдельное приложение и как интеграция в приложения Chrome, поиск Google, Google Фото. Мобильная реализация предусматривает поиск информации, товаров, мест, кафе и ресторанов, распознание и перевод текста, решение домашних заданий.

Решение задач возможно по математике, физике, химии, биологии и прочим предметам.

↑ Визуальный поиск Bing

Визуальный поиск Bing встроен в поисковик Bing от компании Microsoft. Здесь также можем использовать для поиска изображение из файла или буфера, либо указать его ссылку.

В результатах поиска будут выданы ссылки с информацией об объекте на изображении, страницы с изображением и связанным с ним содержимым. Изображение можно кадрировать. Для текста будет доступно распознавание.

На стартовой странице браузера Microsoft Edge можно оперативно получить доступ к Bing и его визуальному поиску, нажав кнопку встроенного поиска с пустым полем.

Визуальный поиск Bing встроен в мобильные приложения компании Microsoft – Bing, Microsoft Edge для iOS/Android и Microsoft Launcher для Android. В этих приложениях поиск выполняется по изображению, загруженному с памяти устройства или снятому камерой. Возможности визуального поиска те же, что и у веб-сервиса. Есть дополнительная функция сканера QR и штрихкодов.

↑ Поиск по картинкам и умная камера Яндекса

Поисковик Яндекс также имеет интеграцию визуального поиска - поиск по картинкам.

Есть отдельный сервис изображений Яндекс.Картинки с интеграцией поиска по картинкам. Для поиска можно загрузить изображение из файла или буфера обмена, либо можно вставить ссылку.

В результатах поиска нам предлагаются сайты с информацией про объект на изображении и похожие изображения. Предлагаются также ключевые слова-ссылки, кликнув на которые можно посмотреть подборки изображений. Изображение можно кадрировать. Для текста доступны функции распознавания и перевода.

Поиск по загруженной из файла картинке можно выполнить прямо из поисково-адресной строки Яндекс.Браузера.

Мобильная реализация визуального поиска от Яндекса называется функцией умной камеры. Умная камера интегрирована в приложения для iOS/Android Яндекс.Браузер, Яндекс с Алисой и Яндекс.Старт. Поиск осуществляется по загруженному изображению, либо снимку камеры устройства. Из возможностей: поиск по картинке, поиск товаров, распознавание и перевод текста, решение математических задач, сканирование документов, QR-кодов, бонусных карт.

И есть уникальная функция - поэзия. Идентифицировав объект на изображении, умная камера может подобрать стихи о нём. Возможно, романтикам пригодится.

Вот такие, друзья, есть возможности поиска информации по фото и изображениям.