5 способов найти абсолютно все фото человека в интернете по похожему снимку

Мобильные приложения

Ответ на вопрос, на кого я похож из знаменитостей можно при помощи приложений для мобильных устройств. В этом разделе статьи, разберем самые популярные из них

Gradient

Мобильное приложение Gradient,можно скачать для телефонов под системой управления Android и Ios. Поэтому пользоваться программой для поиска звезд двойников можно на любом телефоне или планшете

Рассмотрим работу приложения, на примере мобильного устройства на Android. Подбор звездного двойника на ios будет аналогичной.

После установки и запуска приложения, необходимо выбрать бесплатную опцию «На кого ты похож». Именно эта функция поможет узнать сходство со знаменитостью нашей исходной девушки по фото.

После выбора нужной функции, нажимаем на кнопку «Выбрать фото». На устройстве выбираем нужный снимок, и нажимаем на него.

Программа начинает подбор похожих фото из большой базы данных. И спустя несколько секунд, показывает результат в виде эффекта перевоплощения фото в снимок похожей звезды.

Если, после получения результат схожести не устроил. А так нам показалось, на первом скриншоте. Можно нажать синюю кнопку «Обновить» и найти еще несколько результатов. Это можно делать несколько раз, или до тех пор, пока результат на ваше мнение будет подходящим. Именно так мы и поступили.

Facer

Приложение Facer «На кого я похож», работает под системой управления Android. И скачать его можно в Google Play. Интересно, что программа позволяет дать доступ к результатам работы друзьям или родным. Мобильный сервис имеет русскоязычную оболочку. Алгоритм и база данных, сравнивает русских и иностранных знаменитостей.

После установки и запуска мобильного приложения Facer. Необходимо выполнить следующие шаги.

1. Выбрать функцию «Звезды».
2. Указать источник вашего фото (память мобильного устройства или сделать фото с камеры.
3. Получить фото звезд, на которых вы похожи с процентами схожести.

После выбора источника фотографии нашей виртуальной девушки. Загружаем снимок лица для сравнения. Требование к исходному фото стандартные. Это хорошее качество снимка лица, а также отсутствие других людей.

Итоговое окно результата в приложении Facer включает в себя 5 фотографий звезд, на которых похожа девушка. Указан процент схожести и возможно поделиться, сохранить фото похожей знаменитости на устройстве. Кроме этого, есть возможность сделать еще фото.

Сeleb like me

Это приложение работает на под операционной системой на Android и имеет англоязычный интерфейс. Сeleb like me показывает 12 фото лиц звезд, но русских знаменитостей алгоритм не подбирает.

После установки приложения, можно выбрать исходную фотографию сделав селфи или добавить снимок с жесткого диска устройства. Для эксперимента, был выбран снимок с жесткого диска.

You look like

You look like — это Android приложение, которое имеет сразу несколько развлекательных функций. Но в этой статье, рассмотрим функцию «Who’s your twin» (перевод: Кто твой близнец).

После запуска мобильного приложения, выбираем опцию и загружаем фотографию. Источником снимка, может быть только память мобильного устройства.

Большим отличием сервиса You look like, это анимированное перевоплощение вашего фото в снимок похожей на вас знаменитостью. Передать это в виде фотографии сложно, поэтому записали видео работы приложения от начала и до результата.

Приложение имеет несколько недостатков:

• нет подписи звезды, на которую ты похож;
• не видно процента схожести со знаменитостью;

На этом пока всё. Но мы будем делать обзор новых полезных сайтов в будущем по мере их появления. Возможно они более точно ответят на вопрос: «На кого я похож?»

Search Face

Это программа распознавания лиц по фото в Интернете из базы данных Вконтакте, то есть, полный аналог упомянутой выше FindFace. Умный алгоритм, опираясь на данные встроенной нейросети, быстро анализирует изображение и выдает подборку двойников и клонов. Сервис работает онлайн, то есть, ничего скачивать или устанавливать на устройство не нужно. Все, что потребуется – браузер и Интернет подключение.

Зайдите на сайт https://findclone.ru/;

Введите свой номер телефона и нажмите клавишу «Регистрация» – «Позвонить мне»;

• Вам поступит телефонный звонок. Запомните последние 5 цифр входящего номера;
• Введите эти числа в поле «Пинкод»;
• Укажите свой пароль;

• Таким образом, вы зарегистрировались в системе. Теперь жмите клавишу «Войти»;
• Загрузите исходное фото(или перетащите его на экран);

Сервис сразу приступит к поиску и уже через пару секунд вы увидите результаты.

Мы проверили работу сайта, загрузив туда свое фото и программа действительно разыскала профиль ВК тестируемого человека. Ниже был приведен перечень похожих людей или двойников.

Плюсы

• Cкорость анализа данных;
• Высокая точность (исходное фото ни разу не попадало в Интернет);
• Простота интерфейса сайта;
• Пользоваться сервисом можно как с мобильного, так и с компьютера;
• В Play Market есть отдельное приложение;

Минусы

Необходимость вводить свой номер телефона;

PhotoTracker Lite – поиск 4в1

Расширение для браузера PhotoTracker Lite (работает в Google Chrome, Opera с версии 36, Яндекс.Браузере, Vivaldi) позволяет в один клик искать похожие фото не только в указанных выше источниках, но и по базе поисковика Bing (Bing Images)!

Скриншот интерфейса расширения:

В настройках приложения укажите источники поиска, после чего кликайте правой кнопкой мыши на любое изображение в браузере и выбирайте опцию «Искать это изображение» PhotoTracker Lite:

Есть еще один способ поиска в один клик. По умолчанию в настройках приложения активирован пункт «Показывать иконку быстрого поиска». Когда Вы наводите на какое-то фото или картинку, всплывает круглая зеленая иконка, нажатие на которую запускает поиск похожих изображений – в новых вкладках автоматически откроются результаты поиска по Гугл, Яндекс, Тинай и Бинг.

фото, видео (онлайн и программой)

Все файлы на компьютере имеют так называемые метаданные — набор данных об авторе, источнике файла, комментариях к файлу, имена компьютера и сервера, где был создан файл, время создания и так далее в зависимости от типа файла

Многие пользователи задаются вопросом, можно ли удалить метаданные? Ведь чтобы сохранить анонимность, например, при передаче каких-либо файлов, размещении их на форуме или в блоге, да где угодно, важно удалить метаданные. В частности, это касается фото и видео, так как по метаданным любой сможет посмотреть где, когда и кем была произведена съемка

Поэтому мы расскажем, как удалить метаданные фото, видео и файлов других форматов онлайн и с помощью специальных программ!

Как очистить метаданные файлов: фото, видео

Самый простой способ изменить или удалить метаданные фото — через меню свойства:

1. Нажимаем правой кнопкой мыши и выбираем «Свойства»;
2. Выбираем вкладку «Подробно», далее можем редактировать метаданные, либо удалить их, нажав на ссылку «Удаление свойств и личной информации» и выбрав нужные пункты.

Но этот способ абсолютно не функционален, так как удалять метаданные из большого количества файлов так никто не будет, кроме того не всегда можно удалить метаданные в свойствах файла.

Как удалить метаданные фото в Photoshop

Удалить метаданные с фото в Фотошопе можно следующим образом:

1. Открыть фото;
2. В меню «Файл» нажать «Сохранить для Web»;
3. При сохранении установить «Не показывать» в пункте «Метаданные»;

Как удалить метаданные фото с помощью утилиты Meta Stripper и Show Exif

Удалить метаданные фото легко и быстро можно, воспользовавшись функциональной утилитой Meta Stripper.

Также можно воспользоваться программой для просмотра, изменения или очистки метаданных Show Exif. Обе программы хороши тем, что имеют понятный интерфейс и позволяют удалять метаданные сразу со всех фото в папке, что удобно при работе с большим объемом данных, например, для фотографа.

Как удалить метаданные фото и видео онлайн

Существуют сервисы для быстрого удаления метаданных фотографий или видео онлайн без потери качества, и одним из таких сервисов является IMGonline. Чтобы удалить метаданные фото онлайн с помощью данного сервиса необходимо:

1. Нажать на кнопку «Выберите файл»;
2. Выбрать нужный файл с компьютера;
3. Нажать «ОК».

После чего можно нажать «Скачать обработанное изображение» без метаданных, как это показано на скриншоте ниже.

По фото с компьютера

Через Google

2. Нажмите на значок фотоаппарата.

3. Перейдите в раздел «Загрузить файл».

4. Нажмите на кнопку «Выберите файл». Выберите изображение на компьютере.

5. После загрузки Google откроет результаты.

На заметку. Можно ограничить поиск определенным сайтом, добавив строчку site:адрес. Например, site:ru.aliexpress.com

Через Яндекс

2. Нажмите на значок фотоаппарата.

3. Нажмите на кнопку «Выберите файл».

4. Выберите изображение на компьютере.

5. Яндекс отобразит результаты.

Через TinEye

1. Перейдите по адресу tineye.com.

2. Нажмите на значок «Стрелка вверх».

3. Откроется окно загрузки изображения. Выберите картинку и нажмите кнопку «Открыть».

4. Сервис отобразит результаты.

Выбрав «Filter by domain/collection», вы сможете просмотреть, на каких сайтах было найдено изображение.

Через расширение для браузера

Помимо сайтов и сервисов, которые ищут изображения в интернете, существуют еще и расширения. Это небольшие программы, они добавляются в браузер и помогают быстрее искать по картинке.

Рассмотрим несколько дополнений для браузера Google Chrome.

PhotoTracker Lite. Выполняет поиск в сервисах Google и Яндекс Картинки, Bing и TinEye.

После установки появится значок зеленой лупы в правом верхнем углу экрана.

Теперь откройте сайт, где вам понравился какой-то товар. Нажмите правой кнопкой мыши по его изображению. В меню будет новый пункт «Искать это изображение» – нажмите на него.

Откроются сразу четыре новые вкладки с результатами.

На заметку. Можно отключить лишние сервисы. Для этого щелкните по иконке «PhotoTracker Lite» в правом углу экрана и выключите их.

Search by Image. Данное расширение ищет по сайтам Google, Bing, Yandex, Baidu, TinEye плюс имеет дополнительные полезные инструменты.

После установки появится значок красного фотоаппарата в верхнем правом углу Хрома.

Перейдите на страницу с товаром, нажмите правой клавишей мышки по изображению и выберите пункт «Search by Image». Откроется дополнительное меню, где вы сможете указать, на каких сайтах искать.

Пункт «All search engines» покажет результат во всех поисковиках.

После обработки откроются новые вкладки с результатами.

Дополнительные инструменты:

1. Щелкните левой кнопкой мышки по иконке расширения в правом углу экрана.
2. Нажмите на значок «Палец».

Поиск по картинке. Этот плагин похож на PhotoTracker Lite, но в нем больше поисковых сервисов.

После установки в правом углу браузера появится значок красной лупы. Нажав на него, можно выбрать, в каких сервисах искать.

Чтобы через расширение найти снимок, нужно щелкнуть по нему правой кнопкой мыши и выбрать пункт «Найти похожую картинку».

Поиск по картинке на Aliexpress. Расширение поможет найти товар по картинке непосредственно на Aliexpress. Подробнее о нем читайте далее.

Возможности сервиса поиска изображений

Открыть изображение в большом размере. Чтобы открыть снимок в увеличенном размере, просто нажмите на него.

А если хотите загрузить его в отдельном окне, нажмите еще раз.

Открыть источник. Чтобы перейти на сайт, где было опубликовано изображение, нажмите на название картинки или адрес под ней.

В новой вкладке откроется сайт-источник.

Скачать на телефон. Сохранить снимок можно двумя способами:

1. Через Яндекс
2. С оригинального сайта (источника)

В первом случае изображение не всегда закачивается в хорошем качестве. А во втором зачастую можно выбрать размер.

Для загрузки через Яндекс нажимаем на кнопку «Скачать» под снимком.

Изображение откроется в новом окне. Нажимаем на него и удерживаем палец, пока не появится меню. Из списка выбираем пункт «Скачать изображение». После этого картинка запишется в галерею телефона.

Для загрузки с оригинального сайта нужно сначала на него перейти. Для этого нажать по названию снимка или по адресу сайта, написанного под ним.

В моем случае открылся сайт бесплатных картинок. Здесь есть возможность скачать снимок в разных размерах. Для этого нажимаю на кнопку «Бесплатная Загрузка». Затем выбираю размер и нажимаю «Скачать».

Снимок запишется в галерею телефона.

Изменить изображение. У сервиса есть встроенный редактор, при помощи которого можно внести небольшие правки.

1. Нажмите на кнопку «Редактор» под снимком.

2. Откроется увеличенное изображение, а под ним инструменты для редактирования.

3. Обработайте картинку и нажмите на кнопку «Готово».

4. Выберите пункт «Скачать» и изображение загрузится в галерею.

Появится меню с иконками социальных сетей. Через них можно опубликовать снимок на своей странице или отправить личным сообщением другу.

Добавить в коллекцию. Кнопка «В коллекцию» позволяет добавить изображение в папку «Мои коллекции/Мои картинки» в главном меню. Это что-то вроде закладок.

Найти похожие изображения. Кнопка «Похожие» загрузит подобные снимки (копии).

Фильтры

Фильтры помогают уточнить поиск, отсортировать результаты. Чтобы это сделать, нажмите на пункт «Фильтры» вверху.

Откроется панель, через которую можно выбрать параметры.

Например, если нажать на «Рисунки» загрузятся только рисованные картинки.

А кнопка «Белый фон» показывает только изображения на белом фоне.

Расширенные фильтры. Если настроек недостаточно, то можно открыть полную версию фильтров. Для этого нужно переключить мобильный браузер в компьютерный вид.

1. Нажмите на значок «три точки» в верхнем углу программы.

2. В окошке выберите «Версия для ПК».

3. Для отображения настроек нажмите на пункт «Показать фильтры» в правом углу.

Размер. Сортирует картинки по размеру. Можно выбрать большой, средний, маленький, или указать определенное значение.

Ориентация. Настраивает вид страницы: горизонтальный, вертикальный или квадратный.

Тип. Здесь можно выбрать, какие именно картинки будут показаны: с белым фоном, лица, рисунки и чертежи и др.

Цвет. Можно выбрать цветные, черно-белые или изображения в определенных тонах.

Файл. Задает фильтр по расширению (формату файла):

• JPEG — использует сжатие с потерями и не поддерживает прозрачность.
• PNG — поддерживает полноцветные изображения с сохранением прозрачности.
• GIF — это живые анимированные картинки.

Ещё. Через этот пункт можно указать дополнительные настройки: товары, свежие, обои.

Сбросить. Удаление всех назначенных фильтров.

CamFind выполнит поиск по снимку

Для Android и iOS также существуют специальные приложения, которые можно загрузить через Гугл Плей или Аппстор. Называется она CamFind и специализируется эта программа на сканировании объектов самых разных форматов. Определяет какие есть на изображении люди или объекты. Является крупнейшей в своём роде базой, воспользоваться которой можно лишь имея под рукой камеру или галерею с картинками в памяти телефона.

Спектр преимуществ программы весьма широк. Сюда относится:

• Синхронизация с поисковыми системами во всемирной паутине;
• Функция определения наиболее лучших цен в онлайн-магазинах;
• Возможность быстрой выдачи похожих ссылок по пользовательскому запросу;
• Также, наличие собственного аккаунта;
• Тесное взаимодействие с аккаунтами в Facebook, Twitter и e-mail;
• Наличие общения и обратной связи.

Пользоваться с CamFind достаточно просто. Для этого:

1. Нужно запустить КамФилд нажав на значок;
2. Открыть камеру смартфона и навести её на искомый предмет. Можно сфотографировать не только вещь, но и картинку;
3. После чего платформа автоматически начнёт исследовать результаты.

Скачать Find.Same.Images.OK

На сайте автора есть целых четыре ссылки на скачивание программы — две на обычные инсталляционные версии программы, но под разную битность системы и две на портативные, тоже под системы с разной разрядностью…

После того, как определитесь и нажмёте на нужную ссылку — не спешите и не тыкайте ни на что на появившейся странице…

…через несколько секунд Ваш установщик скачается автоматически, а если этого не произошло всё-таки по какой-то причине — тогда уже можно кликнуть на альтернативную ссылку для запуска загрузки в ручном режиме…

Find.Same.Images.OK работает во всех версиях Windows, начиная с Vista, «понимает» такие графические форматы — JPEG, GIF, PNG, BMP, PCX, WMF, TIFF, TGA и RAW.

Производитель даже приложил таблицу с результатами проверки инсталляторов программы на сервисе ВирусТотал (клик по хеш-сумме перекинет в VirusTotal)…

Теперь Вы знаете, как бесплатно найти похожие картинки и фото в компьютере. До новых полезных компьютерных программ и интересных приложений для Андроид.

Способ 6 – Через поисковик Yandex

Разработчики Yandex не отстают от Google. В самом популярном поисковике Рунета есть функция распознавания объектов на фото, которая отлично работает как с телефона, так и с компьютера.

Yandex рекомендуется использовать в том случае, если вы хотите найти какой-либо русскоязычный контент.

Следуйте инструкции:

• Перейдите на страницу https://yandex.ru/images;
• В открывшемся окне вы можете напечатать запрос и получить выдачу релевантных фото. Для реверсивного поиска по существующей картинке нажмите на значок фотоаппарата;

Рис.12 – Изображения Yandex

Далее введите адрес изображения или загрузите его из памяти устройства;

Рис.13 – Функционал сервиса

В новом окне пользователи увидят систематизированную информацию о картинке – от всех доступных размеров до похожих изображений и конкретного поискового запроса с содержанием снимка.

Рис.14 – Результат выдачи Yandex

Google Goggles — мощный инструмент для мобильных телефонов, способный распознавать снимки

Мобильное приложение Google Goggles создано в 2009 году для мобильных устройств под управление операционной системы Android. Это приложение было специально разработано для визуального поиска картинок, изображений и некоторых других функций. Работает приложение только с серверами компании Google, на которых берет не текстовую информацию, а изображения для выдачи результатов поиска.

Принцип работы этого приложения очень простой. Поиск осуществляется при помощи имеющейся фото/видеокамеры на устройстве. Ранее для поиска необходимо было сделать снимок объекта, который нужно найти в Интернете. Поздние версии Goggles позволяют определять предметы простым наведением камеры. После этого на ваше устройство поступят результаты, соответствующие вашим запросам.

Если вам нужно найти схожие изображения с известными объектами, например, с Пизанской башней, то для этого необходимо лишь навести объектив камеры, и вы получите фото разных размеров и видов башни. Для того, чтобы воспользоваться этой программой, перейдите со своего устройства на Play Market найдите его в поиске.

Особенности приложения:

• Google Goggles умеет определять различные объекты даже при движении. Вы можете включить не фото камеру, а видео. Но есть небольшое ограничение. Ваше устройство должно поддерживать электронный компас, автофокус, спутниковую систему навигации.
• Некоторые знаменитости внесены в особую базу. Их лица являются для приложения неприкосновенными, поэтому результатов по ним вы не получите.
• В 2010 году разработчиками была добавлена функция поиска по изображениям, которые сохранены в памяти устройства.

Пулинги

Вернемся к архитектуре нейросети и рассмотрим парочку pooling слоев, применяемых в задачах Image Retrieval

R-MAC

Regional Maximum Activation of Convolutions (R-MAC) — пулинг слой, принимающий выходную карту нейронной сети (до глобального пулинга или слоев классификации) и возвращающий вектор-дескриптор, посчитанный как сумма активаций в различных окнах выходной карты. Здесь активацией окна является взятие максимума по этому окну для каждого канала независимо.

Итоговый дескриптор учитывает локальные особенности изображения при различных масштабах, тем самым создающий богатое признаковое описание. Этот дескриптор сам может являться эмбеддингом, поэтому его можно сразу отправить в функцию ошибки.

GeM

Generalized Mean (GeM) — простой пулинг, который может улучшить качество выходного дескриптора. Суть в том, что классический average pooling можно обобщить на lambda-норму

При увеличении lambda мы заставляем сеть фокусироваться на значимых частях изображения, что в определенных задачах может быть важно

Поиск похожих картинок в Яндекс

Чтобы найти дубликат изображения или фотографии в интернете, нужно перейти в сервис Яндекс Картинки.

Нажимаем указателем мышки на кнопку с логотипом «фотоаппарата» и после загрузки панели загрузки картинки (изображения) выбираем файл или перетаскиваем изображение в указанное место. Также можно указать адрес картинки.

После того, как выбрали файл изображения, загрузится страница с результатом поиска похожих изображений / фотографий.

На странице результата поиска можно посмотреть:

• Другие размеры данной картинки;
• Похожие картинки, которые были обработаны в графических редакторах;
• Список сайтов, где встречается дубликат этого изображения / картинки.

Когда это может понадобиться

• Вы являетесь фотографом, выкладываете свои фото в интернет и хотите посмотреть на каких сайтах они используются и где возможно нарушаются Ваши авторские права.
• Вы являетесь блогером или копирайтером, пишите статьи и хотите подобрать к своему материалу «незаезженное» изображение.
• А вдруг кто-то использует Ваше фото из профиля Вконтакте или Фейсбук в качестве аватарки на форуме или фальшивой учетной записи в какой-либо социальной сети? А ведь такое более чем возможно!
• Вы нашли фотографию знакомого актера и хотите вспомнить как его зовут.

На самом деле, случаев, когда может пригодиться поиск по фотографии, огромное множество. Можно еще привести и такой пример…

Поиск похожих картинок в Тинай

Англоязычный онлайн сервис находит не только фотографии, но и распознает отдельные объекты на них по алгоритму findface. И отлично справляется с задачей как запустить поиск по картинке для любого ресурса. База программы свыше 10 миллиардов проиндексированных изображений.

Обнаружение фотографии осуществляется по шагам:

1. Открытие Тинай.
2. Ввод в поисковик ссылки объекта или образца.
3. Получение результата в виде числового значения, выделенного красной рамкой.

Точность полученных данных включает число совпадений по картинке в интернете и ссылки на страницы, где оно было размещено.

Самые быстрые программы для поиска дубликатов фото

В то же время, качество программы ещё зависит и от её скорости. 60+ картинок – это, конечно же, не то, с чем могут работать пользователи. Поэтому мы провели ещё один тест. На этот раз на скорость. Для этого мы взяли подборку из 4450 самых разных изображений, общий вес которой превысил 2.1 ГБ.

Две программы из этого обзора, увы, в тесте не заняли никакого места. Как выяснилось, Similar Images Finder, за который просят 34 доллара, в бесплатной версии готов зараз обработать не более 200 изображений.

В свою очередь, универсальный поисковик дубликатов Duplicate Remover Free, столкнувшись с каталогом серьёзного размера, более пяти минут интенсивно работал, а потом основательно завис. Остальные программы показали следующее время:

• AntiDupl: 0:39;
• Image Comparer: 1:02 (35 секунд на создание галереи и 27 на поиск);
• VisiPics: 2:37;
• Awesome Duplicate Photo Finder: 3:17.

В итоге в тесте на скорость в лидеры явно выбились Image Comparer и AntiDupl. На обработку нашего архива у них ушло около или же, в случае AntiDupl, меньше минуты.

I LOOK LIKE YOU — поиск двойника среди англоязычных пользователей

Англоязычный сервис ilooklikeyou.com по своим возможностям похож на уже описанный мной сервис «TwinStrangers»

Он позволяет быстро находить довольно похожих на вас людей, при этом важно учитывать, что сервис выполняет поиск лишь среди своих зарегистрированных пользователей (преимущественно англоязычных). Поэтому вполне вероятно, что похожих на вас людей вы обнаружите в странах с родным английским языком (США, Великобритания, Канада, Австралия et cetera)

Сервис «I LOOK LIKE YOU» ищет двойников преимущественно среди англоязычных зарегистрированных пользователей ресурса

Для работы:

1. Выполните вход на ilooklikeyou.com, нажмите на «Sign up» и пройдите процедуру авторизации.
2. Затем нажмите на «From computer», укажите сервису путь к нужному фото на ПК, и после его на ресурс поставьте на нём галочку.
3. Также установите галочку рядом с опцией «I confirm this is a photo of myself» (я подтверждаю, что это моё фото), и нажмите на кнопку «Confirm selected face».
4. Сервис выполнит поиск, и вы получите фото похожих на вас пользователей с процентным соотношением найденных совпадений.

Поиск по картинке в Google

Итак, начнем с гиганта Google. В данном поисковике вы можете найти картинку двумя способами:

Способ № 1 

У вас будет три варианта загрузить свое изображение для поиска:

1. Указать ссылку.
2. Загрузить файл с компьютера.
3. Перетащить изображение непосредственно в область поиска.

Способ № 2

Очень удобный способ для тех, кто использует по умолчанию браузер «Google Chrome». Если вы нашли нужную вам картинку, но вас, допустим, не устраивает ее размер или качество, то нажав на нее правой кнопкой мыши, кликните «Найти картинку (Google)» и Гугл предоставит вам все варианты изображения.

Результат

Вот что нам выдал Гугл после поиска фото Vision Mercedes-Maybach 6:

Здесь Гугл предлагает дополнительные критерии поиска по размерам, похожие изображения и сайты, на которых может находиться ваше искомое изображение.

Функции ошибок

Contrastive Loss

Самая простая для понимания функция ошибки — Contrastive Loss. Это парный лосс, т.е. объекты сравниваются по расстоянию между друг другом.

Нейросеть штрафуется за отдаленность друг от друга эмбеддингов изображений p и q, если эти изображения на самом деле похожи. Аналогично, возникает штраф за близость эмбеддингов, изображения которых на самом деле непохожи друг на друга. При этом в последнем случае мы ставим границу m (например, 0.5), преодолев которую, мы считаем, что нейросеть справилась с задачей «разъединения» непохожих изображений.

Triplet Loss

Triplet Loss берет во внимание три объекта — якорь, позитив (похожий на якорь) и негатив (отличный от якоря). Это также парный лосс

Здесь мы нацелены на минимизацию расстояния от якоря до позитива и максимизацию расстояния от якоря до негатива. Впервые Triplet Loss был представлен в статье FaceNet от Google по распознаванию лиц и долгое время был state-of-the-art решением.

N-tupled Loss

N-tupled Loss — развитие Triplet Loss, в котором также берется якорь и позитив, но вместо одного негатива используется несколько негативов.

Angular Additive Margin (ArcFace)

Проблема парных лоссов заключается в выборе комбинаций позитивов, негативов и якорей — если их просто брать равномерно случайными из датасета, то возникнет проблема «легких пар». Это такие простые пары изображений, для которых лосс будет 0. Оказывается, сеть достаточно быстро сходится к состоянию, в котором большинство элементов в батче будут для нее «легкими», и лосс для них окажется нулевым — сеть перестанет учиться. Чтобы избежать этой проблемы, стали придумывать изощренные техники майнинга пар — hard negative и hard positive mining. Подробнее о проблеме можно почитать в этой статье. Существует также библиотека PML, в которой реализовано множество методов майнинга, да и вообще в библиотеке представлено много полезного по задаче Metric Learning на PyTorch.

Еще одним решением проблемы являются классификационные лоссы. Рассмотрим одну популярную функцию ошибки, которая привела к state-of-the-art в распознавании лиц три года назад — ArcFace.

Основная мысль в том, чтобы добавить в обычную кросс-энтропию отступ m, который распределяет эмбеддинги изображений одного класса в районе центроиды этого класса так, чтобы все они были отделены от кластеров эмбеддингов других классов хотя бы на угол m.

Кажется, что это идеальная функция ошибки, особенно, когда посмотришь на бэнчмарк MegaFace. Но нужно иметь в виду, что она будет работать только при наличии классификационной разметки. Если у вас такой нет, придется работать с парными лоссами.

Здесь я визуально показываю, какие функции ошибок лучше всего применять при наличии одноклассовой и многоклассовой разметки (из последней можно вывести парную разметку путем подсчета доли пересечения между multilabel векторами примеров).