Аналитический отдел компании Microsoft разрабатывает новую систему искусственного интеллекта, которая сможет автоматически генерировать истории, используя изображения на фотографиях, пытаясь не только объяснить, что именно происходит на изображении, но и детально передать весь контекст и даже чувства изображённых людей.

Процесс разработки различных возможностей ПО основан на системе искусственного интеллекта, которая может идентифицировать объекты после соответствующего программного обучения с примерами. Сначала исследователи настроили систему для анализа серий подобных изображений, а затем осуществили поиск в Интернете для того, чтобы определить наибольшее количество объектов, которые попадают под ту же самую категорию.

Кроме того, команда Microsoft Research обратилась к службе Amazon Mechanical Turk, в которой люди описывают сцены серий снимков, с целью изучить их, а затем, опираясь на результаты изучения, генерировать новые описания путём сопоставления различных фотографий с различными описаниями.

В общей сложности, 8100 фотографий были вовлечены в тестирование для того, чтобы определить, насколько хороша технология искусственного интеллекта для создания историй на основании изученной ранее информации.

Предполагается, что новое программное обеспечение, в стадии готовности, должно не походить на типичные системы распознавания изображений. То есть, чтобы конечный рассказ о фотографии был далёк от банального: это фотография о семье; это фотография торта; это фотография собаки итд. А наоборот, содержал как можно больше различных подробностей сюжета и деталей фотографии, например: семья собралась на пикник, у них было много вкусной еды, собака была счастлива быть там итд.

Конечно, данное программное обеспечение, пока что, находится на начальном уровне разработки, но Microsoft надеется добиться конечных целей и даже пойти дальше — использовать ПО не только для фотографий, но и для видео.