Home Artificial Intelligence “Cleared the sport 'Red Dead Redemption 2' with ChatGPT… Confirmed the potential for 'AI Agent'”

“Cleared the sport 'Red Dead Redemption 2' with ChatGPT… Confirmed the potential for 'AI Agent'”

51
“Cleared the sport 'Red Dead Redemption 2' with ChatGPT… Confirmed the potential for 'AI Agent'”

Example of playing the sport 'RDR2' with GPT-4V (Photo = arXiv)

A successful case of using 'GPT-4V' to operate 'Red Dead Redemption 2 (RDR2)', a game that requires detailed control by understanding the screen and sound and operating the pc mouse and keyboard, has emerged. Researchers explained that it showed potential as a synthetic intelligence (AI) agent beyond easy game manipulation.

Tom's Hardware announced on the fifteenth (local time) the outcomes of a recent study conducted by researchers in China and Singapore on enabling AI to play RDR2. online archiveIt was reported that it was published in . The title of the paper is ‘GCC (General Computer Control): A study on multimodal agents for RDR2 play.’

GCC refers to a way during which AI observes and plays the sport from the surface like a human, without being involved contained in the game or using APIs.

To make this possible, GPT-4V, which has vision functions and voice recognition, was used. As well as, six module agents called 'CRADLE' were mobilized to attach and control GPT-4V with the sport.

The researchers said they targeted RDR2 because “it represents probably the most demanding computational tasks and has a fancy black-box control system that permits us to judge the performance boundaries of our framework in such a virtual environment.”

In actual fact, the sport offers a wealthy environment and a wide range of situations for players to explore. It is usually said to be good for AI learning because it has UI elements corresponding to dialogue, unique icons, and in-game prompts and directions.

The researchers also found that AI's mouse and keyboard operations were more practical for GCC than for other software.

Cradle schematic (photo = arXiv)
Cradle schematic (photo = arXiv)

In consequence, the researchers revealed that Cradle progressed through the sport by exploring the world and completing missions in line with the most important storyline of RDR2. It’s explained that not only the most important storyline but in addition the representative tasks of the open-ended missions have been accomplished. Specifically, it was claimed that “Cradle can consistently complete all tasks within the most important storyline.”

Nevertheless, it is thought that it had difficulties in fast-paced gunfights, missions exploring complex interiors, and open exploration with a protracted horizon. A few of these problems were attributed to GPT4-V, it said. In other words, the argument is that “GPT-4V’s spatial-visual recognition capabilities are insufficient for precise and detailed control.”

As well as, GPT4-V had difficulty understanding area-specific concepts corresponding to unique icons in the sport, understanding the minimap, and general obstacles.

The outcomes of this study are closely related to AI agents that will likely be introduced in the long run. It is because AI agents must use the mouse and keyboard to navigate the online and operate various applications on behalf of humans.

He also emphasized that for smooth operation of AI agents, reasoning capabilities in addition to vision functions have to be more sophisticated.

Reporter Lim Da-jun ydj@aitimes.com

51 COMMENTS

  1. Телесериал «Однажды в сказке» вышел на экраны 23 октября 2011 года, и сразу же завоевал свою аудиторию зрителей, которая не спадает до сих пор. Сериал состоит из 7 сезонов и 156 эпизодов. В этой одной кинокартине собраны практически все сказочные персонажи, с разных сказок Читать

  2. Приложение для знакомств, которое призвано подобрать вам пару с использованием сложных алгоритмов и искусственного интеллекта. Как и в большинстве подобных сервисов, вам нужно создать анкету, но затем начинается самое интересное ЛУЧШИЙ САЙТ ЗНАКОМСТВ

  3. В связи с этим представители букмекерской компании 1win создают зеркальные сайты, чтобы обойти эту блокировку. Что позволяет пользоваться функционалом официального сайта: заключать пари, выводить средства и т.д. Зеркалами пользуются 1xbet и 1Win – не исключение 1xwin

  4. Магазин спортивной фармакологии – OxyShop. Это всемирно известный надёжный поставщик качественных препаратов для спортсменов фарма стероиды

  5. Если сумма выигрыша превышает 5 млн рублей, 1Win имеет право установить индивидуальный лимит на вывод в сутки. Мобильная версия и приложения. Для юзеров, предпочитающих мобильные гаджеты, у «1Вин» есть мобильная версия и приложения на iOS и Android 1 vin

  6. Данная услуга позволяет в кратчайшие сроки и без необходимости организации транспортировки больного поставить точный диагноз и своевременно приступить к лечению сделать рентген на дому

  7. Да, в приложении 1win существуют ограничения на вывод средств. Максимальная сумма вывода за транзакцию составляет 10 000 долларов, а ежедневный лимит вывода средств составляет 100 000 долларов 1win

  8. win — букмекерская контора 1вин. Нынешняя вариация сайтов для ставок и игры на реальные деньги поражает. Для российских игроков открыты десятки ресурсов 1vin

  9. Рубероид РКК – это высококачественный материал, отвечающий всем требованиям госта. Он имеет высокую прочность, вес и габариты, а также теплостойкость до 80 градусов Гидроизол ХПП 2,5

  10. Перед тем как приступить к поиску идеального транспортного средства, важно определить ваши потребности и предпочтения. Обдумайте, для каких целей вам необходимо автомобиль или другое транспортное средство, какие характеристики будут наиболее приоритетными для вас, и какой бюджет вы готовы выделить на покупку http://mail.newlifekpc.org/bbs/board.php?bo_table=free&wr_id=6685090

  11. GET X – финансовая игра с выводом реальных средств. На данный момент на сайте представлена одна самых популярных и известных финансовых игр – Crash getx официальный сайт

  12. Холодильники Smeg сочетают стиль и технологии, поддерживая продукты свежими. Они включают модели с различными функциями и стильным дизайном, от ретро до современных. Серия 50’s Style выделяется яркими цветами и ретро-дизайном. Энергоэффективность классов A+ и A++ обеспечивает экономию электроэнергии, делая Smeg идеальным для любого интерьера Холодильник Smeg

  13. Алматы Азарт – это уникальное игровое пространство для людей старше 30 лет, которые ценят интеллектуальный досуг и общение https://mssg.me/minskplay

  14. Поставить счетчики на воду в квартире – означает значительно снизить затраты на оплату этой части ЖКХ https://progkh.ru/

  15. Наш дайвинг клуб осуществляет обучение дайвингу от новичка до профессионала. Мы организуем пробные погружения с аквалангом в бассейнах Москвы и открытых водоемах Подмосковья. Кроме этого, в нашем дайв-клубе Вы можете приобрести подарочные сертификат на любой курс дайвинга или пробное погружение плавание с аквалангом

  16. Мы организуем пробные погружения с аквалангом в бассейнах Москвы и открытых водоемах Подмосковья. Наш дайвинг клуб осуществляет обучение дайвингу от новичка до профессионала. Кроме этого, в нашем дайв-клубе Вы можете приобрести подарочные сертификат на любой курс дайвинга или пробное погружение дайвинг клуб

  17. Стоимость обучения на курсе английского для начинающих онлайн в 1,3-2,5 раза ниже стоимости группового обучения на языковых курсах, где ориентируются на группу, а не ваши индивидуальные потребности английский курс онлайн

  18. Мощные и эффективные: генераторы пены ГПСС для вашего бизнеса. Повысьте уровень безопасности и гигиены с нашими генераторами пены ГПСС муфти швидкознімні

  19. В этой подборке онлайн-курсов по английскому языку мы сравнили предложения школ по нескольким параметрам и отобрали лучшие варианты для взрослых и детей, начинающих познание языка или повышающих свой уровень лучшие онлайн курсы английского языка

  20. Входные двери – купить по выгодной цене с доставкой. 1433 модели в проверенных интернет-магазинах: популярные новинки и лидеры продаж https://market-dverey.com/

LEAVE A REPLY

Please enter your comment!
Please enter your name here