Манипуляция взглядом: Манипуляция людьми во время конфликта: 3 полезных совета

Манипуляция людьми во время конфликта: 3 полезных совета

24 января 2019 17:30
Юлия Соломашенко

Манипуляция взглядом 

Чтобы человек поддался влиянию, достаточно просто научиться пристально и проникновенно смотреть на собеседника, как бы пытаясь заглянуть сквозь него. Этот нехитрый прием морально давит на оппонента, и вы становитесь хозяином положения. Конечно, это касается только морально слабее вас личностей. 

Манипуляция паузой 

Необязательно воздействовать на других сильным эмоциональным посылом. Во время конфликта не стоит отвечать возражением. Лучше придержать паузу, которая может сбить с толка оппонента. Тем самым вы добьетесь нужного вам результата.

Манипуляция людьми: позиция без доказательств 

Когда вы пытаетесь доказать свою правоту, то это дает возможность другому человеку выдвинуть свои опровержения вашим аргументам. Если вы уверены в том, что правда на вашей стороне, значит, она не требует доказательств. Главное держаться уверенно, тогда люди это чувствуют и соглашаются с вами.  

Манипуляция сознанием: 10 простейших приёмов и техника защиты | ДЕНЬГИ: Экономика | ДЕНЬГИ

Об этом в книге «Безопасное общение, или Как стать неуязвимым!» рассказывают психотерапевты Дмитрий Ковпак и Андрей Каменюкин. Мы публикуем отрывок из неё.

Манипуляции и манипуляторы

Манипуляция — это вид психологического воздействия, которое используется для скрытого внедрения в психику жертвы целей, желаний, намерений, отношений или установок манипулятора, не совпадающих с актуально существующими потребностями жертвы. … Жертвой манипуляции человек может стать лишь в том случае, если сам выступает как соавтор, соучастник процесса. Манипуляция — это не столько насилие, сколько соблазн, игра на человеческих слабостях и уязвимых местах. Эти слабые места определяются особенностями психики и мировоззрения человека, его системой ценностей и системой отношений.

Нет человека, который не сталкивался бы с проявлением чужого воздействия. Манипулятором может оказаться кто угодно — деловой партнер, начальник, член семьи, телеведущий, политик или даже мы сами.

Ниже мы рассмотрим подробнее наиболее часто встречающиеся типы манипуляций и методы противостояния им, которые назовем противоядиями.

«Нога в дверях»

Этот метод манипулирования часто применяют рыночные торговцы и коммивояжеры. Заключается он в том, что сначала продавец уговаривает не купить, а только «попробовать» или «примерить» свой товар. В этом случае налицо простая, но действенная ловушка для сознания. С одной стороны, нам не предлагают ничего опасного или плохого, за нами вроде бы сохраняется полная свобода любого решения. Но стоит только отведать или надеть предлагаемое, как продавец сразу задает другой лукавый вопрос: «Ну как, понравилось?» Ответить отрицательно на такой вопрос вообще нелегко, а тем более, если вы уже «примерились» к товару и он вам приглянулся. Чаще всего в такой ситуации вы, конечно, отвечаете утвердительно. И тем самым как бы даете невольное согласие на покупку. Ведь хотя речь, казалось бы, идет исключительно о вкусовых ощущениях или внешнем впечатлении, на самом деле за интересом продавца скрывается другой вопрос: «Будете ли покупать?»

Так, например, продавцы пылесосов с давних пор на Западе, а теперь и у нас, часто предлагают бесплатно воспользоваться чисткой ковров в расчете на то, что уж попав в дом хозяев, сумеют их убедить в необходимости покупки именно этого пылесоса. Главное для них — получить очную встречу, а там они уже смогут развернуть свой арсенал «домашних заготовок» разнообразных манипуляций.

Противоядие: Не стоит испытывать неловкости, отказываясь от навязанного предложения. Ваше чувство вины и дискомфорт в данном случае — лишь продукт ложных воззрений и иррациональных установок, на которых умело играют пройдохи. Убрать те струны, на которых играют в данном случае манипуляторы, можно, отказавшись от желания нравиться всем без исключения. Перестаньте стремиться «всегда быть на высоте» — это поможет предотвратить многие проблемы.

Решение здесь и сейчас

Эта техника манипулирования направлена на то, чтобы заставить человека принять решение немедленно. Манипулятор провоцирует и иногда напрямую настаивает на том, что определиться нужно непременно «здесь и сейчас», так как «завтра будет уже поздно». «Хватай мешки, вокзал уходит!» и подобные словесные угрозы формируют требования быстрого и необдуманного принятия решения. Создание суеты и эмоционального напряжения снижает степень осознанности поведения и разумного контроля над ситуацией. Этим пользуется масса аферистов, от вокзальных воришек до участников финансовых пирамид.

Противоядие: Стоит выработать для себя правило «не принимать скоропалительных решений». Вы можете десять раз получить мелкий выигрыш от поспешных решений, но понести гораздо более грандиозные потери от следующего такого же необдуманного. Не зря народная мудрость утверждает, что «утро вечера мудренее». Для того чтобы не «прогореть», следует не решать немедленно, а принять информацию к сведению, отложив решение на время, необходимое для его обдумывания. Торопитесь не спеша.

«Карфаген должен быть разрушен»

Техника повторов — еще один действенный способ манипулировать сознанием людей. Во время Пунических войн — борьбы не на жизнь, а на смерть между Карфагеном и Римом — суровый римский сенатор Катон Старший прославился усвоенной им привычкой. Выступая в римском сенате, о чем бы он ни говорил — о выборах ли в комиссию или о ценах на овощи на римском рынке, — каждую свою речь Катон неизменно заканчивал одной и той же фразой: «А кроме того, я думаю, что Карфаген должен быть разрушен!» У сенатора была цель — приучить слушателей к данной мысли. Такое многократное повторение одной и той же фразы, в конце концов действительно заставило сенаторов привыкнуть к стоящей за ней мысли настолько, что предстоящее разрушение Карфагена стало для них чем-то естественным. Над мудрым старцем сначала посмеивались. Но потом все случилось, как ему хотелось: в результате страшной кровавой борьбы Рим победил, Карфаген был стерт с лица земли, а самое место, где он стоял, распахали римскими плугами.

Противоядие: Отслеживайте оказываемое на вас давление, в том числе и технику повторов. Не давайте количеству перейти в качество, напоминая себе аргументы своей собственной позиции.

Использование малопонятных слов и терминов

Такая уловка, как насыщение речи умными словами и сложными понятиями, может вызвать разные реакции у собеседника. С одной стороны, это создает впечатление значимости обсуждаемой проблемы, весомости приводимых доводов, высокого уровня профессионализма и компетентности говорящего. С другой стороны, использование непонятных, наукообразных терминов может спровоцировать противоположную реакцию оппонента в виде раздражения, отчуждения или ухода в психологическую защиту. Однако эта уловка удается, когда собеседник стесняется переспросить о чем-то или делает вид, что понял, о чем идет речь, и принял приводимые доводы.

Противоядие: Не бойтесь признаться в своей некомпетентности, показать свое незнание. Знать абсолютно все невозможно. Важен не уровень эрудиции, а лишь желание и стремление узнать то, что нужно и полезно. Бездумно запоминать словари — ошибка, подобная разучиванию телефонного справочника. Самый надежный антидот от такого рода манипуляции — отсутствие страха перед разоблачением и уличением в незнании чего-либо.

Обратное желание

Эта техника заключается в том, чтобы добиться чего-то, настойчиво выражая желание, обратное тому, чего на самом деле хочется. Дело в том, что акцентирование внимания на крайней желательности исполнения просьбы (например, ее неоднократное повторение) побуждает, наоборот, к отказу ее выполнить. А часто даже провоцирует на действия строго противоположные. Этот антагонизм и используют манипуляторы.

Противоядие: Прежде чем раздражаться от назойливости просящего и решать «сделать все наоборот», постарайтесь задаться вопросом о целях собеседника и истинных мотивах такого поведения.

Использование «мнения масс»

При использовании данного приема осуществляется подбор суждений, высказываний, фраз, создающих впечатление, будто так делают все. Сообщение, например, может начинаться словами: «Все нормальные люди понимают, что…» или «Ни один здравомыслящий человек не станет возражать, что…» и т. п. Посредством «общей платформы» у человека вызывают чувство уверенности в том, что большинство членов определенной социальной общности, с которой он себя идентифицирует или мнение которой значимо для него, принимают подобные ценности, идеи, программы и т. п.

Противоядие: Замечайте сверхобобщения. Их характеризуют слова-маркеры, такие как все, никто, всюду, нигде, всегда, никогда и тому подобные признаки работы иррациональной установки.

Неуместное переспрашивание или затрудняющие уточнения

При такой манипуляции эффект достигается за счет того, что манипулятор делает вид, будто желает лучше что-то для себя уяснить. Он переспрашивает вас, однако повторяет ваши слова только вначале. Далее манипулятор только частично говорит о том же, привнося в сказанное вами раньше другой смысл. Тем самым он изменяет общее значение сказанного в угоду себе.

Противоядие: Следует быть предельно внимательным, когда оппонент переспрашивает о чем-то, сказанном вами. Всегда вслушивайтесь в то, о чем вам говорят, и, заметив подвох, уточните свои слова и заявления. Причем даже в том случае, когда манипулятор делает вид, что не замечает вашего стремления еще раз прояснить свою позицию и старается перейти на другую тему.

Искусственное безразличие или псевдоневнимательность

Эта техника заключается в том, что манипулятор старается как можно безразличнее воспринимать и собеседника и получаемую информацию. Так он вызывает у оппонента бессознательное стремление во что бы то ни стало постараться убедить манипулятора в своей значимости для него. Манипулятору остается только управлять исходящей от объекта своих манипуляций информацией, получая те факты, которые ранее объект не собирался выкладывать.

Противоядие: Не торопитесь и не бросайте все козыри на стол. Более четко контролируйте свои эмоции и поведение.

Манипуляция страхом

Использование людских страхов — один из самых любимых приемов манипуляторов всех типов и мастей. Очень часто они играют на недостаточной информированности человека. В детстве пугали родители: «Будешь плохо себя вести — заберет дядя милиционер», «Будешь плохо учиться — станешь дворником». Теперь начальство пугает угрозой увольнения, супруг/супруга — угрозой развода, приятели или подруги — потерей отношений. Даже телевизор пугает нас мрачными новостями, а реклама кариозными монстрами, микробами в унитазе и запахом пота.

Противоядие: Выясните, насколько реальна угроза. Уточните для себя степень и вероятность опасности, обратившись к независимым и надежным источникам информации, лучше к нескольким.

Манипуляция с помощью пресуппозиции

Человеческий мозг устроен таким образом, что он автоматически додумывает информацию, пропущенную в предложении. Партнеры могут предлагать друг другу иллюзию выбора: «Ты дашь мне деньги сейчас или завтра?» Пресуппозиция — «ты все равно дашь мне деньги». «В какой валюте вам удобнее будет заплатить?» Пресуппозиция — «вы будете платить». Другой пример: «Напишите нам, за что вы любите „Галина Бланка“». Любовь к этому бренду заявляется как аксиома. Варианты искусственно сужаются до оценки «за что»? И еще один скромный выбор — писать или не писать. Или, как коварно сформулировал свой вопрос Карлсон: «Ты перестала пить коньяк по утрам?» Ответ «да» или «нет» в одинаковой степени ставит собеседника в неловкое положение. Защищаться же от пресуппозиционных обвинений развернуто может не хватить времени и аргументов. Этот прием нередко используется в «черном» пиаре политтехнологов.

Противоядие: Тактика ухода от этого вида манипуляции похожа на ту, что используют в случае противостояния закрытым вопросам. Заключается она в следующем: не соглашаться с навязанными рамками манипуляции, озвучивать свою версию событий и взгляд на ситуацию.

AIF.RU благодарит издательство «Питер» за предоставленный отрывок.

Смотрите также:

как распознать манипуляции и противостоять им

С манипуляцией мы сталкиваемся ежедневно: дома, на работе, в магазине, в общественном транспорте, во время просмотра телевизора. Например, заказчик вынудил вас завершить проект раньше оговоренного срока, продавец заставил купить ненужную вам вещь, а партнер привел в место, в которое вы не хотели идти. Причем чаще всего жертва такого влияния даже не осознает, что действует против своей воли. Рассказываем, как распознать манипуляцию и противостоять ей.

Что такое манипуляция

«Это нужно сделать сейчас, иначе пострадает вся компания», — уверяет заказчик, с которым был оговорен совершенно иной срок окончания проекта. Это один из стандартных ходов манипулятора: он ставит ультиматум, возлагает на жертву дополнительную ответственность и заставляет ее чувствовать себя виноватой.

Автор книги «Я манипулирую тобой» Никита Непряхин определяет манипуляцию как вид скрытого, вопреки воле человека, психологического воздействия, имеющего миф, цель и сценарную линию поведения жертвы. Непряхин также отмечает следующие характеристики манипулятивного воздействия:

• Психологическое давление. Манипулятор ищет слабые места жертвы, оказывает сильное эмоциональное воздействие, из-за которого сложно критически осмыслять ситуацию. Чаще всего манипулятор заставляет жертву чувствовать себя виноватой, что побуждает ее к действию: она старается искупить вину и выполняет «приказ».

• Насильственный характер. Заставить человека действовать против его воли — одна из главных целей манипулятора, поэтому он различными способами заставляет выполнить что-либо насильно.

• Скрытность. Манипулятор чаще всего четко не обозначает цель того или иного действия, не объясняет, зачем это нужно выполнять, и вводит в заблуждение. Скорее всего, приводимые им аргументы не являются рациональными, однако из-за психологического давления осознать это становится непросто.

Перед тем как разобраться в действиях манипулятора, нужно понять, почему человек вообще поддается такому влиянию. Психолог Харриет Брейкер в своей книге «Кто дергает за ниточки, или Как не позволить манипулировать собой» отмечает, что жертвами манипуляции становятся по следующим причинам:

• стремление получить одобрение и признание окружающих;

• страх перед отрицательными эмоциями;

• недостаточная самостоятельность;

• неумение отстаивать личные границы;

• неуверенность в себе;

• внешний локус контроля (человек приписывает все свои заслуги внешним обстоятельствам и не видит в этом своего вклада).

Будучи в уязвимом состоянии, человек легко подчиняется манипулятору, который сразу же видит слабые места жертвы и воздействует именно на них. Каким образом? Автор монографии «Психология манипуляции: феномены, механизмы и защита» Евгений Доценко рассказывает о распространенных приемах:

• Явные и неявные обобщения («Всегда ты так», «Никогда не помогаешь», «Вечно опаздываешь»).

• Неопределенный референтный индекс («Это давно известно», «Доказано научно»).

• Коммуникативный саботаж (ответ вопросом на вопрос, игнорирование некоторых фраз).

• Размытые критерии («Справятся только успешные люди»).

• Замещение субъекта действия («В твоем возрасте я уже умел…»).

• Обилие эмоционально-оценочных окрасок.

• Употребление противоречий.

• Гиперболизация («Иначе компания рухнет», «Пострадают все»).

Благодаря этим приемам манипулятор вводит свою жертву в заблуждение, а посредством психологического давления не позволяет ей распознать противоречия, логические ошибки и другие неточности.

Как распознать манипуляцию и не поддаться ей

Чем раньше вы распознаете манипуляцию, тем выше вероятность, что вы не окажетесь в разрушительном состоянии. Стоит насторожиться, как только вы заметите одно из следующих ощущений:

• иррациональное чувство вины;

• страх не оправдать чьих-то ожиданий;

• тревожность из-за того, что еще не произошло;

• страх перед выдуманными манипулятором негативными последствиями;

• ощущение, что вы и ваша работа не имеете значения.

И это только основные чувства, которые могут возникать в случае манипулятивного воздействия. Самое главное — осознать, что вы действуете не по своей воле, а затем оказать сопротивление. Как? В своей книге Брейкер говорит о том, что манипулятору нужно показать бессмысленность его действий:

Задавайте вопросы для прояснения ситуации

Как мы говорили ранее, манипулятор старается ввести свою жертву в заблуждение, для чего нередко искажает информацию, приводит множество странных несвязных суждений и допускает логические ошибки. Начните прояснять ситуацию и задавайте как можно больше уточняющих вопросов, пока манипулятор не окажется в тупике. Ваша задача — выстроить конструктивный диалог и прояснить цель манипулятора.

Выразите собственное мнение

Объясните, почему вы согласны или нет, предложите другое решение. Например, если заказчик заставляет вас закончить проект раньше установленного срока, спросите о причинах переноса сроков. Далее приведите аргументы, почему вы не сможете сделать это в данных обстоятельствах. Обсудите возможные варианты для решения ситуации: привлечение к работе других сотрудников, перенос сроков других задач и так далее. Или же вы сойдетесь на том, что стоит оставить все как есть.

Оперируйте фактами

Это необходимо для того, чтобы создать реалистичную картину и взвесить все за и против. Старайтесь направить разговор в рациональное русло, пока манипулятор будет пытаться использовать оценочные суждения.

Обозначьте свои зоны ответственности

Например, когда коллега в очередной раз попросит вас помочь с задачей, выполнение которой требует много времени, объясните, почему вы не можете этого сделать. Если же вы единственный сотрудник, который компетентен в данном вопросе, стоит обсудить с руководителем возможность консультирования коллег, однако в рамках рабочего дня.

Трансформируйте эмоции

Если вы ощущаете, что не можете справиться со своими эмоциями, поставьте разговор на паузу и предложите вернуться к нему позднее. В ином случае манипулятор воспользуется вашим уязвимым состоянием. Можно также попробовать вести себя непредсказуемо: пошутить в ответ на обвинение, сделать комплимент.

Имитируйте

Например, если манипулятор задал медленный темп разговора (скорее всего, чтобы вымотать собеседника), отвечайте в еще более медленном темпе, советует Доценко.

Закончите разговор

Если же манипулятор никак не желает слышать рациональные аргументы, отвечать на ваши вопросы и каким-либо образом прояснять ситуацию, просто прерывайте разговор. Это того не стоит.

Как мужчины манипулируют женщинами ради секса

В век эмансипации женщина стала не только хранительницей домашнего очага, но и охотницей. Все чаще случается, что девушка очаровывает и соблазняет парня. Однако остались еще экземпляры, способные затащить женщину в постель, умело надавив на тонкие струнки неизученной женской души.

Психология манипулирования необычайно проста: игра на чувствах, псевдооткровенность, комплименты с намеком.

Пока вы не в паре

Отношения — это своеобразная война полов, и выигрывает тот, кто лучше владеет ситуацией. Это касается и постельных баталий.

Вашему вниманию предлагается наиболее распространенные способы манипуляции женщинами на ранних этапах отношений:

1. ”Игра в любовь”. Девушка очень хочет услышать три заветных слова ”Я тебя люблю!”! Если он был настолько откровенен, не побоялся открыться вам, вы должны наградить его соответствующим призом, ведь эти слова ему дались так нелегко. Женщины — существа наивные и позволяют обвести себя вокруг пальца.

2. ”В западне”. Как ни странно, девушки до сих пор мечтают о сказочных принцах. Хочется красивых ухаживаний, цветов, романтики, приятных сюрпризов. Когда такой подарок судьбы неожиданно появляется в жизни девушки, она превращается в витающую в птичку. Ожидаемый результат — она оказывается в цепких мужских лапах и его постели.

3. ”Лучший друг”. Как часто девушкам не хватает мужского взгляда со стороны в некоторых ситуациях! Тут появляется он — рыцарь без страха и упрека, способный поддержать вас в любой ситуации, примчаться по первому вашему звонку в другую часть города. Вы чувствуете, что он — родственная душа, и готовы с ним слиться воедино.

Как манипулировать женщиной в длительных отношениях?

Казалось бы, все прекрасно и стабильно: вы засыпаете и просыпаетесь вместе, радуетесь друг другу, любите друг друга. Но каждый ли день? Порой случается так, что после работы и сил нет до дивана доползти, а тут ваш мужчина — с похотливым взглядом и прямым укором в глазах. Секреты манипулирования в такой ситуации несложны — нужно повнимательней приглядеться.

Мужских приемов манипуляций достаточно много, и практически все они направлены на то, чтобы женщина испытывала чувство вины и пыталась как-то ее искупить — как правило, через постель.

1. ”Око за око” — самый распространенный способ манипулирования. Он убрал квартиру, приготовил ужин, сделал вам массаж ступней — грядет час расплаты, за все хорошее нужно платить. Однако в такой ситуации и вы можете оказаться в плюсе. Сколько можно заработать на манипуляторе? Вы — ему секс, он, в свою очередь, ведет домашнее хозяйство.

2. ”Забота о вас и прогнозирование будущего”. Мужчины не менее коварны, чем женщины, и они могут сыграть на самых незащищенных женских слабостях. ”Дорогая, ты ведь хочешь детишек? Как же они у нас появятся без частых многочасовых тренировок?” И вы в заботе о будущем потомстве без задней мысли кидаетесь в бой.

3. ”Игра в слабо — не слабо”. Вы взрослая раскованная женщина, по идеи способная на различного рода сексуальные излишества, но не стремящаяся их демонстрировать. Манипулятор сразу же обратит внимание на это слабое место и станет всяческими образами подтрунивать вас и подстегивать на новые свершения. Мышеловка захлопнулась.

Как общаться с манипулятором?

Нужно всегда помнить о своей неординарности, осознавать степень своей независимости и тренировать силу воли.

Строго запрещено копировать и распространять информацию, представленную на DELFI.lt, в электронных и традиционных СМИ в любом виде без официального разрешения, а если разрешение получено, необходимо указать источник – Delfi.

Манипуляция: как противостоять

Психологическая манипуляция — это вид воздействия на человека, при котором манипулятор использует особые техники. Обычно манипуляции применяют с целью изменить наше поведение или видение какого-либо вопроса. Иногда их используют в переговорах, продажах, во время споров и при приеме на работу.

6 приемов манипуляции

Чтобы противостоять манипуляции, нужно знать, какие техники этого вида воздействия существуют. Разберем несколько приемов и способы противодействия им.

Псевдомногозначительность 

Например, на переговорах о работе может произойти такой диалог:

— Какой гонорар был у вас на прежнем месте работы?

— Такая-то сумма.

А собеседник в ответ молчит. Пять, десять минут — молчит. В итоге кандидат на должность, не выдерживая, начинает заполнять образовавшуюся паузу предложениями типа: «Я готов с вами рассмотреть индивидуальные условия». То есть выдержанная пауза позволяет манипулятору заставить вас сдать позиции.

В такой ситуации выбирайте линию поведения, ориентируясь на шаблоны, принятые в животном мире. Так, у волков, котов и других хищников есть правило противостояния: кто первый пошевелился, тот показал свою слабость. А чем дольше пауза, тем больше вероятность драки.

Как противостоять

У специалистов по жестким переговорам для подобных ситуаций есть формула: «Владеет переговорами тот, кто первым задает вопросы». Поэтому из ситуации псевдомногозначности выходите, говоря: «А когда вы сможете принять решение?», «Что вы думаете по этому поводу», «Какие у вас предложения?». Передавая таким образом мяч манипуляции в обратную сторону.

Ссылка на авторитет 

«А вот Кьеркегор говорил по этому поводу следующее», «В книге я читал вот это…». Этот прием подразумевает любую отсылку к значимому мнению, какой-то авторитетный источник.

Главное в этой ситуации — не попасться в ловушку обесценивания чужих авторитетов. Не пытайтесь говорить, что названные личности вам неизвестны, их мнение вас не интересует и так далее. Это только вызовет «войну миров», столкнет ваши интересы со взглядами оппонента.

Как противостоять

Отвечайте так: «Я с уважением отношусь к мнению Ивана Ивановича. Но как это относится к нашему вопросу? Как можно использовать в разрешении нашей ситуации?». Если фразы не помогли и начинается так называемый «холивар», используйте трехфазную модель: «Мы сейчас ссылаемся на мнение человека, который в этой области не является экспертом. Поэтому давайте работать по предложенной нами в начале разговора технологии».

Претензия к нереалистичности

Один из недавних примеров от участницы моего вебинара: ей не поверили, что она разместила свои фото в соцсети без фотошопа. И оппоненты объясняли это в выражениях: «Это невозможно, это нереально!».

Как противостоять

В такой ситуации хорошо срабатывает техника конкретизации. Уточняйте у собеседника: «Почему вы так считаете? Объясните, пожалуйста».

Совет преподавателя Русской Школы Управления Александры Козловой: как реагировать на агрессию в переговорах.

Лесть 

Манипулятор может льстить или благодарить вас за что-либо просто так, «авансом». Но потом за этим всегда следует просьба. Потому что искренняя благодарность конкретна, ее выражают за ваше определенное действие. Когда собеседник в разговоре с вами начинает использовать общие фразы: «Вы такой замечательный! Вы прекрасный человек! Вы чудесно разбираетесь в вопросах…» — это чистая манипуляция.

Как противостоять

Как бороться с лестью? На мой взгляд, лучшим ответом будет: «Спасибо большое! Мне очень приятно ваше мнение. Так что же вы хотели у меня попросить сделать?». Таким образом вы покажете манипулятору, что он раскрыт и его действия вам неприятны.

Ложные доводы

Довольно хитрая техника, с которой чаще всего я встречаюсь на собеседованиях. Например, соискатель лжет: «Я работал в NNN-Group и вел таких-то клиентов». А ты смотришь на его манеру говорить (приметы вранья — бегающий по потолку взгляд, отсутствие конкретных аргументов, фактов), слушаешь его слова и понимаешь, что не потянет он такую работу.

Как противостоять

Бороться с ложью можно только уточнениями, конкретными вопросами: «Какой именно проект вы завершили? Чем, как он помог компании, приведите примеры в цифрах? Опишите свой рабочий день». Например, недавно одна моя подопечная обиделась на меня, когда я попросила ее прислать мне фото дневника, который она якобы ежедневно вела. А для меня это была просто проверка ее честности, я это объяснила необходимостью конкретики в деловых отношениях.

Ирония

Еще одна манипуляция, которую любят в интеллектуальной, экспертной среде. Это недобрые шутки с непременными уколами в разговоре. По отношению к женщинам, кстати, при этом может использоваться ехидное обращение «милочка»: «Ну, понятно, милочка, что вы там насочиняли!».

Если начать на такое обращение обижаться, то коммуникационное пространство меняется следующим образом: иронизирующий становится очень большим, а вы – маленьким, незначительным. Использование его же оружия, иронии, в ответ, приведет только к неконструктивной битве.

Как противостоять

Мне очень нравится схема, предложенная Михаилом Литваком в «Психологическом айкидо»: взять шутку оппонента и продолжить ее до абсурда. В итоге, иронию вы поддержали, а свое пространство в коммуникации не потеряли.

Запомнить

• Манипуляция — вид воздействия с использованием особых техник. Их используют в переговорах, спорах, при продажах, приеме на работу и корпоративном общении.
• Чтобы противостоять манипулятору, нужно знать приемы манипуляции и способы борьбы с ними.
• Мы рассмотрели шесть приемов манипуляции: псевдомногозначительность, ссылка на авторитет, претензия к нереалистичности, лесть, ложные доводы, ирония. На самом деле их гораздо больше. Запомните эти методы и используйте предложенные решения для противостояния. Желаем удачи!

С какими видами манипуляций вы сталкивались и как им противостояли? Поделитесь с нашими читателями в комментариях к статье!

Непосредственное манипулирование руками — Mixed Reality

• 
  10/12/2021
• Чтение занимает 8 мин

В этой статье

Непосредственное манипулирование —это модель ввода, которая предполагает прикосновение к голограммам непосредственно руками. Суть этого принципа состоит в том, что объекты ведут себя так же, как в реальном мире. Кнопки можно активировать, просто нажимая их, объекты можно выбирать, хватая их, а двумерное содержимое ведет себя как виртуальный сенсорный экран. Непосредственное манипулирование основано на возможностях интерфейса, и оно удобно для пользователей. Оно не подразумевает символические жесты. Все взаимодействия построены вокруг визуального элемента, который вы можете тронуть или схватить. Оно считается моделью «ближнего» ввода. Это означает, что непосредственное манипулирование лучше всего использовать для взаимодействия с содержимым, которое находится в пределах досягаемости.

Поддержка устройств

Непосредственное манипулирование является основной моделью ввода в HoloLens 2, где используется новая система отслеживания рук. Модель ввода также доступна для иммерсивных гарнитур благодаря использованию контроллеров движений, но не рекомендуется в качестве основного средства взаимодействия за рамками манипулирования объектами. Непосредственное манипулирование недоступно в HoloLens (1-го поколения).

Основы отслеживания рук и инстинктивное взаимодействие — демонстрация

Если вы хотите посмотреть, как работает отслеживание головы и взгляда, ознакомьтесь с нашей видеодемонстрацией Designing Holograms — Head Tracking and Eye Tracking (Создание голограмм — отслеживание головы и взгляда) ниже. По завершении продолжите изучать другие темы.

Это видео из приложения Designing Holograms для HoloLens 2. Скачайте и воспользуйтесь всеми его возможностями здесь.

Кончик пальца с обратной связью

На устройстве HoloLens 2 руки пользователя распознаются и интерпретируются как модели скелета левой и правой руки. Чтобы реализовать идею прикосновения к голограммам непосредственно с помощью рук, в идеале можно прикрепить пять индикаторов обратной связи к пяти кончикам пальцев каждой скелетной модели руки. Однако из-за отсутствия тактильной обратной связи с десятью кончиками пальцев могли возникать неожиданные и непредсказуемые столкновения с голограммами.

Следовательно, мы предлагаем размещать коллайдер только на каждый указательный палец. Кончики указательных пальцев с регистрацией столкновений также можно использовать в качестве активных точек касания для различных жестов с касаниями, при которых участвуют другие пальцы. Жесты касания включают в себя нажатие одним пальцем, прикосновение одним пальцем, нажатие двумя пальцами, а также нажатие пятью пальцами, как показано ниже:

Кончик пальца с обратной связью

Нажатие одним пальцем

Касание одним пальцем

Нажатие пятью пальцами

Сферический индикатор обратной связи

Вместо случайной универсальной формы мы предлагаем использовать сферический индикатор обратной связи и визуализировать его, чтобы обеспечить лучшее восприятие ближнего прицеливания. Диаметр сферы должен соответствовать толщине указательного пальца, чтобы повысить точность касания. Получить переменную толщину пальца будет легче, вызвав API для работы с руками.

Курсор для кончика пальца

Помимо рендеринга сферы с регистрацией столкновений для кончика указательного пальца, мы создали продвинутый курсор для кончика пальца, чтобы оптимизировать возможности ближнего прицеливания. Это указатель в форме кольца, прикрепленный к кончику указательного пальца. По мере приближения он динамически реагирует на цель с точки зрения ориентации и размера, как описано ниже:

• Когда указательный палец приближается к голограмме, курсор всегда параллелен поверхности голограммы и постепенно уменьшается в размере.
• Как только палец касается поверхности, курсор сжимается до точки и создается событие касания.

Благодаря интерактивной обратной связи пользователи могут достигать высокой точности при выполнении задач ближнего прицеливания, таких как запуск гиперссылки на странице или нажатие кнопки, как показано ниже.

Курсор для кончика пальца вдали

Курсор для кончика пальца близко

Контакт курсора для кончика пальца

Ограничивающая рамка с шейдером приближения

Для самой голограммы также требуется способность обеспечивать как визуальную, так и звуковую обратную связь, чтобы компенсировать отсутствие тактильной обратной связи. Для этого мы придумали концепцию ограничивающей рамки с шейдером приближения. Ограничивающая рамка — это минимальная объемная область, включающая трехмерный объект. Ограничивающая рамка имеет интерактивный механизм визуализации, называемый шейдером приближения. Поведение шейдера приближения:

Наведение (издали)
Когда указательный палец находится в пределах диапазона, указатель кончика пальца проецируется на поверхность ограничивающей рамки.

Наведение (вблизи)
Когда кончик пальца приближается к поверхности, указатель сжимается.

Контакт начинается
Как только кончик пальца коснется поверхности, вся ограничивающая рамка изменит цвет или создаст визуальный эффект для индикации состояния касания.

Контакт завершается
Для усиления визуальной обратной связи касания можно активировать звуковой эффект.

Нажимаемая кнопка

Благодаря обратной связи с помощью кончика пальца пользователи могут взаимодействовать с основополагающим компонентом голографического интерфейса — нажимаемой кнопкой. Нажимаемая кнопка — это голографическая кнопка, предназначенная для непосредственного нажатия пальцем. Опять же, из-за отсутствия тактильной обратной связи нажимаемая кнопка оснащена несколькими механизмами для решения проблем, связанных с тактильной обратной связью.

• Первый механизм — это ограничивающий прямоугольник с шейдером приближения. Этот механизм подробно описан в предыдущем разделе. Он служит для того, чтобы пользователи чувствовали приближение и контакт с кнопкой.
• Второй механизм — надавливание. Он создает ощущение нажатия после контакта пальца с кнопкой. Механизм обеспечивает перемещение кнопки вплотную к кончику пальца вдоль оси глубины. Кнопка может сработать, когда она достигает выбранной глубины (при нажатии) или поднимается (при отпускании) после прохождения через нее.
• Для улучшения обратной связи нужно добавить звуковой эффект, активируемый при нажатии кнопки.

Палец вдали

Палец приближается

Контакт начинается

Нажатие

Взаимодействие с двумерным экраном

Двухмерный экран — это голографический контейнер, используемый для размещения содержимого двухмерных приложений, таких как веб-браузер. Концепция для взаимодействия с двумерным экраном с помощью непосредственного манипулирования не отличается от взаимодействия с физическим сенсорным экраном.

Для взаимодействия с экраном планшета:

Сенсорный ввод
Используйте указательный палец, чтобы нажать гиперссылку или кнопку.

Прокрутка
Используйте указательный палец для прокрутки содержимого экрана вверх и вниз.

Масштабирование
С помощью двух указательных пальцев пользователя можно увеличивать и уменьшать содержимое экрана в соответствии с относительным движением пальцев.

Для манипуляции самим двумерным экраном планшета:

Перемещение
Поднесите руки к углам и краям, чтобы выявить самые близкие возможности для манипуляции. Захватите голографическую панель в верхней части двумерного экрана планшета, что позволит переместить весь экран.

Масштабирование
Захватите возможности для манипуляции и выполните равномерное масштабирование с помощью угловых возможностей.

Адаптация
Захватите возможности для манипуляции и выполните адаптацию с помощью возможностей граней.

Манипуляция трехмерными объектами

HoloLens 2 позволяет пользователям с помощью рук управлять трехмерными голографическими объектами, применяя ограничивающий прямоугольник к каждому такому объекту. Ограничивающая рамка обеспечивает лучшее восприятие глубины благодаря шейдеру приближения. С ограничивающей рамкой доступно два подхода для манипулирования трехмерными объектами.

Манипуляция на основе возможностей

Манипулирование на основе возможностей позволяет манипулировать трехмерным объектом с помощью ограничивающей рамки и возможностей для манипулирования вокруг него.

Перемещение
Как только рука пользователя приближается к трехмерному объекту, появляются ограничивающая рамка и ближайшая возможность. Пользователи могут захватить ограничивающий прямоугольник, чтобы переместить весь объект.

Поворот
Пользователи могут захватить крайние возможности, чтобы выполнить поворот.

Масштабирование
Пользователи могут захватить угловые возможности, чтобы выполнить равномерное масштабирование.

Манипуляция без использования возможностей

При таком манипулировании возможности не прикрепляются к ограничивающему прямоугольнику. Пользователи могут только отобразить ограничивающую рамку, а затем напрямую взаимодействовать с ней. Если ограничивающая рамка захватывается одной рукой, перемещение и вращение объекта связаны с движением и ориентацией руки. Когда объект хватается двумя руками, пользователи могут переносить, масштабировать и вращать его в соответствии с относительными движениями двух рук.

Для определенных манипуляций требуется точность. Рекомендуется использовать манипулирование на основе возможностей, так как оно обеспечивает высокий уровень точности. Для гибкого манипулирования мы рекомендуем использовать манипулирование без использования возможностей, так как оно позволяет получить мгновенные и забавные эффекты.

Инстинктивные жесты

При работе с HoloLens (1-го поколения) мы обучили пользователей нескольким предопределенным жестам, таким как раскрытие ладони и касание. В случае с HoloLens 2 мы не просим пользователей запоминать какие-либо символические жесты. Все необходимые жесты пользователя, с помощью которых можно взаимодействовать с голограммами и содержимым, являются инстинктивными. Способ достижения инстинктивного жеста состоит в том, чтобы побуждать пользователей выполнять жесты на основе дизайна возможностей пользовательского интерфейса.

Например, если нам требуется, чтобы пользователь захватил объект или контрольную точку двумя пальцами, объект или контрольная точка должны быть маленькими. Если мы хотим, чтобы пользователь захватил элемент пятью пальцами, объект или контрольная точка должны быть относительно большими. Аналогично кнопкам, маленькая кнопка потребует от пользователя нажатия одним пальцем. Большая кнопка потребует от пользователя нажатия ладонью.

Маленький объект

Средний объект

Крупный объект

Симметричный дизайн для работы с помощью рук и контроллеров с шестью степенями свободы

Возможно, вы заметили параллели при взаимодействии с помощью рук в дополненной реальности и контроллерами движений в виртуальной реальности. Оба способа ввода можно использовать для выполнения непосредственного манипулирования в соответствующих средах. В HoloLens 2 захват и перетаскивание руками на близком расстоянии работает почти так же, как кнопка захвата на контроллерах движения в WMR. Это позволяет пользователям лучше понять разницу взаимодействия между двумя платформами и может оказаться полезным, если вы когда-нибудь решите перенести свое приложение из одной из них в другую.

Оптимизация с помощью отслеживания глаз

Непосредственное манипулирование может показаться магией, если оно работает так, как задумано. Но если при любом движении рук непреднамеренно активируется голограмма, это может раздражать. Отслеживание глаз потенциально может помочь лучше определить намерения пользователя.

• Если. Уменьшение непреднамеренного срабатывания ответа на действие манипулирования. Отслеживание глаз позволяет лучше понять, что в настоящее время интересует пользователя.
  Например, представьте, что вы читаете голографический (учебный) текст и протягиваете руку, чтобы схватить реальный рабочий инструмент.

Таким образом вы случайно перемещаете руку над различными интерактивными голографическими кнопками, на которые вы не обращали внимания (например, они могут быть вне поля зрения пользователя).

Если пользователь некоторое время не смотрел на голограмму, но было обнаружено событие касания или захвата, вероятно, взаимодействие не было намеренным.

• Который элемент. Помимо ложноположительных активаций, иногда требуется более совершенное определение голограмм, которые нужно захватить или активировать, так как точная точка пересечения может быть неясной с вашей точки зрения, особенно если несколько голограмм расположены близко друг к другу.

  Хотя отслеживание взгляда в HoloLens 2 имеет ограничение точности определения его направления, оно все равно может быть очень полезно для близких взаимодействий из-за дисбаланса глубины при взаимодействии посредством ввода руками. Это означает, что иногда трудно определить, где находится ваша рука (позади или перед голограммой), чтобы, например, точно захватить виджет манипулирования.

• Где. Использование информации о том, на что смотрит пользователь, выполняющий быстрые жесты. Захватите голограмму и небрежно переместите ее в место назначения.

  Иногда это работает, но быстрое выполнение жестов руками может привести к очень неточному определению направлений. Тем не менее, отслеживание глаз может повысить точность жестов.

В MRTK можно легко настроить типичное поведение при манипуляции, используя скрипт ObjectManipulator. Благодаря ObjectManipulator можно захватывать и перемещать объекты непосредственно руками или с помощью телекинеза. Этот скрипт также поддерживает манипуляции двумя руками для масштабирования и поворота объекта.

См. также статью

Манипуляции и медиа – журнал «Искусство» Дмитрий Нестеров. Из серии «Манипуляция». Одесса — Ялта, 2011 Предоставлено автором Манипуляция определяется в теории передачи дискретных сообщений как процесс цифровой модуляции, преобразования последовательности кодовых символов (условных знаков) в последовательность элементов сигнала. По-разному понимается манипуляция в социологии, от «формы духовного воздействия и скрытого господства» до «способа выигрышного структурирования мира» и «отношения к другому как к средству». Существует ещё понятие манипуляции в цирковом искусстве — это фокус, исполнение которого требует особой […]

Дмитрий Нестеров. Из серии «Манипуляция». Одесса — Ялта, 2011

Предоставлено автором

Манипуляция определяется в теории передачи дискретных сообщений как процесс цифровой модуляции, преобразования последовательности кодовых символов (условных знаков) в последовательность элементов сигнала. По-разному понимается манипуляция в социологии, от «формы духовного воздействия и скрытого господства» до «способа выигрышного структурирования мира» и «отношения к другому как к средству». Существует ещё понятие манипуляции в цирковом искусстве — это фокус, исполнение которого требует особой ловкости рук — с монетками, шариками, лентами, письменными принадлежностями, игральными картами. Фокусник в цирке часто называется манипулятором.

Что общего между определениями, данными манипуляции в разных областях знания? Говоря обобщённо — это представление-превращение набора одних знаков в другие. Понятно, что наш способ восприятия мира и познания (то есть, присвоения имён) манипулятивен по своей природе. Можно вспомнить о существовании между восприятием информации нейронами и её анализом рецепторами головного мозга задержки в доли секунды — так занимавшей Кизи и Весёлых Проказников. Эта задержка — базовая форма коммуникации и главное её условие, это — «мозговое кино», внутреннее говорение, составляющее основу нашей личности. Коммуникация и манипуляция оказываются в интересующей нас области контекстуальными синонимами (мы не говорим пока о том, насколько это хорошо или плохо).

Вся история оптических медиа, от ионического алфавита и восковых табличек до цифрового видео, является историей последовательного упрощения манипулятивных техник, связанного с целым рядом допущений (договоров). К примеру, начиная с Евклида знание о прямолинейном распространении лучей света было связано с представлением о космосе как конечном идеальном шаре, любая точка которого оказывается достижима для «зрительного луча» человеческого глаза. Впоследствии всё переворачивается с ног на голову: в современной оптике свет идёт не от глаза к предмету, но ровно наоборот, а линейная перспектива зиждется на гипотезе о бесконечной вселенной, модели которой соответствует в перспективе бесконечно удалённая точка схода всех линий — заимствованный из арабских цифр ноль, философская пустота.

Дмитрий Нестеров. Из серии «Манипуляция». Одесса — Ялта, 2011

Предоставлено автором

Именно арабские математики изготовили первую модель камеры-обскуры, собственно линейной перспективы, получившей дальнейшее развитие только в эпоху Ренессанса. Уже тогда познаваемая (воспринимаемая органами чувств) реальность казалась «пойманной» в «тиски взгляда». Иллюзия «захвата реальности», наиболее распространённая в золотой век фотографии на рубеже XIX и XX веков, освободившая, как принято считать, для формальных экспериментов живопись и ставшая расхожим местом истории искусств, стала кульминацией идеи всевидящего ока Просвещения. Представляется, что это стало своеобразным «началом конца», и ключевой фигурой здесь выступает не кто иной, как Уильям Генри Фокс Тальбот. Изобретения Ньепса и Дагера уже сделали недостаточным, если вообще нужным, основополагающее для любого художника умение перспективно изобразить природу. Калотипия Тальбота свела физические действия художника к минимуму, превратив камеру-обскуру в фотокамеру в современном смысле слова. Следующее нововведение Тальбота, а именно создание негативного изображения, непосредственно отсылает нас к обсуждаемой проблеме манипуляции. С появлением негатива стало возможным произвольно уменьшать или увеличивать всё изображение или любую его часть при неоднократном копировании — совокупность двух этих факторов превратила фотографию в массмедиа, успешно интегрированную в технологию книгопечатания. Начавшийся после этого бум туристических открыток, дешёвых порнографических картинок и бульварных романов явился прообразом современной системы массмедиа, неотделимой от войны и капитала и, следовательно, пропаганды. (Деятельность основанного в 1622 году Объединения по распространению католической веры была основана, кстати, исключительно на имиджах; именно учёные иезуиты занимались изучением оптики, строили «волшебные фонари», использовавшиеся в театральных постановках на религиозные темы.)

Здесь условно пролегает концептуальная граница между медиа и массмедиа. Видимое — это воображаемое, так по Лакану «я» формируется из умения младенца узнавать себя в зеркале. Появление линейной письменности, исторического времени, суть первая ступень отстранения от мира. Тексты поясняют видимые образы. Медиа, таким образом, всегда манипулирует видимым, говоря иначе, личным опытом, перекодируемым в текст. Верно, что всё, что мы знаем о себе и мире, мы знаем благодаря медиа.

От негатива Тальбота недалеко до целлулоида Истмена и первой камеры «Кодак». По мере своего развития фотография заменила собой видимое глазом (или старой камерой-обскурой) в качестве материала для живописи — содержанием одного медиа всегда оказывается другое медиа. Так фотография становится массмедиа, и на этом основывается современное общество. Мы вновь оказываемся в магическом пространстве, циклическом времени технологий, в котором тексты не поясняют образы, но образы абстрагированы от текстов. Как когда‑то миф, программа фотоаппарата наделяется поначалу магическим свойством.

Дмитрий Нестеров. Из серии «Манипуляция». Одесса — Ялта, 2011

Предоставлено автором

Посмотрим, куда было направлено это магическое «новое око»: на крайние стороны социальной лестницы, нищих и королей, на бесконечные студийные портреты, однообразные туристические пейзажи, но прежде всего — на лица преступников, то есть формирование полицейских картотек, на создание типологий. Не счесть критиков, сравнивших возможность фотоувеличения с прицелом, панорамные съёмки с цеппелинов и самолётов — с ковровыми бомбардировками, «волшебные фонари» — с сигнальными кострами. Военный характер любой коммуникации очевиден. При этом в «классическую эпоху» фотография была тесно связана с «культом буржуазного гения», с индустриальным капиталом. Теория говорит нам однозначно: массмедиа — это развитие, как у Фуко, «контролирующего взгляда», «оптической структуры надзора и наказания», а споры о фотографии как искусстве лишь скрывают её стратегическое назначение.

Итак, содержание фотографии — только другие фотографии. В принципе, фотографическая программа неисчерпаема, но некий набор того, что фотографируется, оказывается ограничен опять же системой массмедиа, существующим в ней набором тем. Как пишет Никлас Луман, тема — необходимое условие коммуникации, различения информации и неинформации, самого существования массмедиа. С набором тем связано производство социальной памяти, постоянная смена повторяющихся наборов идентичностей. Как и в пространстве мифа, всё существующее существует одновременно, и время массмедиа обусловлено простой последовательностью операций вне зависимости от их содержания, как это происходит при постоянном обновлении статусов в социальных сетях, выкладывании фотографий в блогах, даже при обмене короткими текстовыми сообщениями.

Дмитрий Нестеров. Из серии «Манипуляция». Одесса — Ялта, 2011

Предоставлено автором

Фридрих Киттлер в своих лекциях цитирует отрывок из «Воспитания чувств» Флобера, описание литографии, на которой королевская семья изображена лишённой всех атрибутов величия, как рядовые французские буржуа: «в руках у Луи-Филиппа свод законов, у королевы молитвенник, принцессы вышивают, герцог Немурский пристёгивает саблю, г-н де Жуанвиль показывает младшим братьям географическую карту, в глубине видна двуспальная кровать». Медиа всегда пропагандируют противоположное тому, что показывают — на этом основана и деятельность иезуитов, и современная вестернизация. «Там, где реальный мир превращается в образы, а образы становятся реальностью, практическая способность человека отделяется от самой себя и предстаёт как самостоятельный мир, и как раз в этом мире рыночная экономика обретает абсолютную власть над всей общественной жизнью, она способна манипулировать уже коллективным восприятием, господствуя над памятью и социальными коммуникациями, она превращает их в товар — в зрелище, форму абсолютного отчуждения», — пишет Джорджо Агамбен в книге «Грядущее сообщество». — «Коммуникации, таким образом, препятствует сама возможность общения, людей объединяет то, что их разделяет».

Другой итальянец, Франко Берарди, также говорит об отчуждении, о том, что коммуникация утратила свой магический и эротический характер, стала экономической необходимостью, безрадостной функцией. Для Агамбена с отчуждением связана философская категория любого: «Любое — это сходство без архетипа, то есть Идея». В циклическом времени массмедиа всё может быть любым. В этом состоит главное свойство успешной модели: быть любой, и в то же время не меняться, в этом главная составляющая образа политика. Вилем Флюссер, тридцать лет назад писавший об упадке письменной культуры и новой визуальной безграмотности как утрате критического мышления, говорил о чём‑то схожем: «Неграмотность сегодня не исключена из культуры, зашифрованной в тексты, она полностью вовлечена в культуру, зашифрованную в образах». И в основе этого концептуального слома познания и восприятия — свойства камеры-обскуры, открытые арабскими комментаторами Аристотеля?

Мы продолжаем доверять тому, что знаем, несмотря на колоссальный разрыв, несоответствие между селективностью фонового знания массмедиа и их успехом в представлении реальности. Мы доверяем медиа, потому что они «не нуждаются в консенсусе» (Луман), оставляют нетронутой иллюзию доступной для восприятия, познаваемой реальности. Любое различение внутри системы массмедиа оказывается условным, любая маргиналия персонального видения апроприируется системой и существующим набором тем. Но мы нуждаемся в подобном различении. «Постиндустриальная революция, произошедшая с появлением фотоаппарата, проходит мимо сознания фотографов», — писал Флюссер.

Дмитрий Нестеров. Из серии «Манипуляция». Одесса — Ялта, 2011

Предоставлено автором

Уже классические фотографы пытались концептуально отделить свою персональную работу от коммерческой, скажем — медиа от массмедиа. К примеру, печатали персональную работу только контактным способом, потому что фотоувеличение — манипуляция не с видимым, а с текстом негатива. То же относится к цвету или, с другой стороны, к использованию исторических техник, ломографии, полароиду.

Манипулятор разоблачён, но всё ещё показывает фокусы. Вопрос в том, способны ли мы ещё обратиться непосредственно к реальности опыта, и насколько это необходимо. Вышеприведённый отрывочный анализ, возможно, лишь симптом нашей растерянности, а пессимизм теории, к которой мы обращаемся в поисках поддержки, вызван только шоком и стрессом от попытки адаптации к новым технологическим условиям.

«Ни одна когнитивная система не в силах в своих операциях достичь внешнего мира», — говорит нам теория. Как следствие, система массмедиа испытывает постоянный недостаток собственного разнообразия, а любое наблюдение всегда регистрирует лишь то, что мир недоступен для наблюдения. В то же время, ни одна система не в силах отказаться от предпосылки реальности. До тех пор, пока по привычке мы будем искать в массмедиа (в фотографиях) информацию о старой доброй чувственной реальности, мы будем сталкиваться с пустотой арабского ноля линейной перспективы.

Дмитрий Нестеров. Из серии «Манипуляция». Одесса — Ялта, 2011

Предоставлено автором

Возможно, мы физиологически не приспособлены к взаимодействию с компьютерными моделями массмедиа, поскольку биологическая эволюция протекает слишком медленно. (Интересно, что пропаганда иезу-итами линейной перспективы в Китае потерпела полный крах.) При этом интуитивно понятно, что подобное постоянное взаимодействие должно привести к определённым изменениям в нейронной сети, в самой структуре восприятия и памяти. Функция массмедиа — не в умножении информации, но в «порождении и переработке раздражений». Если уподобить нас медиафильтрам, мы должны пропускать через себя всё, кроме этого раздражения — тех помех, что, в теории, возникают в любом канале.

Ведь проблема манипуляции — это всегда вопрос о возможности счастья и свободы. И если в мире программ и аппаратов человеческой свободе уже нет места, нам остаётся единственная возможность — принимать мир таким, каков он есть. Главное — отказаться от борьбы с пустотой, потому что сопротивление языку может быть, понятно, только языковым. Как природа не терпит пустоты, так пустота не терпит ничего натурального, природного, чувственного. Реальность массмедиа — единственно данная нам. Процитируем последние слова книги Агамбена: «Язык раскрывает возможность не-бытия, но одновременно он открывает другую, более могущественную — возможность существования, того, чтобы нечто было вообще… Воспринимать нечто в его бытие-таком, во всей его необратимости, которая, однако, не есть необходимость, воспринимать именно так, но не видеть в этом случайность — это и есть любовь».

прогнозирование и оценка последствий действия

Абстракция

Наблюдая за тем, как актер манипулирует объектами, наблюдатели, как и актер, естественно направляют свой взгляд на каждый объект по мере приближения руки и обычно удерживают взгляд на объекте до тех пор, пока рука не отойдет. Здесь мы исследовали функцию движений глаз наблюдателей, сосредоточив внимание на двух возможностях: (i) поведение взгляда наблюдателя возникает в результате процессов, участвующих в прогнозировании целевого объекта движения актера, и (ii) что такое поведение взгляда поддерживает оценка механических событий, возникающих в результате взаимодействия между рукой актера и объектами.Наблюдатели наблюдали, как актер потянулся к одному из двух представленных предметов и поднял его. Задача наблюдателей заключалась в том, чтобы либо предугадать целевой объект, либо оценить его вес. Упреждающее поведение взгляда, подобное тому, которое наблюдается при самостоятельном наблюдении за действием, было замечено в задаче оценки веса, которая требует оценки механических событий, связанных с подъемом, но не в задаче прогнозирования цели. Мы утверждаем, что важной функцией поведения взгляда при самостоятельном наблюдении за действиями является оценка механических событий, связанных с взаимодействием между рукой и объектом.Сравнивая предсказанные и фактические механические события, наблюдатели, как и действующие лица, могут получить знания о мире, в том числе информацию об объектах, на которые они могут впоследствии воздействовать.

Ключевые слова: поведение взгляда, действие – наблюдение, манипулирование объектами

1. Введение

Планирование и управление задачами манипуляции сосредоточено на механических событиях, которые отмечают переходы между последовательными фазами действия и представляют подцели общей задачи. Например, при подъеме контакт между цифрами и объектом означает завершение фазы подъема, а разрыв контакта между объектом и поверхностью отмечает завершение фазы подъема.Сравнивая прогнозируемые и фактические сенсорные сигналы, связанные с этими событиями, субъекты могут запускать корректирующие действия, если возникает несоответствие, и подтверждать или обновлять гипотезы о мире, такие как гипотезы о весах объектов [1,2]. Сенсомоторные представления, лежащие в основе задач манипуляции, включают спецификации движений глаз для конкретных задач и использования зрения [3,4]. Таким образом, актеры направляют свой взгляд на пространственные цели разворачивающейся задачи (например, объект, который нужно поднять) и часто удерживают взгляд в этих местах до тех пор, пока подзада не будет достигнута (например,грамм. объект поднимается), так что события, связанные с результатами фазы действия, могут отслеживаться центральным зрением [5,6].

Когда люди наблюдают за задачами манипуляции, их взгляд похож на поведение актера [6–9]. Например, наблюдая, как актер берет и заменяет серию объектов, наблюдатели направляют свой взгляд на каждый объект до того, как подойдет рука актера, и не отрывают взгляда от объекта, пока рука не отойдет к следующему объекту [9]. Это сходство, по-видимому, поддерживает идею о том, что наблюдатели реализуют в реальном времени сенсомоторные представления наблюдаемой задачи [6,10–13].Однако функциональная роль движений глаз наблюдателей остается неясной. Целью данной статьи является исследование функции поведения взгляда, естественным образом порождаемого наблюдателями за манипуляционными задачами. Мы сосредотачиваемся на двух предполагаемых функциях. Во-первых, поведение взгляда наблюдателя проистекает из процессов, участвующих в прогнозировании цели движения актера (то есть того, каким объектом актер намеревается манипулировать), что связано с движением, выбранным актером [7,13,14] . Во-вторых, наблюдатели направляют свой взгляд на объекты, которыми манипулируют, чтобы они могли оценивать сенсорные события, связанные с механическими взаимодействиями между рукой актера и объектом, события, которые связаны с завершением или результатом каждой фазы действия актера [ 9,15].

Сначала участники завершили блок испытаний, в котором они просто наблюдали, как актер дотянулся до любого из двух объектов-кандидатов и поднял их. После этого условия с естественным или самостоятельным действием-наблюдением участникам было дано конкретное задание, которое они должны выполнить, наблюдая за тем, как актер выполняет те же движения. Одна группа выполнила задачу прогнозирования цели, в которой их попросили указать как можно раньше во время действия разворачивания, какой объект актер схватит и поднимет.Другая группа выполнила задание по оценке веса, в котором их попросили оценить вес объекта, что включает оценку механического взаимодействия между рукой актера и объектом. Если основной функцией поведения взгляда наблюдателя при самостоятельном действии-наблюдении является прогнозирование целей движения актера, движения глаз в задаче прогнозирования цели должны быть аналогичны тем, которые наблюдаются в самостоятельном действии-наблюдении. И наоборот, если основной функцией является оценка механических событий, связанных с взаимодействиями между рукой актера и объектами, поведение взгляда в задаче оценки веса должно быть аналогично тому, которое наблюдается в самостоятельном наблюдении за действием.

2. Материалы и методы

(a) Субъекты

Шестнадцать участников приняли участие после предоставления информированного письменного согласия. Семь женщин и трое мужчин участвовали в эксперименте по прогнозированию целей, а четыре женщины и двое мужчин участвовали в эксперименте по оценке веса. Участники, получившие оплату за участие, были студентами и аспирантами с нормальным зрением. Совет по этике местного университета одобрил эксперименты, которые соответствуют Хельсинкской декларации.

(b) Оборудование

Участники сидели, упершись лбом в закрепленную повязку. Небольшая прикусная планка еще больше уменьшила движения головы. Устройство слежения за глазами (RK-726PCI, ISCAN Inc., Берлингтон, штат Вирджиния, США), установленное на раме под оголовьем, регистрировало положение взгляда правого глаза участника на 240 выборках с ⁻¹ в заданной работе. плоскость, которая соответствовала коронарной плоскости, расположенной в 100 см перед глазами ( a ). Процедура калибровки взгляда описана в [16].Два небольших датчика положения / угла (FASTRAK, Polhemus, Colchester, VT, USA), прикрепленные к ногтям указательного и большого пальца, регистрировали положение руки актера с частотой дискретизации 120 отсчетов с ⁻¹ .

Экспериментальная установка. ( a ) Наблюдатели наблюдали за актером со стороны. Во всех испытаниях актер сначала взял и заменил начальный блок, а затем поднял и заменил ближний или дальний блок, прежде чем вернуть руку в показанное начальное положение.Черные квадраты показывают расположение блоков. Записывали положение взгляда наблюдателя и положение кончиков указательного и большого пальца актера. ( b ) Устройство, используемое для управления эффективными весами ближнего и дальнего блоков в задаче оценки веса. Линейный двигатель с компьютерным управлением использовался для размещения пары тележек вдоль параллельно вращающихся стержней, прикрепленных с помощью струны, проходящей через шкивы, к крюкам, расположенным в центре блоков. Показаны одиночная штанга, тележка и блок.

В задаче прогнозирования цели и соответствующем ей условии самостоятельного действия – наблюдения три деревянных блока (кубики высотой 2 см), расположенные в рабочей плоскости, были размещены на горизонтальной поверхности, расположенной перед актером. Сюда входили стартовый блок, ближний блок и дальний блок, центры которых находились на расстоянии 25, 40 и 50 см соответственно от туловища актера. В задаче оценки веса и соответствующем ей условии самостоятельного действия-наблюдения начальный, ближний и дальний блоки располагались на расстоянии 25, 40 и 60 см от туловища.Стартовый блок представлял собой сплошной куб (высота 3,5 см), состоящий из непрозрачного черного полиоксиметиленового пластика Delrin. Блоки-мишени состояли из оболочек делрина (полые кубики высотой 5 см с открытым дном) с ручками сверху ( b ), оснащенными датчиками силы-момента (Nano 17 F / T, ATI Industrial Automation, Гарнер, Северная Каролина, США). ), что позволило нам измерить силы, прилагаемые рукой актера при подъеме. Для установки эффективных весов ближнего и дальнего блоков мы использовали систему линейного двигателя ( b ).(Обратите внимание, что мы использовали немного разные местоположения блоков в эксперименте по оценке веса, который проводился после эксперимента по прогнозированию цели, потому что мы воспользовались преимуществами ранее существовавших отверстий в верхней части стола, через которые проходили веревки, прикрепленные к объектам; b ). И актер, и наблюдатель были в наушниках и слушали розовый шум, так что не могли слышать движение линейного двигателя. Линейный двигатель перемещался при каждом испытании, даже если вес не менялся.

(c) Процедура

Действующим лицом был один человек, наивный в отношении исследовательских гипотез.Его попросили выполнить задание с комфортной скоростью и быть последовательным. Перед началом испытания актер положил правое предплечье на стол, положив руку на правую сторону рядом со стартовым блоком ( a ). В начале каждого испытания актер взял и заменил (в том же месте) начальный блок, а затем взял и заменил (снова в том же месте) либо ближний блок, либо дальний блок, прежде чем вернуть руку остальной части. позиция. Блоки поднимались над столом примерно на 10 см.Актер схватился за блоки (или ручки, прикрепленные к блокам) сверху и касался ближней и дальней стороны (с его точки зрения) дистальными подушечками большого и указательного пальцев соответственно. Визуальная подсказка, видимая актеру в начале каждого испытания, но не наблюдателю, инструктировала актера о том, какой целевой блок нужно поднять. Начало этой реплики также послужило сигналом к ​​выходу.

В испытаниях самостоятельного действия и наблюдения участников просили просто наблюдать за актером. Как в задаче прогнозирования цели, так и в задаче оценки веса участники держали в каждой руке стержень, снабженный кнопкой, на которую можно было нажимать большим пальцем.В задаче прогнозирования цели участникам было поручено как можно быстрее нажать правую или левую кнопку, чтобы указать, собирается ли актер подобрать ближний или дальний блок соответственно. Таким образом, было пространственное соответствие между кнопкой ответа и местоположением прогнозируемого целевого блока. В задаче оценки веса участникам сказали, что при случайных испытаниях целевой блок (ближний или дальний) будет вдвое тяжелее и что актер не будет знать, когда эти испытания произойдут.Участникам было предложено нажать левую или правую кнопку как можно быстрее, чтобы указать, был ли блок-мишень, поднятый актером, тяжелым или стандартным весом, соответственно. Никаких инструкций о том, где искать, не было дано ни в одном из заданий.

Для каждого участника задача прогнозирования цели включала 30 попыток, которые были выполнены после 30 попыток самостоятельного действия-наблюдения. Задача оценки веса включала 56 испытаний, которые также были выполнены после 30 попыток самостоятельного действия-наблюдения.Во всех условиях порядок исследований ближней и дальней цели был рандомизирован. В задаче оценки веса было четыре непредсказуемых испытания тяжелого веса (по два для каждого целевого объекта), разделенных 10–18 попытками.

(d) Анализ данных

Положения рук и взгляда были сглажены с использованием низкочастотного фильтра Баттерворта четвертого порядка с частотами отсечки 14 и 25 Гц соответственно. Мы использовали скорость движений рук и глаз в рабочей плоскости, чтобы определить время начала и смещения движений рук актера между блоками и саккадами, совершаемыми наблюдателями.Для движений рук и саккад мы использовали пороги 0,1 и 1,0 мс ^–1 соответственно. Среднее положение датчиков положения большого и указательного пальцев определяло положение руки. Считалось, что отрыв блока произошел, когда вертикальная скорость руки превысила 0,1 м с ⁻¹ . В задаче прогнозирования цели и соответствующем ей условии самостоятельного действия-наблюдения мы определили время, когда рука актера коснулась блока, на основе скорости изменения отверстия для захвата, расстояния между положениями большого и указательного пальцев.Контакт считался произошедшим, когда абсолютная скорость изменения упала ниже 0,05 м с ^-1 . В задаче оценки веса и соответствующем ей условии самостоятельного действия-наблюдения время, когда рука актера касалась ближнего и дальнего блоков, определялось по силам, приложенным к датчикам силы. Считалось, что контакт произошел, когда сила на любом датчике превышала 0,1 Н. Для построения траектории взгляда (рисунки и) к нему применялся фильтр нижних частот Баттерворта четвертого порядка с частотой среза 14 Гц. необработанные сигналы положения взгляда, в отличие от частоты среза 25 Гц, используемой для анализа данных.

Поведение взгляда в задаче прогнозирования цели и соответствующее условие самостоятельного действия – наблюдения. ( a , b ) Взгляд и движение рук в периоды фиксации и отслеживания (т. Е. Исключая саккады) в плоскости движения с точки зрения наблюдателя. Данные всех испытаний всех участников накладываются друг на друга. Для каждого испытания отображаются данные с момента замены стартового блока, непосредственно перед началом движения руки от стартового блока, до смещения движения руки к целевому блоку.Отдельные графики показаны для движений рук от начального блока к (i) ближней и (ii) дальней цели. Пути взгляда окрашены в красный, синий или зеленый цвет в зависимости от того, относятся ли они к испытаниям саккад, трекинга или фиксации, соответственно, а пути рук окрашены в серый цвет. ( c , d ) Процент попыток саккад, трекинга и фиксации на одного участника в задачах действие – наблюдение ( c ) и прогнозирование цели ( d ).

Поведение взгляда в задаче оценки веса и соответствующее условие самостоятельного действия – наблюдения.( a , b ) Взгляд и движение рук в периоды фиксации и отслеживания (т. Е. Исключая саккады) в плоскости движения с точки зрения наблюдателя. Показаны данные всех испытаний всех участников. Для каждого испытания отображаются данные с момента замены стартового блока, непосредственно перед началом движения руки от стартового блока, до смещения движения руки к целевому блоку. Отдельные графики показаны для движений рук от начального блока к (i) ближней и (ii) дальней цели.Пути взгляда окрашены в красный или зеленый цвет в зависимости от того, относятся ли они к испытаниям саккад или фиксации, соответственно, а пути рук окрашены в серый цвет. (Никаких испытаний с отслеживанием не наблюдалось.) Хотя стартовый блок был зафиксирован почти во всех испытаниях, некоторые фиксации не показаны на рисунке, потому что взгляд смещается от стартового блока до того, как стартовый блок был заменен. ( c , d ) Вертикальное положение руки (серый) и взгляда (красный) в зависимости от времени во время подъема и замены целевого блока при оценке веса ( c ) и самостоятельном действии наблюдение ( d ) задач.Постоянные изменения вертикального положения взгляда во время периодов фиксации указывают на то, что взгляд имел тенденцию отслеживать подъемную силу актера и заменять движение. Данные всех испытаний саккад, в которых дальний блок был целью и весил 3 Н, показаны для репрезентативного участника. Обратите внимание, что в задаче оценки веса было собрано большее количество таких испытаний, чем в соответствующем условии самостоятельного действия-наблюдения. Для каждого испытания отображаются данные за период времени, в течение которого сила захвата актера превышала 0.5 Н, с дополнительными 50 мс до и после.

В данном испытании поведение взгляда было классифицировано как саккадическое, если оно состояло из саккад и фиксаций во время движения актера по направлению к целевому блоку. Поведение взгляда классифицировалось как фиксация, если участники фиксировали одно место на протяжении всего движения. Во время такой фиксации точное положение взгляда могло дрейфовать (см. Зеленые следы на диаграмме b , каждая из которых показывает положение взгляда во время одной попытки фиксации), и иногда могли возникать очень маленькие саккады.Однако больших саккад между блоками, как видно из испытаний саккад, не наблюдалось. Наконец, поведение взгляда классифицировалось как отслеживание, если отслеживание взгляда наблюдалось более 60% продолжительности движения досягаемости. Испытания по отслеживанию могут включать в себя догоняющие саккады в дополнение к движению глаз преследования. Взгляд считался отслеживающим, когда скорость взгляда превышала 1,0 м / с ^-1 в отсутствие обнаруженной саккады. Когда наблюдалось отслеживание взгляда, взгляд отслеживал движущуюся руку актера ( b ).В целом, было замечено очень четкое различие между саккадическими и трекинговыми испытаниями. В испытаниях слежения процент продолжительности движения руки, в течение которого взгляд отслеживал руку, составлял в среднем 91,7% (стандартное отклонение = 7,8%). Напротив, в испытаниях саккад наблюдалось очень мало периодов отслеживания (рисунки a , b и a , b ). Повторные измерения ANOVA использовались для сравнения различных измерений в разных условиях, и уровень α 0,05 считался значимым. Наконец, поведение взгляда было проанализировано только в испытаниях, в которых были получены хорошие записи взгляда.Это включало 92,5% всех исследований.

3. Результаты

(a) Задача прогнозирования цели

В задаче прогнозирования цели и соответствующем условии самостоятельного действия – наблюдения участники наблюдали сбоку за актером, поднимающим деревянные блоки, расположенные в средней сагиттальной части актера. самолет ( а ). В каждом испытании актер сначала поднимал и заменял ближайший к нему стартовый блок, а затем поднимал и заменял один из других блоков (ближний или дальний) перед тем, как вернуть руку в исходное положение рядом со стартовым блоком.В начале каждого испытания актеру предлагали выбрать ближний или дальний блок. Порядок испытаний, в которых снимался ближний или дальний блок, был рандомизирован. После завершения 30 испытаний, включающих самостоятельное действие-наблюдение без каких-либо конкретных инструкций, участники выполнили 30 испытаний задачи прогнозирования цели, в которой их попросили как можно скорее указать, возьмёт ли актер ближний или дальний блок. нажимая кнопки в правой или левой руке соответственно.Мы попросили быстрого ответа, потому что мы хотели определить поведение взгляда, связанное с предсказанием, а не просто сообщением о цели актера, и потому что предсказание цели во время естественного действия — наблюдение происходит быстро [9].

Производительность актера была аналогичной в задаче прогнозирования цели и соответствующем условии самостоятельного действия-наблюдения, что оценивается по продолжительности движения руки от начального блока к целевому блоку и максимальному вертикальному смещению руки во время этого движение.Продолжительность движения руки была больше ( F ₁ , ₉ = 325, p <0,001) для дальнего блока (618 ± 19 мс; среднее ± стандартное отклонение), чем для ближнего блока (465 ± 10 мс), но не было никакого эффекта задачи и никакого взаимодействия ( p > 0,05 в обоих случаях). Аналогично, максимальное вертикальное смещение руки было больше ( F _1,9 = 368; p <0,001) для дальнего блока (7,1 ± 0,2 см), чем для ближнего блока (4,7 ± 0,1 см), но не было никакого эффекта задачи и никакого взаимодействия ( p > 0.05 в обоих случаях).

В зависимости от поведения взгляда наблюдателя мы классифицировали каждое испытание как саккадическое, фиксационное или отслеживающее, и при классификации испытаний было мало двусмысленности (см. § 2). Во время самостоятельного наблюдения-действия подавляющее большинство испытаний были саккадическими (см. и , где показаны все данные от всех участников). Наблюдалось небольшое количество отслеживающих испытаний, и один из девяти участников провел почти все эти испытания ( c ). Поведение взгляда в испытаниях саккад было аналогично тому, которое наблюдалось в предыдущем исследовании с использованием аналогичной задачи [9].Сначала участники устремили взгляд на стартовый блок перед рукой актера, приближавшейся к блоку. Независимо от того, был ли ближний или дальний блок целью, в большинстве саккадических испытаний (91,7%) взгляд затем перемещался на ближний блок вскоре после того, как рука актера начала отходить от начального блока после его замены ( 93 ± 14 мс). Когда ближний блок был целью актера, взгляд оставался на ближнем блоке до тех пор, пока не подошла рука, тогда как когда дальний блок был целью, участники совершали вторую саккаду, которая переводила взгляд на дальний блок перед прибытием руки актера.Вторая саккада началась, когда рука актера переместилась на 4,6 ± 0,9 см за ближний блок в горизонтальном ( x ) направлении, что произошло через 405 ± 13 мс после начала движения руки актера от стартового блока. В случайных саккадических испытаниях, в которых взгляд перемещался от начального блока к дальнему, взгляд оставался там, когда дальний блок был целью, но перемещался на ближний блок, перед рукой, когда ближний блок был целью. В целом, эти результаты согласуются с предыдущими результатами, показывающими, что при простом наблюдении за задачами манипулирования блоками люди совершают предсказательные саккады для задействованных объектов и редко отслеживают движущуюся руку [6,7,9,17].

Напротив, в задаче прогнозирования цели было множество испытаний фиксации и отслеживания в дополнение к испытаниям саккад (см. b , где показаны данные всех испытаний от всех участников). Восемь участников в основном проводили испытания с фиксацией (пять) или трекингом (три), тогда как два участника в основном проводили саккадические испытания ( d ). Расположение одиночной фиксации в испытаниях фиксации обычно было близко к одному из блоков и чаще всего близко к ближнему блоку.В испытаниях по отслеживанию в среднем взгляд отслеживал руку на протяжении 91,7% (стандартное отклонение = 7,8%) продолжительности движения руки. У разных участников соотношение попыток саккад, трекинга и фиксации во время задачи прогнозирования цели (26: 31: 43) явно отличалось ( χ ₂ = 93,0; p <0,001) от соответствующего соотношения во время самостоятельной работы. -управляемое действие – наблюдение (92: 7: 1).

Участники точно предсказали целевой блок в 90% испытаний в целевой задаче прогнозирования.Этот показатель успеха не зависел от местоположения (ближнего или дальнего) целевого блока ( F _1,9 = 2,08; p = 0,18). Время правильного нажатия кнопки относительно начала движения руки актера от стартового блока составляло 422 ± 30 мс и не зависело от расположения целевого блока ( F _1,9 = 0,72; p = 0,42). Когда целью был ближний блок, правильные нажатия кнопок происходили, когда рука актера находилась на 1,2 ± 0,8 см впереди ближнего блока в горизонтальном ( x ) направлении.Когда дальний блок был целью, рука актера находилась на 4,7 ± 1,3 см от ближнего блока по горизонтали. Ни процент успешных прогнозов ( χ ₂ = 0,04; p = 0,98), ни время нажатия кнопок ( F _2,562 = 0,58; p = 0,56) не зависели от поведения взгляда в соответствии с категорией с точки зрения испытаний саккад, фиксации и отслеживания (данные были объединены по участникам, потому что не все участники демонстрировали все виды поведения взгляда).

(b) Задача оценки веса

После завершения 30 испытаний, включающих самостоятельное действие-наблюдение, участники выполнили 56 попыток задачи оценки веса, в которой их попросили указать, как можно скорее, поднялся ли целевой блок актер был стандартным или тяжелым, нажимая кнопки в правой или левой руке соответственно. И актер, и наблюдатель носили звуконепроницаемые наушники и не могли ни видеть, ни слышать систему линейных двигателей.Ручки, оснащенные датчиками силы, были установлены на верхней части ближнего и дальнего блоков и измеряли силы, прилагаемые большим и указательным пальцами актера (рисунки b, и). В задаче оценки веса целевой блок весил 3 Н при стандартных испытаниях с отягощениями, а в отдельных испытаниях с тяжелым весом (одно из 14 случайно выбранных испытаний) вес удваивался до 6 Н. В соответствующих условиях самостоятельного действия и наблюдения , вес был установлен на 3 Н, чтобы гарантировать, что это условие представляет собой естественное действие-наблюдение, лишенное возможных влияний неожиданных событий.

Движения руки актера, оцениваемые по продолжительности движения руки от начального блока к целевому блоку и максимальному вертикальному смещению руки во время этого движения, были аналогичны в задаче оценки веса и соответствующем самостоятельном действии. –Условие наблюдения. Продолжительность движения руки была больше ( F _1,5 = 2178, p <0,001) для дальнего блока (578 ± 7 мс), чем для ближнего (363 ± 4 мс), но эффекта не было. задачи и отсутствия взаимодействия ( p > 0.05 в обоих случаях). Аналогично, максимальное вертикальное смещение руки было больше ( F _1,5 = 713; p <0,001) для дальнего блока (13,8 ± 0,4 см), чем для ближнего блока (8,9 ± 0,2 см), но там не было никакого эффекта задачи и никакого взаимодействия ( p > 0,05 в обоих случаях). Мы также сравнили подъемную силу и замещающие движения актера целевого объекта в 3 N попытках задачи оценки веса и в соответствующем условии самостоятельного действия-наблюдения. Максимальная высота подъемника была немного больше ( F _1,5 = 38.9; p = 0,002) для дальнего блока (9,07 ± 0,21 см), чем для ближнего (8,63 ± 0,22 см), но не было никакого эффекта задачи и взаимодействия ( p > 0,05 в обоих случаях). Продолжительность контакта актера с целевым блоком, определяемая как период времени, в течение которого сила захвата превышала 0,5 Н, составляла в среднем 695 ± 16 мс. ANOVA не смог выявить эффект целевого блока или задачи, и не было никакого взаимодействия ( p > 0,05 во всех трех случаях).

Как в задаче оценки веса ( b ), так и в соответствующем условии самостоятельного действия-наблюдения ( a ), поведение взгляда было очень похоже на то, которое ранее наблюдалось во время естественного или самостоятельного действия-наблюдения [6, 9] (см. Также и ).(Обратите внимание, что a , b показывают данные всех испытаний всех участников.) То есть подавляющее большинство испытаний в обеих задачах были испытаниями саккад. Никаких отслеживающих испытаний не наблюдалось, и менее 2,5% испытаний были испытаниями фиксации в обеих задачах. Взгляд переместился с начального блока на ближний блок перед рукой в ​​87% и 90% испытаний во время самостоятельного действия-наблюдения и задачи оценки веса, соответственно. Когда дальний блок был целью, взгляд неизбежно переводился на дальний блок, снова оказываясь перед рукой.

Во время задачи оценки веса взгляд переместился от начального блока (в ближний или дальний) раньше, чем во время самостоятельного действия-наблюдения ( F _1,5 = 24,24; p = 0,004 ). В частности, взгляд сместился от начального блока 621 ± 116 мс и 111 ± 101 мс до того, как рука начала отходить от начального блока в задаче оценки веса и во время самостоятельного действия-наблюдения, соответственно. Не было эффекта от целевого блока ( F _1,5 = 5.23; p = 0,071) и отсутствие взаимодействия между задачей и целевым блоком ( F _1,5 = 0,006; p = 0,943) во время этого смещения взгляда. Хотя взгляд смещался с начального блока раньше в задаче оценки веса, чем во время самостоятельного действия-наблюдения, в задаче оценки веса участники по-прежнему фиксировали стартовый блок до тех пор, пока актер не поднял его с опорной поверхности.

В среднем наблюдатели нажимали кнопку через 385 ± 48 мс после того, как актер впервые коснулся целевого блока, и на этот раз между ближним и дальним блоками существенных различий не было ( p > 0.05). Таким образом, нажатие кнопки почти всегда происходило во время движения подъема и замены и задолго до того, как актер отпустил блок. Очень последовательное поведение взгляда наблюдалось во время подъема и замены движения как в задаче оценки веса, так и в соответствующем условии самостоятельного действия-наблюдения. В частности, взгляд продолжал быть направлен к местоположению целевого блока в течение всего движения подъема и замены, и наблюдалась тенденция к перемещению взгляда вверх и вниз с вертикальным движением целевого блока ( c , d ).Однако амплитуда движения взгляда во время движения подъема и замены обычно была меньше амплитуды движения блока. Небольшие саккады также наблюдались во время движения подъема и замещения, происходящего примерно в 30% всех испытаний как в условиях самостоятельного действия-наблюдения, так и в задаче оценки веса (см. Прерывистые кривые в c , d ).

Как и ожидалось, период от момента, когда актер коснулся целевого блока до момента, когда он оторвался от опорной поверхности, был значительно дольше ( F _1,5 = 210; p <0.001) в испытаниях с тяжелым весом (596 ± 37 мс) по сравнению со стандартными испытаниями с отягощениями (228 ± 12 мс) [18–20]. Кроме того, максимальная высота подъемника была меньше ( F _1,5 = 70,2; p <0,001) в испытаниях с тяжелым весом (6,82 ± 0,36 см), чем в испытаниях со стандартным весом (9,06 ± 0,24 см). . В соответствии с предыдущими результатами [21–24], все участники могли использовать визуальную информацию, связанную с подъемом, такую ​​как время между контактом и подъемом, высоту и скорость подъема и даже форму руки, чтобы судить о весе объекта.В частности, участники правильно оценили блок как тяжелый во всех испытаниях с тяжелым весом и правильно оценили блок как стандартный вес в 76 ± 8% испытаний со стандартным весом. Большинство испытаний, в которых участники ошибочно считали стандартный вес тяжелым, проводились до первого испытания с тяжелым весом. В дополнительном эксперименте, о котором здесь не сообщается, новая группа участников выполнила задачу оценки веса, в которой соотношение света (т.е. стандарт), а испытания с тяжелым весом составляли 1: 1. Поведение взгляда, наблюдаемое в этой задаче оценки веса 1: 1, было поразительно похоже на то, что наблюдалось в задаче оценки веса, о которой говорилось выше. Более того, участники правильно оценили вес целевого блока в более чем 90% испытаний.

4. Обсуждение

Прогнозирование последствий действия является фундаментальной составляющей сенсомоторного управления [25,26]. В задачах манипуляции прогнозирование сенсорных событий, связанных с механическими событиями, отмечающими завершение этапов действия, таких как цифры, соприкасающиеся с объектом и отрывание объекта во время задач подъема, особенно важно для ловкого управления.Сравнивая прогнозируемые и фактические сенсорные события, в том числе тактильные, визуальные и слуховые события, участники могут отслеживать ход выполнения задачи, запускать соответствующие корректирующие действия в случае несоответствия и подтверждать или обновлять гипотезы, связанные с задачей, включая гипотезы о весах объектов, которыми манипулируют [ 1,2]. Например, при подъеме предметов люди увеличивают силу вертикальной нагрузки до целевого уровня, соответствующего ожидаемому весу, и прогнозируют, когда они получат сенсорную обратную связь, указывающую на отрыв.Если объект тяжелее ожидаемого, то он не отрывается в ожидаемое время, и результирующее несоответствие между прогнозируемыми и фактическими сенсорными событиями запускает корректирующее действие, которое включает определение увеличения силы нагрузки [18]. Это несоответствие также обновляет ожидания относительно веса объекта, так что при последующем подъеме увеличение силы нагрузки более точно направляется на правильный вес [18–20].

Во время задач манипулирования объектами актеры обычно направляют свой взгляд на пространственные цели фаз действия, такие как объект, который нужно схватить и поднять, или место, где объект будет помещен [3,6,16,27].Такое поведение взгляда помогает направить руку к цели [28–30], а также позволяет отслеживать в центральном видении механические события, которые представляют цели фаз действия [4,5,31,32]. Мы предполагаем, что аналогичные движения глаз, производимые наблюдателями за манипуляционными задачами [6–9,17,33,34], также служат для отслеживания в центральном зрении механических событий, которые отмечают завершение фаз действия, и что это связано с нейронными процессами. напоминающие те, которые используются для предсказания и оценки этих событий во время действия.Когда участников явно просили оценить вес целевого блока, что включает сравнение прогнозируемой и фактической сенсорной информации, связанной с подъемом, они активно направили свой взгляд на блоки, как при самостоятельном наблюдении за действием. Напротив, когда явно просили предсказать, какой блок снимет актер, большинство участников фиксировали одно место или отслеживали руку актера. Это указывает на то, что прогнозирование цели не требует создания упреждающих движений глаз.Конечно, поскольку для упреждающих движений глаз требуется прогнозирование цели, такое прогнозирование является частью самостоятельного наблюдения за действием. Однако обратное неверно; Наши результаты показывают, что наблюдатели не производят этого взгляда, чтобы предсказать цель.

Наши результаты показывают, что в задаче прогнозирования цели наблюдатели не реализуют сенсомоторные представления, которые полностью имитируют задачу, выполняемую действующим лицом. Если бы наблюдатели реализовали такие представления в задаче прогнозирования цели, можно было бы ожидать проактивных движений глаз, заданных этими представлениями [3,4].Вместо этого наши результаты, по-видимому, более согласуются с идеей о том, что в задаче прогнозирования цели наблюдатели полагались на процессы вывода, не связанные с полным моделированием действий [35].

Обнаружение того, что участники, как в задаче оценки веса, так и в самостоятельном наблюдении за действием, направили свой взгляд на каждый блок, обрабатываемый актером, включая начальный блок, предполагает, что наблюдение за действием включает в себя побуждение контролировать все доступное поведение. других. Постоянно прогнозируя и оценивая механические события, связанные с завершением этапов действия, наблюдатели могут откалибровать производительность актера.Это, в свою очередь, поддерживает качество знаний, которые наблюдатели могут получить о состоянии мира, включая информацию о свойствах объектов в окружающей среде. Например, отслеживая, как быстро и насколько высоко актер поднимает объекты в целом, наблюдатель может более надежно определять, когда конкретный объект тяжелее или легче, чем ожидал актер.

Было предложено, чтобы акторы генерировали сенсорные прогнозы на основе эфферентной копии двигательных команд, которая передается через внутреннюю прямую модель управляемой системы, которая включает тело и объекты в среде, с которой тело взаимодействует [25] .Подобный процесс может лежать в основе генерации определенных сенсорных прогнозов у ​​наблюдателей. То есть наблюдатель может скрыто моделировать моторные команды наблюдаемого действия и передавать эффективную копию этих команд через прямую модель управляемой системы [36–38]. Эта идея в целом согласуется с результатами многочисленных исследований, показывающих, что сенсомоторные области, активируемые при выполнении задач действия, также задействуются при выполнении тех же задач [11,12,14]. Например, просмотр видео, на котором актер поднимает объект, увеличивает возбудимость представления мышц, участвующих в подъеме, в моторной коре головного мозга, и это увеличивает масштабы с требуемой силой (т.е. вес объекта) [24,39].

Недавно Кэннон и Вудворд [40] сообщили, что требование, чтобы участники выполняли задачу последовательного постукивания пальцами, наблюдая, как актер выполняет задачу манипулирования объектами, по-видимому, нарушает обычно наблюдаемое предсказательное поведение взгляда [7]. Это поднимает вопрос, могло ли в задаче прогнозирования цели подготовить и выполнить нажатие кнопки во время движения актера, чтобы вмешаться в поведение взгляда участников, что привело к отслеживанию взгляда в отличие от упреждающих саккад.Хотя мы не можем исключить эту возможность, мы хотели бы подчеркнуть, что участники также должны были выполнять нажатие кнопки в задаче оценки веса и все же демонстрировали активные саккады. Более того, поведение отслеживания взгляда, наблюдаемое в задаче прогнозирования цели, было инициировано задолго до того, как участники нажали кнопку, указывающую, какой блок был целью.

В этом исследовании мы рассмотрели две возможные функции движений глаз наблюдателей при наблюдении за задачами манипуляции: прогнозирование целевых объектов действия актера и оценка механических событий, связанных с взаимодействиями между рукой актера и объектами.Третья возможная функция, которую мы сознательно не рассматривали, связана со способностью понимать или делать выводы о целях или намерениях других более высокого уровня посредством наблюдения за их действиями [13,14]. Действительно, мы разработали эксперименты, чтобы минимизировать этот компонент, и отметили, что существует множество естественных ситуаций, в которых наблюдатели наблюдают за действием, уже зная высокоуровневые цели актера (например, наблюдая, как дилер раздает карты). Однако мы предполагаем, что механизмы, поддерживающие оценку механических событий, связанных с завершением фаз действий, и механизмы, поддерживающие прогнозирование целей более высокого уровня, взаимодействуют динамически.То есть оценка механических событий последовательно генерируемых фаз действия, по-видимому, облегчает понимание целей более высокого уровня актера. В то же время предположения о намерениях актера предположительно формируют предсказания наблюдателей о механических событиях.

прогнозирование и оценка последствий действия

Абстрактное

Наблюдая за тем, как актер манипулирует объектами, наблюдатели, как и актер, естественно направляют свой взгляд на каждый объект по мере приближения руки и обычно удерживают взгляд на объекте до тех пор, пока рука не отойдет.Здесь мы исследовали функцию движений глаз наблюдателей, сосредоточив внимание на двух возможностях: (i) поведение взгляда наблюдателя возникает в результате процессов, участвующих в прогнозировании целевого объекта движения актера, и (ii) что такое поведение взгляда поддерживает оценка механических событий, возникающих в результате взаимодействия между рукой актера и объектами. Наблюдатели наблюдали, как актер потянулся к одному из двух представленных предметов и поднял его. Задача наблюдателей заключалась в том, чтобы либо предугадать целевой объект, либо оценить его вес.Упреждающее поведение взгляда, подобное тому, которое наблюдается при самостоятельном наблюдении за действием, было замечено в задаче оценки веса, которая требует оценки механических событий, связанных с подъемом, но не в задаче прогнозирования цели. Мы утверждаем, что важной функцией поведения взгляда при самостоятельном наблюдении за действиями является оценка механических событий, связанных с взаимодействием между рукой и объектом. Сравнивая предсказанные и фактические механические события, наблюдатели, как и действующие лица, могут получить знания о мире, в том числе информацию об объектах, на которые они могут впоследствии воздействовать.

Ключевые слова: поведение взгляда, действие – наблюдение, манипулирование объектами

1. Введение

Планирование и управление задачами манипуляции сосредоточено на механических событиях, которые отмечают переходы между последовательными фазами действия и представляют подцели общей задачи. Например, при подъеме контакт между цифрами и объектом означает завершение фазы подъема, а разрыв контакта между объектом и поверхностью отмечает завершение фазы подъема.Сравнивая прогнозируемые и фактические сенсорные сигналы, связанные с этими событиями, субъекты могут запускать корректирующие действия, если возникает несоответствие, и подтверждать или обновлять гипотезы о мире, такие как гипотезы о весах объектов [1,2]. Сенсомоторные представления, лежащие в основе задач манипуляции, включают спецификации движений глаз для конкретных задач и использования зрения [3,4]. Таким образом, актеры направляют свой взгляд на пространственные цели разворачивающейся задачи (например, объект, который нужно поднять) и часто удерживают взгляд в этих местах до тех пор, пока подзада не будет достигнута (например,грамм. объект поднимается), так что события, связанные с результатами фазы действия, могут отслеживаться центральным зрением [5,6].

Когда люди наблюдают за задачами манипуляции, их взгляд похож на поведение актера [6–9]. Например, наблюдая, как актер берет и заменяет серию объектов, наблюдатели направляют свой взгляд на каждый объект до того, как подойдет рука актера, и не отрывают взгляда от объекта, пока рука не отойдет к следующему объекту [9]. Это сходство, по-видимому, поддерживает идею о том, что наблюдатели реализуют в реальном времени сенсомоторные представления наблюдаемой задачи [6,10–13].Однако функциональная роль движений глаз наблюдателей остается неясной. Целью данной статьи является исследование функции поведения взгляда, естественным образом порождаемого наблюдателями за манипуляционными задачами. Мы сосредотачиваемся на двух предполагаемых функциях. Во-первых, поведение взгляда наблюдателя проистекает из процессов, участвующих в прогнозировании цели движения актера (то есть того, каким объектом актер намеревается манипулировать), что связано с движением, выбранным актером [7,13,14] . Во-вторых, наблюдатели направляют свой взгляд на объекты, которыми манипулируют, чтобы они могли оценивать сенсорные события, связанные с механическими взаимодействиями между рукой актера и объектом, события, которые связаны с завершением или результатом каждой фазы действия актера [ 9,15].

Сначала участники завершили блок испытаний, в котором они просто наблюдали, как актер дотянулся до любого из двух объектов-кандидатов и поднял их. После этого условия с естественным или самостоятельным действием-наблюдением участникам было дано конкретное задание, которое они должны выполнить, наблюдая за тем, как актер выполняет те же движения. Одна группа выполнила задачу прогнозирования цели, в которой их попросили указать как можно раньше во время действия разворачивания, какой объект актер схватит и поднимет.Другая группа выполнила задание по оценке веса, в котором их попросили оценить вес объекта, что включает оценку механического взаимодействия между рукой актера и объектом. Если основной функцией поведения взгляда наблюдателя при самостоятельном действии-наблюдении является прогнозирование целей движения актера, движения глаз в задаче прогнозирования цели должны быть аналогичны тем, которые наблюдаются в самостоятельном действии-наблюдении. И наоборот, если основной функцией является оценка механических событий, связанных с взаимодействиями между рукой актера и объектами, поведение взгляда в задаче оценки веса должно быть аналогично тому, которое наблюдается в самостоятельном наблюдении за действием.

2. Материалы и методы

(a) Субъекты

Шестнадцать участников приняли участие после предоставления информированного письменного согласия. Семь женщин и трое мужчин участвовали в эксперименте по прогнозированию целей, а четыре женщины и двое мужчин участвовали в эксперименте по оценке веса. Участники, получившие оплату за участие, были студентами и аспирантами с нормальным зрением. Совет по этике местного университета одобрил эксперименты, которые соответствуют Хельсинкской декларации.

(b) Оборудование

Участники сидели, упершись лбом в закрепленную повязку. Небольшая прикусная планка еще больше уменьшила движения головы. Устройство слежения за глазами (RK-726PCI, ISCAN Inc., Берлингтон, штат Вирджиния, США), установленное на раме под оголовьем, регистрировало положение взгляда правого глаза участника на 240 выборках с ⁻¹ в заданной работе. плоскость, которая соответствовала коронарной плоскости, расположенной в 100 см перед глазами ( a ). Процедура калибровки взгляда описана в [16].Два небольших датчика положения / угла (FASTRAK, Polhemus, Colchester, VT, USA), прикрепленные к ногтям указательного и большого пальца, регистрировали положение руки актера с частотой дискретизации 120 отсчетов с ⁻¹ .

Экспериментальная установка. ( a ) Наблюдатели наблюдали за актером со стороны. Во всех испытаниях актер сначала взял и заменил начальный блок, а затем поднял и заменил ближний или дальний блок, прежде чем вернуть руку в показанное начальное положение.Черные квадраты показывают расположение блоков. Записывали положение взгляда наблюдателя и положение кончиков указательного и большого пальца актера. ( b ) Устройство, используемое для управления эффективными весами ближнего и дальнего блоков в задаче оценки веса. Линейный двигатель с компьютерным управлением использовался для размещения пары тележек вдоль параллельно вращающихся стержней, прикрепленных с помощью струны, проходящей через шкивы, к крюкам, расположенным в центре блоков. Показаны одиночная штанга, тележка и блок.

В задаче прогнозирования цели и соответствующем ей условии самостоятельного действия – наблюдения три деревянных блока (кубики высотой 2 см), расположенные в рабочей плоскости, были размещены на горизонтальной поверхности, расположенной перед актером. Сюда входили стартовый блок, ближний блок и дальний блок, центры которых находились на расстоянии 25, 40 и 50 см соответственно от туловища актера. В задаче оценки веса и соответствующем ей условии самостоятельного действия-наблюдения начальный, ближний и дальний блоки располагались на расстоянии 25, 40 и 60 см от туловища.Стартовый блок представлял собой сплошной куб (высота 3,5 см), состоящий из непрозрачного черного полиоксиметиленового пластика Delrin. Блоки-мишени состояли из оболочек делрина (полые кубики высотой 5 см с открытым дном) с ручками сверху ( b ), оснащенными датчиками силы-момента (Nano 17 F / T, ATI Industrial Automation, Гарнер, Северная Каролина, США). ), что позволило нам измерить силы, прилагаемые рукой актера при подъеме. Для установки эффективных весов ближнего и дальнего блоков мы использовали систему линейного двигателя ( b ).(Обратите внимание, что мы использовали немного разные местоположения блоков в эксперименте по оценке веса, который проводился после эксперимента по прогнозированию цели, потому что мы воспользовались преимуществами ранее существовавших отверстий в верхней части стола, через которые проходили веревки, прикрепленные к объектам; b ). И актер, и наблюдатель были в наушниках и слушали розовый шум, так что не могли слышать движение линейного двигателя. Линейный двигатель перемещался при каждом испытании, даже если вес не менялся.

(c) Процедура

Действующим лицом был один человек, наивный в отношении исследовательских гипотез.Его попросили выполнить задание с комфортной скоростью и быть последовательным. Перед началом испытания актер положил правое предплечье на стол, положив руку на правую сторону рядом со стартовым блоком ( a ). В начале каждого испытания актер взял и заменил (в том же месте) начальный блок, а затем взял и заменил (снова в том же месте) либо ближний блок, либо дальний блок, прежде чем вернуть руку остальной части. позиция. Блоки поднимались над столом примерно на 10 см.Актер схватился за блоки (или ручки, прикрепленные к блокам) сверху и касался ближней и дальней стороны (с его точки зрения) дистальными подушечками большого и указательного пальцев соответственно. Визуальная подсказка, видимая актеру в начале каждого испытания, но не наблюдателю, инструктировала актера о том, какой целевой блок нужно поднять. Начало этой реплики также послужило сигналом к ​​выходу.

В испытаниях самостоятельного действия и наблюдения участников просили просто наблюдать за актером. Как в задаче прогнозирования цели, так и в задаче оценки веса участники держали в каждой руке стержень, снабженный кнопкой, на которую можно было нажимать большим пальцем.В задаче прогнозирования цели участникам было поручено как можно быстрее нажать правую или левую кнопку, чтобы указать, собирается ли актер подобрать ближний или дальний блок соответственно. Таким образом, было пространственное соответствие между кнопкой ответа и местоположением прогнозируемого целевого блока. В задаче оценки веса участникам сказали, что при случайных испытаниях целевой блок (ближний или дальний) будет вдвое тяжелее и что актер не будет знать, когда эти испытания произойдут.Участникам было предложено нажать левую или правую кнопку как можно быстрее, чтобы указать, был ли блок-мишень, поднятый актером, тяжелым или стандартным весом, соответственно. Никаких инструкций о том, где искать, не было дано ни в одном из заданий.

Для каждого участника задача прогнозирования цели включала 30 попыток, которые были выполнены после 30 попыток самостоятельного действия-наблюдения. Задача оценки веса включала 56 испытаний, которые также были выполнены после 30 попыток самостоятельного действия-наблюдения.Во всех условиях порядок исследований ближней и дальней цели был рандомизирован. В задаче оценки веса было четыре непредсказуемых испытания тяжелого веса (по два для каждого целевого объекта), разделенных 10–18 попытками.

(d) Анализ данных

Положения рук и взгляда были сглажены с использованием низкочастотного фильтра Баттерворта четвертого порядка с частотами отсечки 14 и 25 Гц соответственно. Мы использовали скорость движений рук и глаз в рабочей плоскости, чтобы определить время начала и смещения движений рук актера между блоками и саккадами, совершаемыми наблюдателями.Для движений рук и саккад мы использовали пороги 0,1 и 1,0 мс ^–1 соответственно. Среднее положение датчиков положения большого и указательного пальцев определяло положение руки. Считалось, что отрыв блока произошел, когда вертикальная скорость руки превысила 0,1 м с ⁻¹ . В задаче прогнозирования цели и соответствующем ей условии самостоятельного действия-наблюдения мы определили время, когда рука актера коснулась блока, на основе скорости изменения отверстия для захвата, расстояния между положениями большого и указательного пальцев.Контакт считался произошедшим, когда абсолютная скорость изменения упала ниже 0,05 м с ^-1 . В задаче оценки веса и соответствующем ей условии самостоятельного действия-наблюдения время, когда рука актера касалась ближнего и дальнего блоков, определялось по силам, приложенным к датчикам силы. Считалось, что контакт произошел, когда сила на любом датчике превышала 0,1 Н. Для построения траектории взгляда (рисунки и) к нему применялся фильтр нижних частот Баттерворта четвертого порядка с частотой среза 14 Гц. необработанные сигналы положения взгляда, в отличие от частоты среза 25 Гц, используемой для анализа данных.

Поведение взгляда в задаче прогнозирования цели и соответствующее условие самостоятельного действия – наблюдения. ( a , b ) Взгляд и движение рук в периоды фиксации и отслеживания (т. Е. Исключая саккады) в плоскости движения с точки зрения наблюдателя. Данные всех испытаний всех участников накладываются друг на друга. Для каждого испытания отображаются данные с момента замены стартового блока, непосредственно перед началом движения руки от стартового блока, до смещения движения руки к целевому блоку.Отдельные графики показаны для движений рук от начального блока к (i) ближней и (ii) дальней цели. Пути взгляда окрашены в красный, синий или зеленый цвет в зависимости от того, относятся ли они к испытаниям саккад, трекинга или фиксации, соответственно, а пути рук окрашены в серый цвет. ( c , d ) Процент попыток саккад, трекинга и фиксации на одного участника в задачах действие – наблюдение ( c ) и прогнозирование цели ( d ).

Поведение взгляда в задаче оценки веса и соответствующее условие самостоятельного действия – наблюдения.( a , b ) Взгляд и движение рук в периоды фиксации и отслеживания (т. Е. Исключая саккады) в плоскости движения с точки зрения наблюдателя. Показаны данные всех испытаний всех участников. Для каждого испытания отображаются данные с момента замены стартового блока, непосредственно перед началом движения руки от стартового блока, до смещения движения руки к целевому блоку. Отдельные графики показаны для движений рук от начального блока к (i) ближней и (ii) дальней цели.Пути взгляда окрашены в красный или зеленый цвет в зависимости от того, относятся ли они к испытаниям саккад или фиксации, соответственно, а пути рук окрашены в серый цвет. (Никаких испытаний с отслеживанием не наблюдалось.) Хотя стартовый блок был зафиксирован почти во всех испытаниях, некоторые фиксации не показаны на рисунке, потому что взгляд смещается от стартового блока до того, как стартовый блок был заменен. ( c , d ) Вертикальное положение руки (серый) и взгляда (красный) в зависимости от времени во время подъема и замены целевого блока при оценке веса ( c ) и самостоятельном действии наблюдение ( d ) задач.Постоянные изменения вертикального положения взгляда во время периодов фиксации указывают на то, что взгляд имел тенденцию отслеживать подъемную силу актера и заменять движение. Данные всех испытаний саккад, в которых дальний блок был целью и весил 3 Н, показаны для репрезентативного участника. Обратите внимание, что в задаче оценки веса было собрано большее количество таких испытаний, чем в соответствующем условии самостоятельного действия-наблюдения. Для каждого испытания отображаются данные за период времени, в течение которого сила захвата актера превышала 0.5 Н, с дополнительными 50 мс до и после.

В данном испытании поведение взгляда было классифицировано как саккадическое, если оно состояло из саккад и фиксаций во время движения актера по направлению к целевому блоку. Поведение взгляда классифицировалось как фиксация, если участники фиксировали одно место на протяжении всего движения. Во время такой фиксации точное положение взгляда могло дрейфовать (см. Зеленые следы на диаграмме b , каждая из которых показывает положение взгляда во время одной попытки фиксации), и иногда могли возникать очень маленькие саккады.Однако больших саккад между блоками, как видно из испытаний саккад, не наблюдалось. Наконец, поведение взгляда классифицировалось как отслеживание, если отслеживание взгляда наблюдалось более 60% продолжительности движения досягаемости. Испытания по отслеживанию могут включать в себя догоняющие саккады в дополнение к движению глаз преследования. Взгляд считался отслеживающим, когда скорость взгляда превышала 1,0 м / с ^-1 в отсутствие обнаруженной саккады. Когда наблюдалось отслеживание взгляда, взгляд отслеживал движущуюся руку актера ( b ).В целом, было замечено очень четкое различие между саккадическими и трекинговыми испытаниями. В испытаниях слежения процент продолжительности движения руки, в течение которого взгляд отслеживал руку, составлял в среднем 91,7% (стандартное отклонение = 7,8%). Напротив, в испытаниях саккад наблюдалось очень мало периодов отслеживания (рисунки a , b и a , b ). Повторные измерения ANOVA использовались для сравнения различных измерений в разных условиях, и уровень α 0,05 считался значимым. Наконец, поведение взгляда было проанализировано только в испытаниях, в которых были получены хорошие записи взгляда.Это включало 92,5% всех исследований.

3. Результаты

(a) Задача прогнозирования цели

В задаче прогнозирования цели и соответствующем условии самостоятельного действия – наблюдения участники наблюдали сбоку за актером, поднимающим деревянные блоки, расположенные в средней сагиттальной части актера. самолет ( а ). В каждом испытании актер сначала поднимал и заменял ближайший к нему стартовый блок, а затем поднимал и заменял один из других блоков (ближний или дальний) перед тем, как вернуть руку в исходное положение рядом со стартовым блоком.В начале каждого испытания актеру предлагали выбрать ближний или дальний блок. Порядок испытаний, в которых снимался ближний или дальний блок, был рандомизирован. После завершения 30 испытаний, включающих самостоятельное действие-наблюдение без каких-либо конкретных инструкций, участники выполнили 30 испытаний задачи прогнозирования цели, в которой их попросили как можно скорее указать, возьмёт ли актер ближний или дальний блок. нажимая кнопки в правой или левой руке соответственно.Мы попросили быстрого ответа, потому что мы хотели определить поведение взгляда, связанное с предсказанием, а не просто сообщением о цели актера, и потому что предсказание цели во время естественного действия — наблюдение происходит быстро [9].

Производительность актера была аналогичной в задаче прогнозирования цели и соответствующем условии самостоятельного действия-наблюдения, что оценивается по продолжительности движения руки от начального блока к целевому блоку и максимальному вертикальному смещению руки во время этого движение.Продолжительность движения руки была больше ( F ₁ , ₉ = 325, p <0,001) для дальнего блока (618 ± 19 мс; среднее ± стандартное отклонение), чем для ближнего блока (465 ± 10 мс), но не было никакого эффекта задачи и никакого взаимодействия ( p > 0,05 в обоих случаях). Аналогично, максимальное вертикальное смещение руки было больше ( F _1,9 = 368; p <0,001) для дальнего блока (7,1 ± 0,2 см), чем для ближнего блока (4,7 ± 0,1 см), но не было никакого эффекта задачи и никакого взаимодействия ( p > 0.05 в обоих случаях).

В зависимости от поведения взгляда наблюдателя мы классифицировали каждое испытание как саккадическое, фиксационное или отслеживающее, и при классификации испытаний было мало двусмысленности (см. § 2). Во время самостоятельного наблюдения-действия подавляющее большинство испытаний были саккадическими (см. и , где показаны все данные от всех участников). Наблюдалось небольшое количество отслеживающих испытаний, и один из девяти участников провел почти все эти испытания ( c ). Поведение взгляда в испытаниях саккад было аналогично тому, которое наблюдалось в предыдущем исследовании с использованием аналогичной задачи [9].Сначала участники устремили взгляд на стартовый блок перед рукой актера, приближавшейся к блоку. Независимо от того, был ли ближний или дальний блок целью, в большинстве саккадических испытаний (91,7%) взгляд затем перемещался на ближний блок вскоре после того, как рука актера начала отходить от начального блока после его замены ( 93 ± 14 мс). Когда ближний блок был целью актера, взгляд оставался на ближнем блоке до тех пор, пока не подошла рука, тогда как когда дальний блок был целью, участники совершали вторую саккаду, которая переводила взгляд на дальний блок перед прибытием руки актера.Вторая саккада началась, когда рука актера переместилась на 4,6 ± 0,9 см за ближний блок в горизонтальном ( x ) направлении, что произошло через 405 ± 13 мс после начала движения руки актера от стартового блока. В случайных саккадических испытаниях, в которых взгляд перемещался от начального блока к дальнему, взгляд оставался там, когда дальний блок был целью, но перемещался на ближний блок, перед рукой, когда ближний блок был целью. В целом, эти результаты согласуются с предыдущими результатами, показывающими, что при простом наблюдении за задачами манипулирования блоками люди совершают предсказательные саккады для задействованных объектов и редко отслеживают движущуюся руку [6,7,9,17].

Напротив, в задаче прогнозирования цели было множество испытаний фиксации и отслеживания в дополнение к испытаниям саккад (см. b , где показаны данные всех испытаний от всех участников). Восемь участников в основном проводили испытания с фиксацией (пять) или трекингом (три), тогда как два участника в основном проводили саккадические испытания ( d ). Расположение одиночной фиксации в испытаниях фиксации обычно было близко к одному из блоков и чаще всего близко к ближнему блоку.В испытаниях по отслеживанию в среднем взгляд отслеживал руку на протяжении 91,7% (стандартное отклонение = 7,8%) продолжительности движения руки. У разных участников соотношение попыток саккад, трекинга и фиксации во время задачи прогнозирования цели (26: 31: 43) явно отличалось ( χ ₂ = 93,0; p <0,001) от соответствующего соотношения во время самостоятельной работы. -управляемое действие – наблюдение (92: 7: 1).

Участники точно предсказали целевой блок в 90% испытаний в целевой задаче прогнозирования.Этот показатель успеха не зависел от местоположения (ближнего или дальнего) целевого блока ( F _1,9 = 2,08; p = 0,18). Время правильного нажатия кнопки относительно начала движения руки актера от стартового блока составляло 422 ± 30 мс и не зависело от расположения целевого блока ( F _1,9 = 0,72; p = 0,42). Когда целью был ближний блок, правильные нажатия кнопок происходили, когда рука актера находилась на 1,2 ± 0,8 см впереди ближнего блока в горизонтальном ( x ) направлении.Когда дальний блок был целью, рука актера находилась на 4,7 ± 1,3 см от ближнего блока по горизонтали. Ни процент успешных прогнозов ( χ ₂ = 0,04; p = 0,98), ни время нажатия кнопок ( F _2,562 = 0,58; p = 0,56) не зависели от поведения взгляда в соответствии с категорией с точки зрения испытаний саккад, фиксации и отслеживания (данные были объединены по участникам, потому что не все участники демонстрировали все виды поведения взгляда).

(b) Задача оценки веса

После завершения 30 испытаний, включающих самостоятельное действие-наблюдение, участники выполнили 56 попыток задачи оценки веса, в которой их попросили указать, как можно скорее, поднялся ли целевой блок актер был стандартным или тяжелым, нажимая кнопки в правой или левой руке соответственно. И актер, и наблюдатель носили звуконепроницаемые наушники и не могли ни видеть, ни слышать систему линейных двигателей.Ручки, оснащенные датчиками силы, были установлены на верхней части ближнего и дальнего блоков и измеряли силы, прилагаемые большим и указательным пальцами актера (рисунки b, и). В задаче оценки веса целевой блок весил 3 Н при стандартных испытаниях с отягощениями, а в отдельных испытаниях с тяжелым весом (одно из 14 случайно выбранных испытаний) вес удваивался до 6 Н. В соответствующих условиях самостоятельного действия и наблюдения , вес был установлен на 3 Н, чтобы гарантировать, что это условие представляет собой естественное действие-наблюдение, лишенное возможных влияний неожиданных событий.

Движения руки актера, оцениваемые по продолжительности движения руки от начального блока к целевому блоку и максимальному вертикальному смещению руки во время этого движения, были аналогичны в задаче оценки веса и соответствующем самостоятельном действии. –Условие наблюдения. Продолжительность движения руки была больше ( F _1,5 = 2178, p <0,001) для дальнего блока (578 ± 7 мс), чем для ближнего (363 ± 4 мс), но эффекта не было. задачи и отсутствия взаимодействия ( p > 0.05 в обоих случаях). Аналогично, максимальное вертикальное смещение руки было больше ( F _1,5 = 713; p <0,001) для дальнего блока (13,8 ± 0,4 см), чем для ближнего блока (8,9 ± 0,2 см), но там не было никакого эффекта задачи и никакого взаимодействия ( p > 0,05 в обоих случаях). Мы также сравнили подъемную силу и замещающие движения актера целевого объекта в 3 N попытках задачи оценки веса и в соответствующем условии самостоятельного действия-наблюдения. Максимальная высота подъемника была немного больше ( F _1,5 = 38.9; p = 0,002) для дальнего блока (9,07 ± 0,21 см), чем для ближнего (8,63 ± 0,22 см), но не было никакого эффекта задачи и взаимодействия ( p > 0,05 в обоих случаях). Продолжительность контакта актера с целевым блоком, определяемая как период времени, в течение которого сила захвата превышала 0,5 Н, составляла в среднем 695 ± 16 мс. ANOVA не смог выявить эффект целевого блока или задачи, и не было никакого взаимодействия ( p > 0,05 во всех трех случаях).

Как в задаче оценки веса ( b ), так и в соответствующем условии самостоятельного действия-наблюдения ( a ), поведение взгляда было очень похоже на то, которое ранее наблюдалось во время естественного или самостоятельного действия-наблюдения [6, 9] (см. Также и ).(Обратите внимание, что a , b показывают данные всех испытаний всех участников.) То есть подавляющее большинство испытаний в обеих задачах были испытаниями саккад. Никаких отслеживающих испытаний не наблюдалось, и менее 2,5% испытаний были испытаниями фиксации в обеих задачах. Взгляд переместился с начального блока на ближний блок перед рукой в ​​87% и 90% испытаний во время самостоятельного действия-наблюдения и задачи оценки веса, соответственно. Когда дальний блок был целью, взгляд неизбежно переводился на дальний блок, снова оказываясь перед рукой.

Во время задачи оценки веса взгляд переместился от начального блока (в ближний или дальний) раньше, чем во время самостоятельного действия-наблюдения ( F _1,5 = 24,24; p = 0,004 ). В частности, взгляд сместился от начального блока 621 ± 116 мс и 111 ± 101 мс до того, как рука начала отходить от начального блока в задаче оценки веса и во время самостоятельного действия-наблюдения, соответственно. Не было эффекта от целевого блока ( F _1,5 = 5.23; p = 0,071) и отсутствие взаимодействия между задачей и целевым блоком ( F _1,5 = 0,006; p = 0,943) во время этого смещения взгляда. Хотя взгляд смещался с начального блока раньше в задаче оценки веса, чем во время самостоятельного действия-наблюдения, в задаче оценки веса участники по-прежнему фиксировали стартовый блок до тех пор, пока актер не поднял его с опорной поверхности.

В среднем наблюдатели нажимали кнопку через 385 ± 48 мс после того, как актер впервые коснулся целевого блока, и на этот раз между ближним и дальним блоками существенных различий не было ( p > 0.05). Таким образом, нажатие кнопки почти всегда происходило во время движения подъема и замены и задолго до того, как актер отпустил блок. Очень последовательное поведение взгляда наблюдалось во время подъема и замены движения как в задаче оценки веса, так и в соответствующем условии самостоятельного действия-наблюдения. В частности, взгляд продолжал быть направлен к местоположению целевого блока в течение всего движения подъема и замены, и наблюдалась тенденция к перемещению взгляда вверх и вниз с вертикальным движением целевого блока ( c , d ).Однако амплитуда движения взгляда во время движения подъема и замены обычно была меньше амплитуды движения блока. Небольшие саккады также наблюдались во время движения подъема и замещения, происходящего примерно в 30% всех испытаний как в условиях самостоятельного действия-наблюдения, так и в задаче оценки веса (см. Прерывистые кривые в c , d ).

Как и ожидалось, период от момента, когда актер коснулся целевого блока до момента, когда он оторвался от опорной поверхности, был значительно дольше ( F _1,5 = 210; p <0.001) в испытаниях с тяжелым весом (596 ± 37 мс) по сравнению со стандартными испытаниями с отягощениями (228 ± 12 мс) [18–20]. Кроме того, максимальная высота подъемника была меньше ( F _1,5 = 70,2; p <0,001) в испытаниях с тяжелым весом (6,82 ± 0,36 см), чем в испытаниях со стандартным весом (9,06 ± 0,24 см). . В соответствии с предыдущими результатами [21–24], все участники могли использовать визуальную информацию, связанную с подъемом, такую ​​как время между контактом и подъемом, высоту и скорость подъема и даже форму руки, чтобы судить о весе объекта.В частности, участники правильно оценили блок как тяжелый во всех испытаниях с тяжелым весом и правильно оценили блок как стандартный вес в 76 ± 8% испытаний со стандартным весом. Большинство испытаний, в которых участники ошибочно считали стандартный вес тяжелым, проводились до первого испытания с тяжелым весом. В дополнительном эксперименте, о котором здесь не сообщается, новая группа участников выполнила задачу оценки веса, в которой соотношение света (т.е. стандарт), а испытания с тяжелым весом составляли 1: 1. Поведение взгляда, наблюдаемое в этой задаче оценки веса 1: 1, было поразительно похоже на то, что наблюдалось в задаче оценки веса, о которой говорилось выше. Более того, участники правильно оценили вес целевого блока в более чем 90% испытаний.

4. Обсуждение

Прогнозирование последствий действия является фундаментальной составляющей сенсомоторного управления [25,26]. В задачах манипуляции прогнозирование сенсорных событий, связанных с механическими событиями, отмечающими завершение этапов действия, таких как цифры, соприкасающиеся с объектом и отрывание объекта во время задач подъема, особенно важно для ловкого управления.Сравнивая прогнозируемые и фактические сенсорные события, в том числе тактильные, визуальные и слуховые события, участники могут отслеживать ход выполнения задачи, запускать соответствующие корректирующие действия в случае несоответствия и подтверждать или обновлять гипотезы, связанные с задачей, включая гипотезы о весах объектов, которыми манипулируют [ 1,2]. Например, при подъеме предметов люди увеличивают силу вертикальной нагрузки до целевого уровня, соответствующего ожидаемому весу, и прогнозируют, когда они получат сенсорную обратную связь, указывающую на отрыв.Если объект тяжелее ожидаемого, то он не отрывается в ожидаемое время, и результирующее несоответствие между прогнозируемыми и фактическими сенсорными событиями запускает корректирующее действие, которое включает определение увеличения силы нагрузки [18]. Это несоответствие также обновляет ожидания относительно веса объекта, так что при последующем подъеме увеличение силы нагрузки более точно направляется на правильный вес [18–20].

Во время задач манипулирования объектами актеры обычно направляют свой взгляд на пространственные цели фаз действия, такие как объект, который нужно схватить и поднять, или место, где объект будет помещен [3,6,16,27].Такое поведение взгляда помогает направить руку к цели [28–30], а также позволяет отслеживать в центральном видении механические события, которые представляют цели фаз действия [4,5,31,32]. Мы предполагаем, что аналогичные движения глаз, производимые наблюдателями за манипуляционными задачами [6–9,17,33,34], также служат для отслеживания в центральном зрении механических событий, которые отмечают завершение фаз действия, и что это связано с нейронными процессами. напоминающие те, которые используются для предсказания и оценки этих событий во время действия.Когда участников явно просили оценить вес целевого блока, что включает сравнение прогнозируемой и фактической сенсорной информации, связанной с подъемом, они активно направили свой взгляд на блоки, как при самостоятельном наблюдении за действием. Напротив, когда явно просили предсказать, какой блок снимет актер, большинство участников фиксировали одно место или отслеживали руку актера. Это указывает на то, что прогнозирование цели не требует создания упреждающих движений глаз.Конечно, поскольку для упреждающих движений глаз требуется прогнозирование цели, такое прогнозирование является частью самостоятельного наблюдения за действием. Однако обратное неверно; Наши результаты показывают, что наблюдатели не производят этого взгляда, чтобы предсказать цель.

Наши результаты показывают, что в задаче прогнозирования цели наблюдатели не реализуют сенсомоторные представления, которые полностью имитируют задачу, выполняемую действующим лицом. Если бы наблюдатели реализовали такие представления в задаче прогнозирования цели, можно было бы ожидать проактивных движений глаз, заданных этими представлениями [3,4].Вместо этого наши результаты, по-видимому, более согласуются с идеей о том, что в задаче прогнозирования цели наблюдатели полагались на процессы вывода, не связанные с полным моделированием действий [35].

Обнаружение того, что участники, как в задаче оценки веса, так и в самостоятельном наблюдении за действием, направили свой взгляд на каждый блок, обрабатываемый актером, включая начальный блок, предполагает, что наблюдение за действием включает в себя побуждение контролировать все доступное поведение. других. Постоянно прогнозируя и оценивая механические события, связанные с завершением этапов действия, наблюдатели могут откалибровать производительность актера.Это, в свою очередь, поддерживает качество знаний, которые наблюдатели могут получить о состоянии мира, включая информацию о свойствах объектов в окружающей среде. Например, отслеживая, как быстро и насколько высоко актер поднимает объекты в целом, наблюдатель может более надежно определять, когда конкретный объект тяжелее или легче, чем ожидал актер.

Было предложено, чтобы акторы генерировали сенсорные прогнозы на основе эфферентной копии двигательных команд, которая передается через внутреннюю прямую модель управляемой системы, которая включает тело и объекты в среде, с которой тело взаимодействует [25] .Подобный процесс может лежать в основе генерации определенных сенсорных прогнозов у ​​наблюдателей. То есть наблюдатель может скрыто моделировать моторные команды наблюдаемого действия и передавать эффективную копию этих команд через прямую модель управляемой системы [36–38]. Эта идея в целом согласуется с результатами многочисленных исследований, показывающих, что сенсомоторные области, активируемые при выполнении задач действия, также задействуются при выполнении тех же задач [11,12,14]. Например, просмотр видео, на котором актер поднимает объект, увеличивает возбудимость представления мышц, участвующих в подъеме, в моторной коре головного мозга, и это увеличивает масштабы с требуемой силой (т.е. вес объекта) [24,39].

Недавно Кэннон и Вудворд [40] сообщили, что требование, чтобы участники выполняли задачу последовательного постукивания пальцами, наблюдая, как актер выполняет задачу манипулирования объектами, по-видимому, нарушает обычно наблюдаемое предсказательное поведение взгляда [7]. Это поднимает вопрос, могло ли в задаче прогнозирования цели подготовить и выполнить нажатие кнопки во время движения актера, чтобы вмешаться в поведение взгляда участников, что привело к отслеживанию взгляда в отличие от упреждающих саккад.Хотя мы не можем исключить эту возможность, мы хотели бы подчеркнуть, что участники также должны были выполнять нажатие кнопки в задаче оценки веса и все же демонстрировали активные саккады. Более того, поведение отслеживания взгляда, наблюдаемое в задаче прогнозирования цели, было инициировано задолго до того, как участники нажали кнопку, указывающую, какой блок был целью.

В этом исследовании мы рассмотрели две возможные функции движений глаз наблюдателей при наблюдении за задачами манипуляции: прогнозирование целевых объектов действия актера и оценка механических событий, связанных с взаимодействиями между рукой актера и объектами.Третья возможная функция, которую мы сознательно не рассматривали, связана со способностью понимать или делать выводы о целях или намерениях других более высокого уровня посредством наблюдения за их действиями [13,14]. Действительно, мы разработали эксперименты, чтобы минимизировать этот компонент, и отметили, что существует множество естественных ситуаций, в которых наблюдатели наблюдают за действием, уже зная высокоуровневые цели актера (например, наблюдая, как дилер раздает карты). Однако мы предполагаем, что механизмы, поддерживающие оценку механических событий, связанных с завершением фаз действий, и механизмы, поддерживающие прогнозирование целей более высокого уровня, взаимодействуют динамически.То есть оценка механических событий последовательно генерируемых фаз действия, по-видимому, облегчает понимание целей более высокого уровня актера. В то же время предположения о намерениях актера предположительно формируют предсказания наблюдателей о механических событиях.

Манипуляции взглядом

Frontiers | Использование трехмерного отслеживания взгляда для распознавания действий во время бимануального манипулирования для улучшения взаимодействия человека и робота

Введение

Распознавание движения человека может оказать значительное влияние на ряд областей, включая вспомогательную робототехнику, взаимодействие человека с роботом и автономные системы мониторинга.В домашних условиях распознавание инструментальных действий повседневной жизни (iADL) может позволить вспомогательному роботу выявлять намерения человека и более эффективно взаимодействовать с людьми, а также снижать когнитивную нагрузку на пользователя. Установленный на инвалидной коляске робот с такими возможностями может повысить функциональную независимость инвалидов-колясочников с нарушениями верхних конечностей (Argall, 2015). Во время бимануальных iADL люди в значительной степени полагаются на зрение для упреждающего сбора актуальной визуальной информации для планирования (Johansson et al., 2001). Например, релевантная для задачи информация для манипуляции может включать в себя трехмерное (3D) местоположение объекта, а также его свойства, связанные со структурой и веществом, такие как форма и вес, соответственно (Lederman and Klatzky, 1987). Саккады обычно предшествуют движениям тела (Land et al., 1999) и отражают стратегию успешного выполнения задачи.

Взаимосвязь между человеческим зрением, планированием и намерением вдохновила робототехников принять аналогичные принципы, основанные на видении, для планирования движений роботов и использовать отслеживание взгляда человека для интуитивного управления роботизированными системами.Например, данные о фиксации взгляда, собранные во время навигации человека по каменистой местности, использовались для стимулирования контроля над двуногими роботами, в частности, для идентификации и выбора мест размещения ног во время пересечения пересеченной местности (Kanoulas and Vona, 2014). Данные слежения за глазами человека также использовались в замкнутом контуре управления роботизированными руками. Недавно Ли и др. (2017) продемонстрировали, как можно использовать трехмерное отслеживание взгляда, чтобы люди с ограниченными физическими возможностями могли интуитивно управлять роботизированной рукой.Отходя от традиционных подходов к отслеживанию взгляда, которые используют двумерные (2D) эгоцентрические видео с камеры, Ли и др. представлены методы оценки местоположения и позы объекта по точкам взгляда, реконструированным в 3D. Модель зрительно-моторного захвата была обучена по местоположению взгляда в 3D вместе с конфигурациями захвата, продемонстрированными здоровыми испытуемыми. Затем модель использовалась для планирования захвата робота, управляемого человеческим трехмерным взглядом.

В этой работе мы рассматриваем, как движения человеческого глаза и поведение взгляда могут кодировать намерение и могут использоваться для информирования или управления роботизированной системой для выполнения бимануальных задач.В отличие от повторяющихся движений всего тела, таких как ходьба и бег, iADL может быть сложной задачей для автономных систем распознавания по нескольким причинам. Например, человеческое движение, связанное с iADL, не всегда повторяется, часто происходит в неструктурированной среде и может подвергаться многочисленным визуальным искажениям объектами, которыми манипулируют, а также частями человеческого тела. Предыдущие исследования по распознаванию iADL часто применяли подходы, основанные на компьютерном зрении, к изображениям и видео, снятым с помощью эгоцентрических камер, которые носят люди.Методы предварительной обработки видео обычно состоят из сначала вычитания переднего плана, а затем обнаружения человеческих рук, областей визуального интереса и объектов, которыми манипулируют (Yi and Ballard, 2009; Fathi et al., 2011, 2012; Behera et al., 2014; Nguyen et al. др., 2016).

Было представлено множество методов извлечения признаков для использования в классификаторах машинного обучения. В некоторых исследованиях использовались отношения рука-рука, рука-объект и / или объект-объект (Yu and Ballard, 2002; Fathi et al., 2011; Бехера и др., 2012). Состояние объекта (например, открытый или закрытый) использовалось как интересная особенность (Fathi and Rehg, 2013). В другом исследовании использовался метод, основанный на значимости, для оценки положения взгляда, идентификации «объекта взгляда» (объекта визуального восприятия) и распознавания действия (Matsuo et al., 2014). В других исследованиях в дополнение к эгоцентрическим камерам использовались айтрекеры; исследователи сообщили о значительном улучшении точности распознавания действий в результате дополнительной информации о точках взгляда (Yu and Ballard, 2002; Fathi et al., 2012).

В литературе фраза «карта значимости» использовалась для обозначения топографически организованной карты, которая представляет визуальную значимость соответствующей визуальной сцены (Itti et al., 1998). В этой работе мы будем называть «карты яркости взгляда» тепловыми картами, которые представляют поведение фиксации взгляда. Двумерные карты яркости взгляда эффективно использовались для изучения поведения взгляда при просмотре и имитации восприятия объектов на экране компьютера (Belardinelli et al., 2015). Belardinelli et al.показали, что фиксация взгляда распределяется по объектам во время планирования действий и может использоваться для прогнозирования намерений пользователя в отношении объекта (например, открытие или поднятие чайника). Хотя были представлены изображения объектов реального мира, испытуемым предлагалось только имитировать действия. Кроме того, поскольку такие двухмерные карты яркости взгляда были построены с учетом конкретной перспективы камеры, их нельзя легко обобщить на другие виды того же объекта. Одна из целей этой работы состояла в том, чтобы построить карты яркости взгляда в 3D, которые позволили бы анализировать поведение взгляда с различных точек зрения.Такие трехмерные карты яркости взгляда могут быть сопоставлены с трехмерными облаками точек, которые можно легко получить с помощью недорогого оборудования компьютерного зрения RGB-D, как это часто бывает в робототехнических приложениях. Кроме того, учитывая, что все задачи манипуляции выполняются в трех измерениях, трехмерные карты яркости взгляда могут позволить получить дополнительную информацию о поведении взгляда, управляемого действием. Хотя наши эксперименты проводились в искусственной лаборатории с использованием незагроможденной предметной сцены, эксперимент позволил испытуемым выполнять реальные физические манипуляции с объектом, а не только воображать или имитировать манипуляции, как в Belardinelli et al.(2015).

Основная цель этого исследования состояла в том, чтобы извлечь и тщательно оценить различные особенности поведения трехмерного взгляда, которые можно было бы использовать для распознавания действий человека в интересах сотрудничества человека и робота. Несмотря на все более широкое использование методов глубокого обучения для сквозного обучения и автономного выбора функций, в этой работе мы решили рассмотреть потенциальную ценность независимых функций, которые могут быть использованы для разработки алгоритмов распознавания действий в будущем. Таким образом, мы можем рассматривать физический смысл, вычислительные затраты и добавленную стоимость на индивидуальной основе.В разделе «Материалы и методы» мы описываем экспериментальный протокол, методы сегментации действий, анализа данных айтрекера и построения трехмерных векторов взгляда и карт яркости взгляда. В разделе «Результаты» мы сообщаем о тенденциях в характеристиках движения глаз и определяем «последовательность объектов взгляда». В разделе «Обсуждение» мы обсуждаем наблюдаемое поведение взгляда, а также возможности и практические аспекты использования карт яркости взгляда и последовательностей объектов взгляда для распознавания действий. Наконец, в разделе «Заключение» мы суммируем наш вклад и предлагаем дальнейшие направления.

Материалы и методы

Протокол эксперимента

Это исследование было проведено в соответствии с рекомендациями Институционального наблюдательного совета UCLA с письменного информированного согласия всех субъектов. Все субъекты дали письменное информированное согласие в соответствии с Хельсинкской декларацией. Протокол был одобрен Наблюдательным советом Калифорнийского университета в Лос-Анджелесе. Всего в исследовании приняли участие 11 человек (девять мужчин, две женщины; возраст 18–28 лет), предварительные результаты которого были впервые представлены в Haji Fathaliyan et al.(2017). Согласно оценке руки (Zhang, 2012), основанной на Эдинбургской инвентаризации рук (Oldfield, 1971), двое испытуемых были «чистыми правшами», семь испытуемых были «смешанными правшами» и два испытуемых были «нейтральными».

Субъекты были проинструктированы выполнять бимануальные задания, связанные с повседневными предметами и действиями. В этой работе мы сосредоточены на одной бимануальной задаче, включающей множество объектов и подзадач: приготовлении порошкового напитка. Чтобы изучить, как результаты этого исследования могут быть обобщены на другие задачи iADL, мы планируем применить аналогичный анализ к другим бимануальным задачам в будущем.Объекты для задачи приготовления напитка были выбраны из эталонного набора объектов Yale-CMU-Berkeley (YCB) (Calli et al., 2015b): кружка, ложка, кувшин и крышка кувшина. Действия, связанные с этими объектами, были: тянуться, поднимать, ставить, перемещать, перемешивать, зачерпывать, опускать, вставлять и выливать.

Субъектам было предложено повторить задание четыре раза с перерывом в 1 минуту между каждым испытанием. Объекты YCB были выложены и выровнены на столе (с регулировкой эргономической высоты для каждого объекта), как показано на рисунке 1.Экспериментальная установка была сброшена перед каждым новым испытанием. Испытуемым было предложено снять крышку кувшина, перемешать содержимое кувшина, в котором была только вода (представлялся порошковый напиток), и перелить напиток из кувшина в кружку двумя разными способами. Сначала три ложки напитка нужно было перелить из кувшина в кружку с помощью ложки. Во-вторых, крышка кувшина должна была быть закрыта, чтобы можно было переливать напиток из кувшина в кружку до тех пор, пока кружка не будет заполнена на две трети своей вместимости.Чтобы стандартизировать инструкции, предоставленные испытуемым, экспериментальная процедура была продемонстрирована через предварительно записанное видео.

Рисунок 1 . (A) Каждый испытуемый сидел в зоне захвата движения. Затемняющая штора использовалась, чтобы свести к минимуму отвлекающие факторы. (B) Подопытный носил прикрепленный к голове айтрекер. Маркеры захвата движения были прикреплены к объектам Yale-CMU-Berkeley, айтрекеру и верхним конечностям испытуемых.В каждом испытании использовался показанный макет объекта. (C) Световозвращающие маркеры помещали на кружку, ложку, кувшин, крышку кувшина и стол. Эти объекты будут обозначаться указанным цветовым кодом в этой рукописи. Субъект, показанный на панелях (A, B) , одобрил публикацию этих изображений.

Субъекты носили бинокль ETL-500, инфракрасный, налобный айтрекер (ISCAN, Inc., Уоберн, Массачусетс, США), который отслеживал их визуальную точку наблюдения по сравнению с установленной на голове эгоцентрической камерой сцены на 60 Частота дискретизации Гц.Данные калибровки показывают, что точность айтрекера составляет примерно 1,43 ° и 0,11 ° соответственно. Шесть камер серии T с частотой дискретизации 100 Гц и видеокамера Basler / Vue (Викон, Калвер-Сити, Калифорния, США) использовались для отслеживания движения субъектов и объектов YCB (рис. 1). Световозвращающие маркеры были прикреплены к объектам YCB, айтрекеру и плечам субъектов, предплечьям, предплечьям и кистям рук (дорсальные аспекты). Визуальные отвлекающие факторы были сведены к минимуму за счет использования затемненной занавески, которая окружала поле зрения объекта.

Сегментация действий: иерархия задач, подзадач и единиц действия

Land et al. (1999) сообщили о фиксации взгляда во время заваривания чая. В этой работе рассматривалась иерархия из четырех уровней деятельности: «заварить чай» (уровень 1), «приготовить чашки» (уровень 2), «наполнить чайник» (уровень 3) и «снять крышку» ( уровень 4). Spriggs et al. (2009) описали задачу по приготовлению пирожных и разделили ее на 29 действий, таких как «разбить одно яйцо» и «налить масло в чашку». Применяя тот же подход, что и в предыдущих работах, мы определили иерархию действий, используя формат «задача – подзадача – единица действия» (таблица 1).Подзадачи были определены аналогично «деятельности 4-го уровня» Лэнда и др., В то время как единицы действия были определены в соответствии с кинематикой руки и объекта. Все испытуемые выполнили все шесть подзадач, перечисленных в таблице 1, но не все испытуемые выполнили все единицы действия. Например, несколько испытуемых не потянулись к кувшину во время подзадачи 2 («переместить ложку в кувшин»).

Таблица 1 . Шесть подзадач (жирный шрифт) были определены для задачи приготовления порошкового напитка; единицы действия были определены для каждой подзадачи в соответствии с кинематикой руки и объекта.

Время начала и окончания каждой единицы действия определялось в соответствии с кинематикой руки и объекта и проверялось путем наблюдения эгоцентрического видео, записанного с помощью устройства отслеживания взгляда. Например, угол длинной оси ложки по отношению к длинной оси кувшина и повторяющийся рисунок угла использовались для определения начала и конца блока действия «перемешивание внутри кувшина» (рис. 2).

Рисунок 2 . Повторяющийся характер кинематики ложки по отношению к кувшину использовался для определения начала и конца блока действия «перемешивание внутри кувшина».Несмотря на то, что в показанном репрезентативном испытании с ложкой не манипулировали до истечения примерно 6 с, полное испытание приводится для полноты.

Фиксация взгляда и маркировка саккада

Саккадические движения глаз были обнаружены Эдвином Ландоттом в 1890 году при изучении движений глаз во время чтения (Kandel et al., 2000). Согласно Kandel et al., Саккадические движения глаз характеризуются «резкими движениями, за которыми следует короткая пауза» или «быстрыми движениями между точками фиксации».В нашем исследовании саккады были обнаружены с использованием угловой скорости восстановленного вектора взгляда (см. 3D-вектор взгляда и построение карты значимости взгляда), а интервалы между саккадами, превышающие 200 мс, были обозначены как фиксации взгляда, как в Nyström and Holmqvist (2010). . Как описано ранее, единицы начала и конца действия были определены на основе кинематики руки и объекта. Эвристический подход, как показано на рисунке 3, использовался для связывания периодов фиксации взгляда и саккад в данных айтрекера с единицами действий.Данный период фиксации взгляда был связан с определенной единицей действия, если период фиксации взгляда перекрывался с периодом единицы действия в диапазоне от 0,3 до 0,7 T , где T — продолжительность конкретной единицы действия. Данная саккада была связана с определенной единицей действия, если саккада произошла в течение периода единицы действия в диапазоне от -0,2 до 0,8 T . Саккады к объединениям единиц действия были разрешены до начала единицы действия (определяемой кинематикой руки и объекта) на основании сообщений в литературе, что саккады обычно предшествуют связанным движениям руки (Land et al., 1999; Йоханссон и др., 2001). Результаты подхода, представленные на рисунке 3, были проверены путем тщательного сравнения с видео камерой эгоцентрической сцены, записанной с помощью айтрекера.

Рисунок 3 . (A) Данный период фиксации взгляда был связан с определенной единицей действия, если период фиксации взгляда перекрывался с периодом единицы действия в диапазоне от 0,3 до 0,7 T (заштрихованная синим область), где T была продолжительностью конкретный блок действия. (B) Данная саккада была связана с определенной единицей действия, если саккада произошла в течение периода единицы действия в диапазоне от -0,2 до 0,8 T .

3D вектор взгляда и построение карты видимости

Устройство отслеживания взгляда предоставило двумерные пиксельные координаты точки взгляда относительно плоскости изображения камеры эгоцентрической сцены. Набор инструментов MATLAB Camera Calibration Toolbox (Bouguet, 2015; The MathWorks, 2017) и четырехэтапная процедура калибровки использовались для оценки внутренних и внешних параметров камеры.Эти параметры позволили рассчитать позу плоскости 2D-изображения в глобальной системе отсчета 3D. Исходная точка кадра камеры была определена с помощью маркеров захвата движения, прикрепленных к айтрекеру. Трехмерный вектор взгляда был восстановлен путем соединения начала кадра камеры с перспективной проекцией точки взгляда на плоскость изображения.

Используя реконструированный трехмерный вектор взгляда, мы создали трехмерные карты яркости взгляда, назначив цвета RGB облакам точек, полученным при трехмерном сканировании объектов YCB.Облако точек для кружки было получено от Calli et al. (2015a). Облака точек для кувшина, крышки кувшина и ложки сканировали с помощью 3D-сканера со структурированным светом (Structure Sensor, Occipital, Inc., Калифорния, США) и специального поворотного устройства. Это было необходимо, потому что база данных облаков точек YCB предоставляет только облака точек для узла крышки кувшина и потому, что проксимальный конец ложки был модифицирован для применения маркеров захвата движения (рис. 1C). Цвета были назначены точкам в зависимости от продолжительности их пересечения с трехмерным вектором взгляда объекта.Чтобы учесть погрешность айтрекера, цвета были присвоены сферической окрестности точек радиусом 5 мм, причем точки в центре сферы (пересекаемые вектором взгляда 3D) были наиболее интенсивными. Интенсивность цвета для точек внутри сферы линейно уменьшалась по мере увеличения расстояния от центра сферы. И фиксация взгляда, и саккады были включены во время присвоения цветов RGB. Для каждой подзадачи карты интенсивности цвета RGB были суммированы по предметам, а затем нормализованы до диапазона [0, 1], где 0 — черный, а 1 — красный.Нормализация выполнялась со всеми объектами, относящимися к задаче, рассматриваемыми одновременно, а не на основе конкретных объектов. Это позволило исследовать относительную визуальную важность каждого объекта для каждой подзадачи.

Результаты

Движение глаз: продолжительность фиксации взгляда и размер саккады

Продолжительность фиксации взгляда и размер саккады ранее были определены как важные характеристики поведения взгляда во время iADL. Как и у Моррисона и Райнера (1981), мы используем «размер саккады» для обозначения угла, охватываемого одной саккадой.Land et al. (1999) сообщили об общих тенденциях и статистике за все время приготовления чая. Однако информацию о динамических изменениях в поведении взгляда трудно извлечь и проанализировать, когда данные айтрекинга свертываются за большой период времени. Чтобы рассмотреть движения глаз на более тонком уровне детализации, мы исследовали тенденции в продолжительности фиксации взгляда и размере саккады на уровне единиц действия. Данные о продолжительности фиксации взгляда были нормализованы путем суммирования длительностей периодов фиксации взгляда, принадлежащих одной и той же единице действия, и последующего деления на общую продолжительность этой единицы действия.Эта нормализация была выполнена, чтобы минимизировать влияние типа единицы действия, такого как достижение или перемешивание, на результаты продолжительности фиксации взгляда. Продолжительность фиксации взгляда и размер саккады были проанализированы по группам на основе шести общих глаголов единицы действия: «протянуть», «поднять», «поставить», «двигаться», «налить» и «перемешать» (рис. 4). «Падение» и «вставка» были исключены, поскольку они происходили нечасто, и их включение еще больше снизило бы эффективность статистических тестов.

Рисунок 4 .Графики прямоугольников и усов показаны для каждой из шести групп глаголов единицы действия для (A) нормализованной продолжительности фиксации взгляда и размера саккады (B) . Сужающаяся горловина каждого прямоугольника обозначает медианное значение, а верхний и нижний края обозначают первый и третий квантили. Усы простираются до самых крайних точек данных, которые не считаются выбросами (черные точки). Для нормализованной продолжительности фиксации взгляда и «налить», и «перемешать» статистически значимо отличались от других групп глаголов единицы действия, как показано подчеркиванием.Для размера саккады и «двигаться», и «перемешивать» статистически значимо отличались от других групп глаголов единицы действия.

Мы провели два теста ANOVA с уровнем значимости α = 0,05. В одном тесте сравнивалось распределение продолжительности фиксации взгляда по шести группам глаголов единицы действия, в то время как в другом тесте сравнивались распределения размера саккад. В обоих случаях дисперсионный анализ привел к p <0,001. Таким образом, было проведено апостериорных попарных t -тестов, чтобы определить, какие группы глаголов значительно различались (таблица 2).Дополнительно применялась поправка Бонферрони (α = 0,05 / k , где k = 15, общее количество парных сравнений), чтобы избежать ошибок типа I при выполнении попарных сравнений post hoc . Было обнаружено, что средняя продолжительность фиксации взгляда для «налить» и «перемешать» была значительно больше, чем у других глаголов (рис. 4А). Размеры саккад для «двигаться» и «перемешивать» значительно отличались от размеров других глаголов (рис. 4B). Размеры саккады для «двигаться» были значительно больше, чем у других глаголов, в то время как размеры для «перемешивать» были значительно меньше (рис. 5).

Таблица 2 . Нижний левый треугольник таблицы (заштрихованный серым) суммирует p -значения для t -тесты средней нормализованной продолжительности фиксации взгляда для различных пар глаголов единиц действия, а верхний правый треугольник представляет p -значения для t — тесты на размер саккады.

Рисунок 5 . Трехмерные карты яркости взгляда связанных с задачей объектов (кружка, ложка, кувшин и крышка кувшина) показаны для каждой из шести подзадач (A – F) .Карты цветов RGB были суммированы по предметам, а затем нормализованы до диапазона [0, 1] для каждой подзадачи. Цветовая шкала RGB для всех карт яркости взгляда показана на панели (A) . Процентное соотношение объектов взгляда отображается через круговых диаграмм. Цвета на круговых диаграммах соответствуют цветным объектам на рисунке 1C.

Карты видимости в 3D и процентное соотношение объектов взгляда

Трехмерная карта яркости взгляда для каждого объекта показана для каждой из шести подзадач на рисунке 5.Мы используем «объект взгляда» для обозначения объекта, который пересекается реконструированным трехмерным вектором взгляда. Этот трехмерный подход аналогичен использованию двухмерных видео с эгоцентрической камеры для идентификации объекта взгляда, определяемого как «объект, фиксируемый глазами» или «объект, на который наблюдают визуально» (Yi and Ballard, 2009). В случае, если несколько объектов пересекались одним и тем же вектором взгляда, мы выбрали ближайший к субъекту объект в качестве объекта взгляда. Мы определили процент объекта взгляда как время, выраженное в процентах от подзадачи, в течение которого объект пересекался вектором взгляда.Процентное соотношение объектов взгляда, усредненное по всем 11 субъектам, представлено для каждой из шести подзадач в форме круговой диаграммы (рис. 5). Хотя таблица в настройке эксперимента никогда не подвергалась манипуляциям, во время некоторых подзадач процент объекта взгляда для таблицы превышал 20% для подзадач, которые включали единицы действий, связанные с «установкой».

Распознавание подзадач на основе последовательностей объектов взгляда

Последовательность объектов пристального взгляда

Чтобы использовать информацию об идентичности объектов взгляда в соответствии с последовательностью, в которой объекты взгляда рассматривались визуально, мы количественно оценили последовательность объектов взгляда для использования в автоматическом распознавании подзадач.Концепция последовательности объектов взгляда была реализована ранее для распознавания действий человека, но другим способом. Йи и Баллард (2009) выполнили распознавание действий с помощью динамической байесовской сети, имеющей четыре скрытых узла и четыре узла наблюдения. Одним из скрытых узлов был объект истинного взгляда, а одним из узлов наблюдения был оцененный объект взгляда, извлеченный из 2D-видео с эгоцентрической камеры. В этой работе мы определяем последовательность объектов взгляда как состоящую из матрицы ( M × N ), где M — это количество объектов, задействованных в задаче манипулирования, а N — общее количество экземпляров. (кадры, выбранные с частотой 60 Гц), что по крайней мере один из объектов M был визуально рассмотрен, будь то фиксация взгляда или саккада (Рисунок 6C).Каждая из M = 5 строк соответствует определенному объекту. Каждый из столбцов N указывает, сколько раз каждый объект визуально рассматривался в скользящем окне, состоящем из 10 кадров (рисунки 6A, B).

Рисунок 6 . (A) Каждая последовательность необработанных объектов взгляда была представлена ​​набором кадров (1 × N ). В этом примере объект взгляда переместился с крышки кувшина на кувшин. Цвета на рисунке соответствуют цветным объектам на рисунке 1C. (B) Необработанная последовательность объектов взгляда была отфильтрована с использованием скользящего окна из 10 кадров. (C) Последовательность объектов взгляда была представлена ​​матрицей ( M × N ) для M релевантных для задачи объектов.

Скользящее окно использовалось для фильтрации последовательности необработанных объектов пристального взгляда для смягчения резких изменений значений в матрице. Размер скользящего окна был выбран эвристически так, чтобы он был достаточно большим, чтобы сглаживать резкие изменения в последовательности объектов, которые можно было рассматривать как шум, но также достаточно малым, чтобы не игнорировать основные события в течение его продолжительности.В предварительном анализе этот шаг фильтрации скользящего окна наблюдался для повышения точности распознавания.

Создание библиотеки последовательностей характерных объектов взгляда

Внутри- и межпредметная изменчивость требует анализа данных о человеке, который учитывает различия в скорости и стиле движения. В частности, для пар последовательностей объектов взгляда, имеющих разную длину, данные должны быть оптимально сдвинуты по времени и растянуты перед сравнительным анализом. Для этой задачи мы использовали динамическое искажение времени (DTW), метод, который широко используется для распознавания образов движения человека, например, для распознавания походки (Boulgouris et al., 2004) и распознавание жестов (Gavrila, Davis, 1995).

Динамическое преобразование времени сравнивает две зависящие от времени последовательности X и Y , где X∈ℝS × U и Y∈ℝS × V. Путь деформации Wi = [pi1, pi2,…, pij,…, piKi] определяет выравнивание между парами элементов в X и Y путем сопоставления элемента (ов) X с элементом (ами) Y . Например, p _ij = ( u, v ) представляет собой согласованную пару x _u и y _v .Если путь деформации оптимизирован для получения наименьшей суммы евклидовых расстояний между двумя последовательностями, расстояние DTW между двумя последовательностями X и Y может быть определено следующим образом:

DTW (X, Y) = minWi {d (Wi) | Wi∈ 〈W1, W2,…, WL〉}, (1)

, где d (Wi) = ∑j = 1Ki 〈pij〉 и 〈pij〉 = ∥xu − yv∥2.

Чтобы идентифицировать характерную последовательность объектов пристального взгляда для каждой подзадачи, мы использовали метод глобального усреднения, называемый усреднением барицентра с динамической деформацией времени (DBA), который выполняет процессы DTW и усреднения одновременно.Этот метод использует оптимизацию для итеративного уточнения последовательности DBA (среднего) до тех пор, пока не будет получено наименьшее евклидово расстояние DTW (см. Распознавание подзадач с использованием евклидовых расстояний DTW) по отношению к каждой из усредняемых входных последовательностей (Petitjean et al., 2011). Последовательности объектов взгляда были усреднены по всем испытаниям для всех субъектов для каждой подзадачи с использованием функции MATLAB с открытым исходным кодом, предоставленной создателями процесса DBA (Petitjean, 2016). Всего для каждой подзадачи было доступно 43 испытания (4 повтора для каждого из 11 субъектов, за вычетом 1 неполного испытания).На рисунке 7 показаны визуальные представления последовательности объектов взгляда администратора базы данных для каждой из шести подзадач.

Рисунок 7 . Последовательности характерных объектов взгляда были созданы с использованием среднего барицентра динамического деформирования времени по данным от 11 субъектов для каждой из шести подзадач (A – F) . Цвета на рисунке соответствуют цветным объектам на рисунке 1C. Длины последовательностей были нормализованы для визуализации.

Распознавание подзадач с использованием евклидовых расстояний DTW

Традиционно евклидово расстояние используется в качестве метрики сходства между двумя векторами.Однако само по себе евклидово расстояние не является точной мерой сходства данных временных рядов (Petitjean et al., 2011). Здесь мы используем «Евклидово расстояние DTW», которое вычисляется как сумма евклидовых расстояний между соответствующими точками двух последовательностей. Процесс DTW минимизирует сумму евклидовых расстояний, что позволяет честно сравнивать две последовательности. Чем меньше евклидово расстояние DTW, тем больше сходство между двумя последовательностями. Простой способ связать новую последовательность объектов взгляда с конкретной подзадачей состоит в том, чтобы сначала вычислить евклидово расстояние DTW между новой последовательностью и характеристической последовательностью (сгенерированной с использованием процесса DBA) для каждой из шести подзадач-кандидатов, а затем выбрать подзадачу. метка, которая дает наименьшее евклидово расстояние DTW.

На рис. 8 показана новая последовательность объектов взгляда и ее евклидово расстояние DTW по отношению к каждой из последовательностей кандидатов-администраторов баз данных (по одной для каждой из шести подзадач). Евклидово расстояние DTW сообщается как функция (равного) истекшего времени для последовательностей новых и DBA объектов пристального взгляда. Это позволяет нам связать точность распознавания с процентом выполненной подзадачи и прокомментировать возможность распознавания действий в реальном времени. Например, для подзадачи 4 («перенос воды из кувшина в кружку с помощью ложки») евклидово расстояние DTW между новой последовательностью объектов пристального взгляда и правильной последовательностью кандидатов-DBA четко не отделяется от других пяти расстояний DTW до 30% новая последовательность объектов пристального взгляда истекла для показанного конкретного случая (рис. 8).Точность распознавания подзадач обычно возрастает по мере увеличения времени выполнения последовательности. На рисунке 8 показано, как можно использовать метод распознавания примитивных действий для маркировки подзадачи, основанной только на последовательности объектов взгляда. Однако в качестве примера была показана только одна репрезентативная последовательность новаторских объектов пристального взгляда.

Рисунок 8 . (A) Показана репрезентативная последовательность новых объектов пристального взгляда. Цвета на рисунке соответствуют цветным объектам на рисунке 1C. (B) Для подзадачи 4 показана последовательность объектов взгляда администратора баз данных, которая является правильной меткой подзадачи для новой последовательности объектов взгляда, показанной на панели (A). (C) Евклидово расстояние DTW показано для сравнения новой последовательности объектов пристального взгляда и последовательности DBA для каждой из шести подзадач. Расстояние DTW было рассчитано с использованием равного истекшего времени для новой последовательности и последовательности DBA. Наименьшее расстояние DTW будет использоваться для применения метки подзадачи. Точность распознавания подзадач обычно возрастает по мере увеличения времени выполнения последовательности.

Чтобы обеспечить точность подхода применительно ко всем 43 последовательностям объектов пристального взгляда, мы использовали метод исключения по одному. Во-первых, последовательность одного объекта взгляда рассматривалась как новая последовательность без метки. К остальным последовательностям было применено усреднение центра масс с динамической деформацией времени. Евклидово расстояние DTW было рассчитано между новой последовательностью и последовательностью-кандидатом DBA, и пара с наименьшим расстоянием DTW была использована для маркировки новой последовательности. Этот процесс повторялся для каждой последовательности объектов пристального взгляда.Расстояние DTW было рассчитано с использованием равного истекшего времени для новой последовательности и последовательности DBA.

Результирующие точность распознавания, точность и отзыв для каждой подзадачи представлены на рисунке 9 как функция от процента выполненной подзадачи. Точность представляет собой долю правильно помеченных последовательностей. Прецизионность представляет собой долю идентифицированных последовательностей, относящихся к подзадаче i . Напоминание представляет собой долю идентифицированных релевантных последовательностей (Manning et al., 2008)

точностьi = TPi + TNiTPi + TNi + FPi + FNi, (2)

точностьi = TPiTPi + FPi, (3)

отзывi = TPiTPi + FNi. (4)

Рисунок 9 . При использовании подхода «исключение по одному» производительность алгоритма распознавания действий сообщается как функция истекшего времени последовательности новых объектов взгляда для каждой подзадачи. Точность (черная сплошная линия), точность (красная пунктирная линия) и отзыв (синяя пунктирная линия) показаны для каждой из шести подзадач (A – F) . Последовательность характерных объектов пристального взгляда показана над каждым второстепенным графиком.Цвета в последовательности соответствуют объектам, показанным на рисунке 1С.

TP _i , TN _i , FP _i и FN _i представляют количество истинно положительных, истинно отрицательных, ложноположительных и ложноотрицательных последовательностей при попытке идентифицировать все последовательности, связанные с подзадачей i . Например, рассмотрим задачу идентификации 43 последовательностей, относящихся к подзадаче 1, из общего количества (43 * 6) немеченых последовательностей.Используя все данные последовательности, при 100% истекшем времени новой последовательности объекта взгляда классификатор правильно пометил 36 из 43 релевантных последовательностей как Подзадачу 1, но также пометил 10 из (43 * 5) нерелевантных последовательностей как Подзадачу 1. В этом случае TP ₁ = 36, TN ₁ = 205, FP ₁ = 10 и FN ₁ = 7. Используя уравнения 2–4, это дает точность 93,4%, точность 78,2%. и отзыв 83,7% для подзадачи 1, как показано на рисунке 9A.

На рис. 10 показана матрица неточностей, которая суммирует производительность разметки подзадач нашего простого алгоритма распознавания действий на 100% прошедшего времени для последовательностей новаторских и DBA-объектов пристального взгляда.Прогнозы меток (столбцов) подзадач сравниваются с истинными метками (строками) подзадач. Снова рассмотрим задачу идентификации 43 последовательностей, относящихся к подзадаче 1. TP ₁ показан как первый диагональный элемент в матрице неточностей (строка 1, столбец 1). FP ₁ и FN ₁ — это сумма недиагональных элементов в первом столбце и первой строке соответственно.

Рисунок 10 . Матрица неточностей отображается для 100% истекшего времени новой последовательности объектов пристального взгляда для каждой подзадачи.Прогнозируемые метки подзадач (столбцы) сравниваются с истинными метками (строками) подзадач. Каждая подзадача состоит из 43 релевантных последовательностей и (43 * 5) нерелевантных последовательностей. В каждом заштрихованном поле указано количество экземпляров меток и в скобках указан процент этих экземпляров из 43 соответствующих подзадач.

Обсуждение

Продолжительность фиксации взгляда и размер саккады могут отражать различия в зрительном внимании

Движение глаз исследовали на уровне единиц действия по продолжительности фиксации взгляда и размеру саккады.Что касается продолжительности фиксации взгляда, как «налить», так и «перемешать» статистически значимо отличались от других групп глаголов единицы действия (рис. 4А). Средние значения нормализованной продолжительности фиксации взгляда для «наливания» и «перемешивания» были, соответственно, на 41 и 33% больше, чем наибольшее значение медианной продолжительности «досягаемости», «подъема», «опускания» и «движения». группы глаголов (36% для «двигаться»). Более длительная фиксация взгляда могла быть связана с тем, что заливка и перемешивание просто занимали больше времени, чем другие движения.Тенденции также могут указывать на то, что для успешного выполнения заливки и перемешивания требуется больше визуального внимания. Например, заливка без проливания и перемешивание без разбрызгивания может потребовать большей точности манипуляции, чем достижение, поднятие, установка или перемещение объекта. Однако на основании собранных данных неизвестно, активно ли субъекты обрабатывали визуальную информацию в течение этих периодов фиксации. На продолжительность фиксации взгляда также могут влиять свойства объекта, такие как размер, геометрия, цвет, новизна и т. Д.Например, продолжительность фиксации может быть больше для хрупких, дорогих или острых предметов по сравнению с прочными, дешевыми или тупыми предметами. Влияние свойств объекта на продолжительность фиксации взгляда и размер саккады требует дальнейшего изучения.

Для размера саккад и «двигаться», и «перемешивать» статистически значимо отличались от других групп глаголов единицы действия (рис. 4B). Относительно большой размер саккады для «движения», вероятно, был функцией расстояния, на которое перемещались объекты, которыми управляют, во время экспериментальной задачи.Относительно небольшой размер саккады для «перемешивания» (4,7 ° ± 2,7 °) может быть связан с небольшой областью, связанной с процессом перемешивания в кувшине, и тем фактом, что испытуемые не следили взглядом за циклическими движениями ложки во время перемешивание.

Концепция «тихого глаза», первоначально представленная в литературе в отношении когнитивного поведения элитных спортсменов, использовалась для различения опытных и начинающих хирургов (Harvey et al., 2014). Тихий глаз определяется как «окончательная фиксация или отслеживание взгляда, который находится в определенном месте или объекте в зрительно-моторном рабочем пространстве в пределах 3 ° от угла зрения в течение ≥100 мс» (Vickers, 2007).Была выдвинута гипотеза, что спокойный глаз — это отражение «замедления» когнитивного планирования (а не скорости движений тела), которое происходит, когда дополнительное внимание уделяется сложной задаче (Moulton et al., 2010). Основываясь на тенденциях продолжительности фиксации взгляда (рис. 4A), можно предположить, что заливка и перемешивание требуют дополнительного внимания. Тем не менее, «перемешивать» была единственной группой глаголов, которая демонстрировала небольшой размер саккады в диапазоне, известном для спокойного глаза. Мы не утверждаем, что перемешивание — это особый навык, которым могут владеть только специалисты; мы не ожидаем, что в нашем тематическом пуле для iADL будет представлен широкий спектр навыков.Тем не менее, можно предположить, что определенные единицы действия могут требовать большего визуального внимания, чем другие, и что фиксация взгляда и размер саккады могут помочь в распознавании таких единиц действия, используемых во время повседневных задач.

Карты видимости взгляда кодируют важную информацию о действиях на уровнях подзадач и единиц действия

Карты яркости взгляда на уровне подзадач могут использоваться для представления распределения фиксации взгляда по нескольким объектам. Карты яркости взгляда для шести подзадач (рис. 5) подтвердили вывод Хэйхо и Балларда о том, что фиксация взгляда во время выполнения задачи редко направлена ​​за пределы объектов, необходимых для выполнения задачи (Hayhoe and Ballard, 2005).Учитывая подзадачу 4 («переливание воды из кувшина в кружку с помощью ложки»), объекты, составляющие большую часть круговой диаграммы в процентах объектов пристального взгляда (рис. 5D), были захвачены и обработаны (ложка) или непосредственно затронуты действием, выполняемым объект манипулирования (кувшин и кружка). Хотя столом не манипулировали, на него часто влияли единицы действий, которые требовали поднять или опустить объект, как, например, крышка кувшина, ложка и кувшин в подзадачах 1, 2 и 6 (рисунки 5A, B, F) соответственно.Процент фиксации взгляда для стола был невысок из-за важности других объектов в подзадачах 4 и 5 (рисунки 5D, E).

В некоторых случаях карту яркости взгляда можно легко связать с подзадачей. Например, заметность взгляда была уникальной, одновременно интенсивной на чаше и кончике ложки, внутренней стенке кружки и внутренней стенке кувшина для Подзадачи 4 («переливание воды из кувшина в кружку с помощью ложки») (рис. 5D). В других случаях различия между картами яркости взгляда были незначительными.Например, карты яркости взгляда были очень похожи для обратных подзадач «снять крышку кувшина» и «заменить крышку кувшина» (рисунки 5A, E). В обоих случаях основное внимание уделялось ручке крышки кувшина и верхнему краю кувшина. Однако фиксация взгляда была немного более интенсивной возле носика кувшина для Подзадачи 5 («заменить крышку кувшина»), потому что испытуемые тратили время на то, чтобы тщательно совместить прорези в крышке кувшина с носиком для Подзадачи 6 «налить жидкость в кружку». немедленно следовать.

Аналогичным образом, карты яркости взгляда для подзадачи 2 («переместить ложку в кувшин») и подзадачи 3 («перемешать в кувшине») отличались только незначительной разницей в распределении фиксации взгляда на ложке (рисунки 5B, C). Диффузное и однородное распределение по всей ложке для Подзадачи 2 контрастировало с сосредоточенной интенсивностью на чаше ложки для перемешивания. Это было связано с тем, что единицы действий «дотянуться», «поднять» и «переместить», выполняемые ложкой, суммировались с течением времени, чтобы получить карту заметности взгляда на уровне подзадач.Учитывая, что детали уникального вклада каждой единицы действия в карту значимости становятся размытыми из-за временного суммирования, стоит рассмотреть карты заметности взгляда с более точным временным разрешением на уровне единицы действия. Из-за короткой продолжительности единиц действия (примерно 1 с) карты яркости взгляда на уровне единиц действия включают только один объект за раз. Несколько репрезентативных карт яркости взгляда для различных единиц действия показаны на рисунке 11. Карты интенсивности цвета RGB были суммированы по субъектам, а затем нормализованы до диапазона [0, 1], где 0 — черный, а 1 — красный, в зависимости от продолжительности. единицы действия.

Рисунок 11 . Трехмерные карты яркости взгляда связанных с задачей объектов [кружка (A) , ложка (B) , кувшин (C) и крышка кувшина (D) ] показаны для подмножества действий. единицы. Цветовая шкала RGB для всех карт яркости взгляда показана на панели (A) .

Некоторые карты яркости взгляда также могут быть легко связаны с определенными боевыми единицами. Например, интенсивность заметности взгляда была наибольшей в верхней части питчера для единицы действия «дотянуться до питчера», но больше всего в нижней части для «установленного питчера» (рис. 11C).В отличие от этого, карты заметности взгляда для крышки кувшина были аналогичны для блоков действий «поднять крышку кувшина» и «вставить крышку кувшина в кувшин». Наблюдались тонкие различия, такие как более сфокусированный взгляд около щелей в крышке, при подготовке к подзадаче 6 «налить жидкость в кружку», которая должна была последовать немедленно. Карты яркости взгляда для разных боевых единиц также были похожи для кружки (рис. 11А), возможно, из-за ее соотношения сторон. Кружка не только относительно небольшой объект, но и ее соотношение сторон с точки зрения субъекта почти равно единице.Во время как «тянуться за кружкой», так и «ставить кружку» фиксация взгляда распространялась вокруг центроида кружки. Это было удивительно, поскольку мы ожидали повышения интенсивности около ручки или основания кружки для «дотянуться» и «опустить» единицы действия соответственно, основываясь на выводах Belardinelli et al. (2015). Этому есть несколько возможных объяснений. Во-первых, Belardinelli et al. Исследование проводилось с использованием 2D-дисплея компьютера, и испытуемым предлагалось имитировать манипулятивные действия. В этой работе субъекты физически взаимодействовали с трехмерными объектами и манипулировали ими.Также возможно, что испытуемые схватили кружку с разной степенью точности в зависимости от требований задания (или их отсутствия). Например, кружку можно удерживать, взявшись за ручку или за цилиндрический корпус. Если бы задача включала, например, горячую жидкость, возможно, испытуемые цеплялись бы за ручку кружки и фиксировали бы свой взгляд на ней на более длительное время.

Хотя трехмерные карты яркости взгляда не обязательно уникальны для всех подзадач и единиц действия, вполне вероятно, что комбинация карт яркости взгляда для подзадачи и составляющих ее единиц действия может предоставить дополнительную временную информацию, которая позволит распознать подзадачу.Хотя это выходит за рамки данной работы, мы предлагаем использовать последовательность карт яркости взгляда с течением времени для распознавания действий. Подходы с временными рядами, представленные для анализа последовательностей объектов пристального взгляда, аналогичным образом могут быть применены к последовательностям карт яркости взгляда.

Практические соображения и ограничения карт яркости взгляда

Если динамическое отслеживание трехмерных карт яркости взгляда должно быть практически реализовано, необходимо решить проблему высоких вычислительных затрат, связанных с отслеживанием, доступом и анализом плотных трехмерных облаков точек.В этой работе трехмерные облака точек для ложки и кувшина состояли примерно из 3 000 и 20 000 точек соответственно. По крайней мере, два практических изменения могут быть внесены в представление карты яркости взгляда. Во-первых, параметрические геометрические формы могут быть заменены высокодетализированными облаками точек твердых объектов, особенно если точное пространственное разрешение не критично для распознавания действий. Использование геометрических фигур также может позволить аналитически решить точку (точки) пересечения между объектом и вектором взгляда.Во-вторых, фиксацию взгляда можно отслеживать для избранного подмножества регионов или сегментов, таких как те, которые связаны с «аффордансами объекта», которые описывают действия, которые могут быть предприняты с объектом (Гибсон, 1977), или «возможности схватывания», которые являются определяется как «относительные конфигурации объекта и захвата, которые приводят к успешному захвату» (Detry et al., 2009). Затем вычислительные усилия могут быть сосредоточены на областях, которые с наибольшей вероятностью будут иметь отношение к задаче, таких как носик, обод, ручка и основание кувшина. Кроме того, можно использовать методы компьютерного трехмерного геометрического моделирования.Например, треугольные сетки и неявные поверхности использовались для рендеринга анимированных персонажей в реальном времени (Leclercq et al., 2001). Аналогичный подход можно использовать для упрощения трехмерных облаков точек. Помимо отслеживания формы и движения объекта, можно было отслеживать однородные свойства (например, цвет RGB, связанный с продолжительностью фиксации взгляда) патч-элементов поверхностей. Пространственное разрешение каждой карты яркости взгляда может быть настроено в соответствии с характеристиками объекта, имеющими отношение к задаче, и сведено к минимальным потребностям для надежного распознавания действий.

Одним из ограничений этой работы является то, что мы не можем комментировать истинный фокус объекта или то, активно ли субъекты обрабатывали визуальную информацию. Вектор взгляда может проходить через несколько объектов или даже через материалы, которые не являются твердыми объектами (например, поток текущей воды). Мы вычислили точки пересечения между вектором взгляда и объектами на его пути, а затем обработали точку пересечения, ближайшую к пользователю, как точку фиксации взгляда. Этот подход может не работать, если некоторые из релевантных для задачи объектов прозрачны и субъекты просматривают один объект, чтобы визуально обратить внимание на более удаленный объект.В этой работе объекты иногда проходили по пути неподвижного вектора взгляда, но, возможно, не были в фокусе активного визуального внимания. Например, карта яркости взгляда для подзадачи 3 («перемешивание в кувшине») отображала области большей интенсивности как на чаше ложки, так и на внутренней стенке кувшина (рис. 5C). Однако эгоцентрическая камера, прикрепленная к айтрекеру, показала, что точка фиксации взгляда осталась около линии уровня воды в кувшине. Поскольку ложка циклически перемещалась возле внутренней стенки кувшина в той же области, что и поверхность воды, точка фиксации взгляда чередовалась между ложкой и кувшином.В результате были затронуты карты яркости взглядов ложки и кувшина. В одном случае точка фиксации взгляда испытуемого была рассчитана как находящаяся на внешней стене кувшина во время перемешивания. Этот интересный случай подчеркивает тот факт, что прямой видимость (например, ложка, вода или внутренняя поверхность кувшина) может не требоваться для выполнения подзадачи, а мысленных образов («видение мысленным взором») может быть достаточно ( Пирсон и Косслин, 2013).

Дальнейшая работа должна быть направлена ​​на методы повышения устойчивости алгоритмов распознавания действий к окклюзиям.Например, если объект пристального взгляда на короткое время перекрывается движущимся объектом, который проходит через фиксированное поле зрения субъекта, может быть разработан алгоритм, который автоматически игнорирует объект как шум, который нужно отфильтровать. Кроме того, для оценки фокусного расстояния можно использовать более совершенный айтрекер и / или процесс калибровки. Фокусное расстояние можно комбинировать с направлением вектора взгляда 3D для повышения точности идентификации объекта взгляда в случаях, когда вектор взгляда пересекает несколько объектов.

Поведение взгляда человека «в дикой природе» будет отличаться в некоторой (пока неизвестной) степени от поведения взгляда, наблюдаемого в наших лабораторных условиях. Использование нами черных занавесок и предоставление только объектов, относящихся к задаче, позволило стандартизировать экспериментальную установку для разных субъектов. Однако этот протокол также нереально минимизировал визуальный беспорядок, присутствие новых объектов и отвлекающих факторов. В более естественной обстановке вектор взгляда может пересекаться с объектами сцены, не имеющими отношения к задаче.Это может привести, например, к добавлению шума в последовательность объектов пристального взгляда и может снизить скорость и / или точность распознавания действий. Вероятностное моделирование шума могло бы облегчить эту проблему.

Последовательность объектов пристального взгляда может быть использована для распознавания действий для улучшения взаимодействия человека и робота

Во время повседневной деятельности движения глаз в первую очередь связаны с объектами, имеющими отношение к задаче (Land and Hayhoe, 2001). Таким образом, идентификация объектов взгляда может помочь установить контекст для определенных действий.Fathi et al. (2012) показали, что знание местоположения взгляда значительно улучшает распознавание действий. Однако точность распознавания действий была ограничена ошибками в извлечении объектов взгляда из видеоданных эгоцентрической камеры (например, неспособность обнаруживать объекты или обнаружение нерелевантных объектов в фоновом режиме), а объекты взгляда не рассматривались явно как функции для распознавания действий. Более того, разработка модели для распознавания действий на основе взгляда является сложной задачей из-за стохастической природы поведения взгляда (Admoni and Srinivasa, 2016).Используя объекты, помеченные реперными маркерами, и данные взгляда с двухмерных эгоцентрических камер, Адмони и Сриниваса представили вероятностную модель для обнаружения целевого объекта, основанную на расстоянии объекта от центра фиксации взгляда. В этой работе мы предлагаем использовать информацию трехмерного отслеживания взгляда об идентичности объектов взгляда в соответствии с временной последовательностью, в которой объекты взгляда рассматривались визуально, чтобы повысить скорость и точность автоматического распознавания действий.

В контексте взаимодействия человека и робота последовательность объектов взгляда может использоваться человеком-оператором как интуитивный невербальный управляющий сигнал.В качестве альтернативы последовательность объектов взгляда может быть предоставлена ​​пассивно роботу-помощнику, который непрерывно отслеживает состояние человека-оператора и вмешивается, когда человеку требуется помощь. Робот, который мог бы сделать вывод о человеческих намерениях, мог бы обеспечить более плавное физическое взаимодействие и сотрудничество с людьми-операторами. Например, помощник робота в космическом шаттле может передать космонавту инструмент во время ремонтной миссии, так же как помощник хирурга может оказать поддержку во время сложной операции.Maeda et al. (2014) представили вероятностную основу для сотрудничества между полуавтономным роботом и человеком-коллегой. Для задачи сборки коробки робот решал, держать ли коробку или передать отвертку, основываясь на движениях человека-рабочего. Поскольку в задаче участвовало несколько объектов, интеграция последовательности объектов взгляда в вероятностную модель могла потенциально улучшить точность и скорость распознавания действий.

Практическая демонстрация полезности последовательности объектов пристального взгляда, скорее всего, сначала произойдет в относительно структурированной среде, такой как заводская установка.Несмотря на непредсказуемость человеческого поведения, на производственной линии есть закономерности, которые предполагают выполнимость подхода, основанного на последовательности объектов взгляда. Количество деталей и инструментов, используемых во время ручных производственных операций, одинаково по размеру и форме, а также ограничено по количеству. Хотя скорость выполнения задачи может быть разной, сама задача повторяется. Луо и др. (2017) продемонстрировали взаимодействие человека и робота при выполнении промышленных манипуляций, для которых движения человека были предсказаны, чтобы обеспечить взаимодействие роботов без столкновений в небольшом общем рабочем пространстве.В этой работе робот имел доступ к информации в реальном времени о кинематике верхней конечности человека-сотрудника, например о положениях центра суставов ладони и рук. Сосредоточившись на безопасности взаимодействия человека и робота, Морато и др. (2014) разработали структуру, которая использует стратегию предотвращения столкновений, чтобы помочь рабочим-людям выполнять сборочные работы в непосредственной близости от руки робота. Многочисленные камеры RGB-D использовались для отслеживания местоположения и конфигурации людей в коллективном рабочем пространстве.Общая тема таких подходов — отслеживать кинематику человека и делать выводы только на основе кинематических данных. Дополнительное использование последовательности объектов взгляда может сделать вывод о намерениях человека на более ранней стадии и еще больше повысить безопасность и эффективность для аналогичных типов задач взаимодействия человека и робота.

Последовательность объектов пристального взгляда также может быть продемонстрирована в знакомой среде чьего-то дома, если система распознавания была должным образом обучена на часто используемых объектах, где эти объекты обычно расположены (например,g., кухня или ванная), и как они используются. Производительность бытовых роботов во многом будет зависеть от их способности распознавать и локализовать объекты, особенно в сложных сценах (Srinivasa et al., 2012). Надежность распознавания и задержка будут затруднены из-за большого количества объектов, степени беспорядка и включения в сцену новых объектов. Последовательность объектов пристального взгляда может использоваться для решения проблем, связанных с наличием множества объектов в сцене. Хотя комбинаторный набор объектов и действий может быть большим, характерные последовательности объектов взгляда для часто используемых предметно-ориентированных iADL могут использоваться для быстрого сокращения комбинаторного набора.

До сих пор мы уделяли основное внимание задачам отслеживания взгляда для взаимодействия человека и робота. Однако отслеживание взгляда может также обеспечить столь необходимое понимание нематериальных аспектов, таких как доверие человека к сотрудникам роботов (Jenkins and Jiang, 2010). Предлагаемые нами методы могут быть использованы для количественной оценки различий в поведении взгляда человека с вмешательством робота и без него и могут улучшить исследования влияния знакомства пользователя с роботом, движений человека и других людей, предполагаемого риска отказа робота и т. Д.Рассмотрим, например, руку робота, которую используют, чтобы кормить себя (Argall, 2015). Такая сложная задача требует безопасного управления роботом вблизи чувствительных участков, таких как лицо и рот, а также может быть связана с чувством безотлагательности со стороны пользователя. Последовательность объектов пристального взгляда может выявить высокочастотные переходы между объектами, относящимися к задаче, и самой рукой робота, что может указывать на нетерпение пользователя по отношению к движениям робота или, возможно, на отсутствие доверия к роботу и опасения по поводу безопасности.По мере того как взаимодействие человека и робота становится более органичным и безопасным, частота, с которой пользователь визуально проверяет манипулятор робота, может уменьшаться. Таким образом, алгоритмы распознавания действий могут нуждаться в настройке для межсубъектной изменчивости и адаптации к внутрисубъектной изменчивости, поскольку убеждения и возможности человека-оператора меняются с течением времени.

Другие потенциальные применения последовательности объектов пристального взгляда включают обучение и оценку навыков. Например, Westerfield et al. (2015) разработали структуру, которая объединяет дополненную реальность с интеллектуальной системой обучения для обучения новичков сборке компьютерных материнских плат. Через дисплей , установленный на голове, стажеры получали обратную связь в режиме реального времени об их работе, основанную на относительном положении и ориентации инструментов и деталей в процессе сборки. Такую систему можно было бы дополнительно улучшить, например, используя последовательность объектов взгляда эксперта, чтобы указывать слушателям через дополненную реальность и привлекать внимание к критическим этапам в процессе сборки или критическим областям интереса во время процесса проверки. Последовательности объектов взгляда также могут быть использованы для установления континуума опыта, с помощью которого уровень навыков может быть количественно оценен и сертифицирован.Харви и др. (2014) описали концепции «тихого глаза» и «замедления», наблюдаемые у хирургов, выполняющих операции лобэктомии щитовидной железы. Интересно, что опытные хирурги фиксировали свой взгляд на нежном гортанном нерве пациента дольше, чем новички, при выполнении «сложных» хирургических операций, требующих повышенного внимания и познания. Взгляд пианистов также был связан с навыками чтения с листа (Truitt et al., 1997). Длительность фиксации взгляда на однострочных мелодиях была меньше у более опытных читателей с листа, чем у менее опытных читателей.

Короче говоря, последовательность объектов взгляда, сгенерированная из данных трехмерного отслеживания взгляда, была продемонстрирована как потенциально мощная функция для распознавания действий. Сама по себе последовательность объекта взгляда фиксирует высокоуровневую пространственную и временную информацию о поведении взгляда. Более того, из последовательности объектов пристального взгляда могут быть сгенерированы дополнительные признаки. Например, процент объекта взгляда может быть извлечен путем подсчета экземпляров объектов в последовательности объектов взгляда. Продолжительность фиксации взгляда и саккады от одного объекта к другому могут быть извлечены из последовательности объектов взгляда.Даже саккады в разные области одного и того же объекта потенциально могут быть идентифицированы, если разрешение последовательности объектов взгляда было бы более точным за счет использования сегментированных областей, представляющих интерес для каждого объекта (например, носика, ручки, верха и основания кувшина) .

Практические соображения и ограничения последовательностей объектов пристального взгляда

В этой работе мы представили простые методы проверки концепции для распознавания действий с использованием евклидовой метрики расстояния DTW, взятой из сравнений между новыми и характерными последовательностями объектов взгляда.В текущем экземпляре новые и характерные последовательности сравнивались с использованием одного и того же прошедшего времени (процент от всей последовательности) (рисунок 8). Этот подход был удобен для post hoc исследования точности распознавания как функции прошедшего времени. Однако на практике новая последовательность объектов взгляда будет разворачиваться в реальном времени, и мы не будем знать a priori , какой процент подзадачи истек. Чтобы решить эту проблему, мы предлагаем использовать параллельные потоки, которые вычисляют метрику евклидова расстояния DTW для сравнения новой последовательности с различными частями каждой характеристической последовательности.Например, один поток выполняет сравнение с первыми 10% одной последовательности характерных объектов пристального взгляда; другой поток выполняет сравнение первых 20% одной и той же последовательности характерных объектов пристального взгляда и т. д. Такой подход также будет учитывать сценарии, в которых индивидуум выполняет подзадачу быстрее, чем совокупность, коллективное поведение которой отражается в каждой характеристике. последовательность объектов взгляда. Например, можно увидеть, что новая последовательность объектов пристального взгляда на фиг. 8A имеет такой же шаблон, что и характерная последовательность объектов пристального взгляда на фиг. 8B.Однако индивидуальный субъект изначально выполняет подзадачу быстрее, чем в среднем по населению. Шаблон (желтый, синий, черный, красный и т. Д.) Встречается в пределах первых 10% новой последовательности, но не появляется, пока не истекло 30% характеристической последовательности. Отложенное распознавание подзадачи может быть решено с использованием многопоточного подхода, описанного выше. Рисунок 8. Для дальнейшего снижения вычислительных затрат, обычно связанных с алгоритмами DTW, можно реализовать «неограниченную» версию DTW, которая улучшает метод поиска совпадающих последовательностей. , которые произвольно встречаются в других последовательностях (Anguera et al., 2010).

В случае взаимодействия человека и робота, чем раньше робот сможет распознать намерение человека, тем больше времени у робота будет для планирования и корректировки своих действий для обеспечения безопасности и эффективности. Таким образом, практические ограничения, связанные с вычислительными затратами на распознавание последовательности объектов взгляда в реальном времени, должны быть устранены. По крайней мере, сравнения новой последовательности, разворачивающейся в реальном времени, можно было бы проводить с помощью библиотеки характерных последовательностей подзадач с использованием графических процессоров и параллельных вычислительных потоков (один поток для каждого отдельного сравнения).Раннее распознавание новой подзадачи выгодно не только для планирования и управления роботом. Вычислительные затраты на DTW увеличиваются для более длинных последовательностей. Таким образом, чем раньше можно будет распознать новую последовательность, тем меньше времени будет потрачено на расчет предложенной евклидовой метрики DTW. Поскольку DTW использует динамическое программирование для поиска наилучших путей искривления, получается квадратичная вычислительная сложность. Хотя это и не реализовано в этой работе, вычислительные затраты на процесс DTW могут быть дополнительно сокращены за счет использования обобщенного метода деформации времени, который временно выравнивает мультимодальные последовательности данных о движении человека, сохраняя при этом линейную сложность (Zhou and De la Torre, 2012).

Возможные улучшения для системы распознавания действий на основе последовательности объектов взгляда

Как и ожидалось, точность распознавания увеличивалась по мере того, как большее количество новых последовательностей объектов взгляда сравнивалось с каждой характерной последовательностью объектов взгляда (рис. 9). Однако представленный здесь простой подход к распознаванию не идеален. Даже когда вся новая последовательность объектов пристального взгляда сравнивается с каждой характеристической последовательностью объектов пристального взгляда, подход обеспечивает точность только 96,4%, точность 89.5%, а запоминание — 89,2% в среднем по шести подзадачам. Матрица путаницы (рисунок 10) показывает, какие подзадачи были перепутаны друг с другом даже по прошествии 100% времени. Хотя процент неверных предсказаний меток подзадач невелик, подзадачи, которые используют одни и те же объекты взгляда, больше всего запутались. Например, подзадачу 1 («снять крышку кувшина») и подзадачу 5 («заменить крышку кувшина») иногда путали друг с другом. Предполагается, что обучение сложного классификатора машинного обучения могло бы повысить общую точность результатов распознавания, особенно если бы классификатору были предоставлены дополнительные функции.Возможные дополнительные функции включают в себя величины, извлеченные из кинематики верхних конечностей и других данных айтрекера, таких как трехмерные карты яркости взгляда.

Как и в случае с обработкой любых данных датчиков, есть компромисс со скоростью и точностью как в пространственной, так и во временной областях. В своем текущем экземпляре последовательность объекта взгляда содержит обширную временную информацию, но с потерей пространственного разрешения; рассматриваются целые объекты, а не отдельные области объектов. Напротив, трехмерная карта яркости взгляда и процент объекта взгляда содержат обширную пространственную информацию, но с потерей временного разрешения из-за свертки данных айтрекера в течение длительного периода времени.В практических целях мы не предлагаем максимизировать пространственное и временное разрешение. На практике система распознавания действий не требует вычислительной нагрузки, связанной с обработкой отдельных точек в трехмерном облаке точек или излишне высокими частотами дискретизации. Однако можно увеличить пространственное разрешение, сегментируя объекты на области на основе аффорданса (Montesano and Lopes, 2009), или увеличить временное разрешение, учитывая временную динамику единиц действия, а не подзадач.

В то время как распознавание объектов с помощью 2D-эгоцентрических камер является важной проблемой, решение этой проблемы не входило в фокус настоящего исследования. Таким образом, мы обошли проблемы анализа 2D-изображений, такие как сегментация сцены и распознавание объектов, и использовали систему захвата движения на основе маркеров для отслеживания каждого известного объекта в 3D. Сбор данных производился в лабораторных условиях с использованием дорогостоящего айтрекера и оборудования для захвата движения. Тем не менее, основные концепции, представленные в этой работе, могут быть применены в внелабораторных условиях с использованием недорогого оборудования, такого как айтрекеры потребительского уровня, камеры Kinect RGB-D и реперные маркеры (например.g., AprilTags и RFID-метки).

Заключение

Долгосрочная цель работы заключается в развитии сотрудничества между человеком и роботом путем (i) облегчения интуитивного, основанного на взгляде управления роботами и (ii) предоставления роботам возможности распознавать действия человека, делать выводы о человеческих намерениях и планировать действия, поддерживающие человеческие цели. С этой целью целью данного исследования было выявление полезных функций, которые можно извлечь из поведения трехмерного взгляда и использовать в качестве входных данных для алгоритмов машинного обучения для распознавания действий человека.Мы исследовали поведение взгляда человека и взаимодействие взгляда с объектом в 3D во время выполнения бимануала, iADL: приготовления порошкового напитка. Продолжительность фиксации взгляда была статистически значимо больше для некоторых глаголов действия, предполагая, что некоторые действия, такие как наливание и перемешивание, могут потребовать повышенного визуального внимания для выполнения задачи. Трехмерные карты яркости взгляда, созданные с высоким пространственным разрешением для шести подзадач, по-видимому, кодируют информацию, относящуюся к действию, на уровнях подзадач и единиц действия.Барицентрическое усреднение с динамической деформацией времени использовалось для создания популяционного набора характерных последовательностей объектов взгляда, которые учитывали внутри- и межпредметную изменчивость. Затем последовательность объектов взгляда использовалась для демонстрации возможности простого алгоритма распознавания действий, в котором использовалась евклидова метрика расстояния DTW. Результаты распознавания действий (точность 96,4%, точность 89,5% и запоминание 89,2%, усредненные по шести подзадачам) предполагают, что последовательность объектов взгляда является многообещающей функцией для распознавания действий, влияние которой может быть усилено за счет использования сложных классификаторов машинного обучения и алгоритмические улучшения для реализации в реальном времени.Дальнейшая работа включает в себя разработку комплексного алгоритма распознавания действий, который одновременно использует функции трехмерного взаимодействия взгляда и объекта, кинематики верхних конечностей и пространственных отношений руки и объекта. Роботы, способные надежно распознавать в реальном времени действия человека во время манипуляций, могут использоваться для улучшения качества жизни в доме, а также качества работы в промышленных условиях.

Заявление об этике

Это исследование было проведено в соответствии с рекомендациями Институционального наблюдательного совета UCLA с письменного информированного согласия всех субъектов.Все субъекты дали письменное информированное согласие в соответствии с Хельсинкской декларацией. Протокол был одобрен Наблюдательным советом Калифорнийского университета в Лос-Анджелесе.

Авторские взносы

Все авторы внесли свой вклад в концепцию и дизайн исследования. AF и XW контролировали сбор данных, проводили анализ данных и создавали первый набросок рисунков. Все авторы написали разделы рукописи и внесли свой вклад в ее редактирование. Все авторы прочитали и одобрили представленную рукопись.

Заявление о конфликте интересов

Авторы заявляют, что исследование проводилось при отсутствии каких-либо коммерческих или финансовых отношений, которые могут быть истолкованы как потенциальный конфликт интересов.

Благодарности

Авторы благодарят Эллисон Уолтерс и Мануэль Сиснерос за вклад в первоначальный экспериментальный протокол и настройку оборудования. Авторы благодарят Сама Базаргана, Кевина Хсу, Джона-Пьера Савму и Сару Анайя за помощь в сборе и анализе данных.Наконец, авторы благодарят Ынсук Чонг, Ченг-Джу Ву и Эрика Пелтола за обсуждения ранних черновиков этой рукописи.

Финансирование

Эта работа была частично поддержана наградами Национального научного фонда 1461547 и 1463960 и премией Управления военно-морских исследований N00014-16-1-2468. Любые мнения, выводы, заключения или рекомендации принадлежат авторам и не обязательно отражают официальные взгляды, мнения или политику финансирующих агентств.

Дополнительные материалы

Дополнительные материалы к этой статье можно найти в Интернете по адресу https: // www.frontiersin.org/articles/10.3389/frobt.2018.00025/full#supplementary-material.

Видео S1 . В дополнительном видео показана экспериментальная установка и реконструкция трехмерных карт яркости взгляда для задачи приготовления порошкового напитка.

Список литературы

Адмони, Х., Сриниваса, С. (2016). «Прогнозирование намерений пользователя с помощью взгляда для общей автономии», в Proceedings of the AAAI Fall Symposium Series: Shared Autonomy in Research and Practice (Arlington, VA), 298–303.

Google Scholar

Ангуера, X., Макрэй, Р., и Оливер, Н. (2010). «Частичное сопоставление последовательностей с использованием алгоритма неограниченного динамического преобразования времени», в Международная конференция IEEE 2010 г. по акустической обработке речи и сигналов (ICASSP) (Даллас, Техас, США: IEEE), 3582–3585.

Google Scholar

Аргалл Б. Д. (2015). «Превращение вспомогательных машин в вспомогательных роботов», в SPIE 9370, Quantum Sensing and Nanophotonic Devices XII , ред.Разеги, Э. Турнье и Г. Дж. Браун (Сан-Франциско, Калифорния, США), 93701Y.

Google Scholar

Бехера, А., Чепмен, М., Кон, А.Г., и Хогг, Д.С. (2014). «Распознавание эгоцентрической активности с использованием гистограмм ориентированных парных отношений», Международная конференция по теории и приложениям компьютерного зрения, 2014 г. (VISAPP), (Лиссабон: IEEE), 22–30.

Google Scholar

Бехера А., Хогг Д. К. и Кон А. Г. (2012). «Мониторинг эгоцентрической активности и восстановление», Азиатская конференция по компьютерному зрению (Берлин, Гейдельберг: Springer), 519–532.

Google Scholar

Boulgouris, N. V., Plataniotis, K. N., and Hatzinakos, D. (2004). «Распознавание походки с использованием динамического преобразования времени», IEEE Workshop on Multimedia Signal Processing (Сиена, Италия), 263–266.

Google Scholar

Калли, Б. К., Сингх, А., Уолсман, А., Шриниваса, С., Аббил, П., и Доллар, А. М. (2015a). Набор объектов и моделей YCB: на пути к общим ориентирам для исследований манипуляции . Доступно по адресу: http: // ycb-benchmarks.s3-website-us-east-1.amazonaws.com/

Google Scholar

Калли Б., Уолсман А., Сингх А., Шриниваса С., Аббил П. и Доллар А. М. (2015b). Бенчмаркинг в исследованиях манипуляции: набор объектов и моделей YCB и протоколы эталонного тестирования. препринт arXiv arXiv: 1502.03143 . Доступно по адресу: http://arxiv.org/abs/1502.03143

Google Scholar

Детри Р., Басски Э., Попович М., Туати Ю., Крюгер Н., Кремер О. и др. (2009). «Плотность усвоения, зависящая от объекта обучения», на 8-й Международной конференции IEEE по развитию и обучению, 2009 г.ICDL 2009 (Шанхай, Китай: IEEE), 1–7.

Google Scholar

Фатхи А., Фархади А. и Рег Дж. М. (2011). «Понимание эгоцентрической деятельности», в материалах Международной конференции по компьютерному зрению (Вашингтон, округ Колумбия, США), 407–414.

Google Scholar

Фатхи А., Ли Ю. и Рег Дж. М. (2012). «Научиться распознавать повседневные действия с помощью взгляда», European Conference on Computer Vision (Berlin, Heidelberg: Springer), 314–327.

Google Scholar

Фатхи А. и Рег Дж. М. (2013). «Моделирование действий посредством изменений состояния», в материалах Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (Portland, OR, USA), 2579–2586.

Google Scholar

Гаврила Д. М. и Дэвис Л. С. (1995). «На пути к отслеживанию и распознаванию движений человека на основе трехмерных моделей: подход с несколькими точками зрения», в Международном семинаре по автоматическому распознаванию лиц и жестов (Цюрих, Швейцария), 272–277.

Google Scholar

Гибсон, Дж. Дж. (1977). «Теория аффордансов», в Восприятие, действие и знание: к экологической психологии, , ред. Р. Шоу и Дж. Брансфорд (Хобокен, Нью-Джерси: John Wiley & Sons Inc.), 127–143.

Google Scholar

Гаджи Фаталиян А., Ван Х., Базарган С. и Сантос В. Дж. (2017). «Кинематика рук и объектов и фиксация взгляда во время бимануальных задач», в протоколе Ежегодного собрания Американского общества биомеханики (Боулдер, Колорадо).

Google Scholar

Харви А., Викерс Дж. Н., Снелгроув Р., Скотт М. Ф. и Моррисон С. (2014). Спокойный глаз опытного хирурга и замедление: различия в опыте работы и длительность спокойного состояния глаз во время выявления и рассечения возвратного гортанного нерва. Am. J. Surg. 207, 187–193. DOI: 10.1016 / j.amjsurg.2013.07.033

CrossRef Полный текст | Google Scholar

Itti, L., Koch, C., and Niebur, E. (1998). Модель визуального внимания на основе значимости для быстрого анализа сцены. IEEE Trans. Pattern Anal. Мах. Intell. 20, 1254–1259. DOI: 10.1109 / 34.730558

CrossRef Полный текст | Google Scholar

Дженкинс, К., и Цзян, X. (2010). «Измерение доверия и применение отслеживания взгляда при взаимодействии человека с роботом», на ежегодной конференции IIE. Протоколы (Канкун: Институт инженеров промышленности и систем (IISE)), 1.

Google Scholar

Йоханссон, Р. С., Вестлинг, Г., Бэкстрём, А., и Фланаган, Дж. Р.(2001). Координация глаз и рук при манипулировании предметами. J. Neurosci. 21, 6917–6932.

PubMed Аннотация | Google Scholar

Кандел, Э. Р., Шварц, Дж. Х. и Джесселл, Т. М. (редакторы) (2000). Принципы нейронологии , 4-е изд. Нью-Йорк: McGraw-Hill, Отдел медицинских профессий.

Google Scholar

Канулас Д. и Вона М. (2014). «Биологическое восприятие пятен контакта с пересеченной местностью», в Международная конференция IEEE по робототехнике и автоматизации (ICRA), 2014 г., (Гонконг: IEEE), 1719–1724.

Google Scholar

Leclercq, A., Akkouche, S., and Galin, E. (2001). «Смешивание треугольных сеток и неявных поверхностей в анимации персонажей», в Computer Animation and Simulation 2001: Proceedings of the Eurographics Workshop в Манчестере, Великобритания, 2–3 сентября 2001 г. , ред. Н. Магненат-Тальманн и Д. Тальманн (Вена : Springer Vienna), 37–47.

Google Scholar

Ледерман, С. Дж., И Клацки, Р. Л. (1987). Движения рук: окно в тактильное распознавание объектов. Cogn. Psychol. 19, 342–368. DOI: 10.1016 / 0010-0285 (87) -9

CrossRef Полный текст | Google Scholar

Ли С., Чжан Х. и Уэбб Дж. (2017). Роботизированный захват на основе 3D-взгляда, имитирующий зрительно-моторную функцию человека для людей с нарушениями движений. IEEE Trans. Биомед. Англ. 64, 2824–2835. DOI: 10.1109 / TBME.2017.2677902

CrossRef Полный текст | Google Scholar

Луо Р., Хейн Р. и Беренсон Д. (2017). Неконтролируемое раннее предсказание достижения человеком возможности сотрудничества человека и робота в общих рабочих областях. Auton. Роботы 42, 631–648. DOI: 10.1007 / s10514-017-9655-8

CrossRef Полный текст | Google Scholar

Маэда, Г., Эвертон, М., Лиутиков, Р., Амор, Х. Б., Петерс, Дж., И Нойман, Г. (2014). «Обучающее взаимодействие для совместных задач с примитивами вероятностного движения», в 2014 14-я Международная конференция IEEE-RAS по роботам-гуманоидам (Humanoids) (Madrid: IEEE), 527–534.

Google Scholar

Мэннинг, К. Д., Рагхаван, П., и Шютце, Х. (2008). Введение в поиск информации . Нью-Йорк: Издательство Кембриджского университета.

Google Scholar

Мацуо К., Ямада К., Уэно С. и Наито С. (2014). «Распознавание активности на основе внимания для эгоцентрического видео», в Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops (Columbus, OH, USA), 551–556.

Google Scholar

Монтесано Л. и Лопес М. (2009). «Изучение возможностей понимания местных визуальных дескрипторов», , 2009 г., 8-я Международная конференция IEEE по развитию и обучению, (Шанхай, Китай), 1–6.

Google Scholar

Морато, К., Кайпа, К. Н., Чжао, Б., и Гупта, С. К. (2014). На пути к безопасному взаимодействию с роботом-человеком за счет использования нескольких кинематических алгоритмов отслеживания человека в режиме реального времени. J. Comput. Инф. Sci. Англ. 14, 011006. DOI: 10.1115 / 1.4025810

CrossRef Полный текст | Google Scholar

Моррисон Р. Э. и Рейнер К. (1981). Размер саккады при чтении зависит от пробелов между символами, а не от угла обзора. Восприятие. Психофизика. 30, 395–396.DOI: 10.3758 / BF03206156

CrossRef Полный текст | Google Scholar

Моултон, К., Регер, Г., Лингард, Л., Мерритт, К., и Макрей, Х. (2010). Замедление, чтобы избежать неприятностей в операционной: оставаться внимательным в автоматическом режиме. Acad. Med. 85, 1571–1577. DOI: 10.1097 / ACM.0b013e3181f073dd

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Nyström, M., и Holmqvist, K. (2010). Адаптивный алгоритм для обнаружения фиксации, саккады и глиссады в данных отслеживания взгляда. Behav. Res. Методы 42, 188–204. DOI: 10.3758 / BRM.42.1.188

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Олдфилд, Р. К. (1971). Оценка и анализ руки: Эдинбургский инвентарь. Neuropsychologia 9, 97–113. DOI: 10.1016 / 0028-3932 (71)

-4

CrossRef Полный текст | Google Scholar

Пирсон, Дж., И Косслин, С. М. (редакторы) (2013). Ментальные образы . Frontiers Media SA.

Google Scholar

Петижан, Ф., Кеттерлин, А., Гансарски, П. (2011). Метод глобального усреднения для динамического преобразования времени с приложениями для кластеризации. Распознавание образов. 44, 678–693. DOI: 10.1016 / j.patcog.2010.09.013

CrossRef Полный текст | Google Scholar

Сприггс, Э. Х., Де Ла Торре, Ф., и Эбер, М. (2009). «Временная сегментация и классификация действий на основе восприятия от первого лица», в Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops (Miami Beach, FL: IEEE), 17–24.

Google Scholar

Шриниваса С.С., Беренсон Д., Чакмак М., Колле А., Догар М. Р., Драган А. Д. и др. (2012). Herb 2.0: уроки, извлеченные из разработки мобильного манипулятора для дома. Proc. IEEE 100, 2410–2428. DOI: 10.1109 / JPROC.2012.2200561

CrossRef Полный текст | Google Scholar

Truitt, F. E., Clifton, C., Pollatsek, A., and Rayner, K. (1997). Диапазон восприятия и размах рук при чтении музыки. Vis.когн. 4, 143–161. DOI: 10.1080 / 713756756

CrossRef Полный текст | Google Scholar

Виккерс, Дж. Н. (2007). Тренировка восприятия, познания и принятия решений: тихий глаз в действии . Шампейн, Иллинойс: Кинетика человека.

Google Scholar

Вестерфилд Г., Митрович А. и Биллингхерст М. (2015). Интеллектуальный тренинг с дополненной реальностью для сборки материнской платы. Внутр. J. Artif. Intell. Educ. 25, 157–172. DOI: 10.1007 / s40593-014-0032-x

CrossRef Полный текст | Google Scholar

Ю., Ц.и Баллард Д. (2002). «Понимание поведения человека, основанное на координации глаз-голова-рука», в Биологически мотивированное компьютерное зрение (Гейдельберг, Берлин: Springer), 611–619.

Google Scholar

Чжоу, Ф., и Де ла Торре, Ф. (2012). «Обобщенное искажение времени для многомодального согласования движений человека», в 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (Providence, RI: IEEE), 1282–1289.

Google Scholar

Посмотри мне в глаза: манипулирование взором влияет на мировоззрение о доминировании

OrthoGaze: управление трехмерными объектами на основе взгляда с использованием ортогональных плоскостей

https://doi.org/10.1016/j.cag.2020.04.005Получение прав и контента

Основные моменты

•

На основе взгляда Метод, который позволяет позиционировать объект без помощи рук в виртуальном мире для дисплеев, закрепленных на голове.

•

Наш метод может работать как с чистым взглядом головы, так и с чистым взглядом глаз.

•

Экспериментальные результаты показывают, что управление на основе взгляда с помощью нашего метода может достигать 78% и 96%, соответственно, по сравнению с ручным контроллером.

Аннотация

В виртуальной и дополненной реальности методы на основе взгляда изучались на протяжении десятилетий как эффективные пользовательские интерфейсы для взаимодействия без помощи рук.Хотя существует несколько хорошо известных методов на основе взгляда для простых взаимодействий, таких как выбор, не существует решений для задач трехмерного манипулирования, требующих более высокой степени свободы (DoF). В этой статье мы представляем OrthoGaze, новый пользовательский интерфейс, который позволяет пользователям интуитивно управлять трехмерным положением виртуального объекта, используя только свой глаз или взгляд головы. В нашем подходе используются три выбираемых ортогональных плоскости, каждая из которых не только помогает направлять взгляд пользователя в произвольном виртуальном пространстве, но также позволяет манипулировать положением объекта с 2 степенями свободы.Чтобы оценить наш метод, мы провели два пользовательских исследования, включающих задачи прицеливания и стыковки в виртуальной реальности, чтобы оценить фундаментальные характеристики прицеливания с постоянным взглядом и определить, какой тип управления на основе взгляда работает лучше всего в сочетании с OrthoGaze. Результаты показали, что пристальный взгляд был более точным, чем взгляд головы при длительном прицеливании. Кроме того, управление глазами и взглядом головы для трехмерных манипуляций обеспечивает эффективность 78% и 96% соответственно по сравнению с портативным контроллером.Субъективные результаты также предполагают, что манипуляции с помощью взгляда могут вызвать большую усталость, чем манипуляции с контроллером. Исходя из результатов экспериментов, мы ожидаем, что OrthoGaze станет эффективным методом для простого манипулирования объектами без помощи рук на вмонтированных в голову дисплеях.

Ключевые слова

Взаимодействие человека с компьютером

Отслеживание взгляда

Управление объектами

Пользовательский интерфейс

Рекомендуемые статьи Цитирующие статьи (0)

Полный текст

© 2020 Elsevier Ltd.Все права защищены.

Рекомендуемые статьи

Цитирование статей

[PDF] DeepWarp: Ресинтез фотореалистичных изображений для манипуляции взглядом

ПОКАЗЫВАНИЕ 1–10 ИЗ 31 ССЫЛКИ

СОРТИРОВАТЬ ПО релевантности Статьи, на которые оказали наибольшее влияние work изучает сверточную сеть, в которой желаемая атрибутивная информация кодируется, а затем объединяется с закодированным изображением на уровне карты признаков, и показывает многообещающие результаты, как качественно, так и количественно, в контексте эксперимента по поиску на двух наборах данных лиц.Развернуть

• Просмотреть 5 выдержек, ссылки на результаты, фон и методы

Сеть глубокой сверточной обратной графики

В этом документе представлена ​​сеть обратной графики глубокой свертки (DC-IGN), модель, которая направлена ​​на изучение интерпретируемого представления изображений, распутано по отношению к трехмерной сцене… Развернуть

• Просмотреть 3 выдержки, ссылки, методы и результаты

Создание глубоких визуальных аналогий

Новая глубокая сеть, обученная от начала до конца для выполнения визуальных аналогий, что является задачей преобразования изображения запроса в соответствии с примером пары связанных изображений.Развернуть

• Просмотреть 3 выдержки, ссылки, методы и результаты

Передача стиля изображения с помощью сверточных нейронных сетей

Представлен нейронный алгоритм художественного стиля, который может разделять и рекомбинировать содержимое изображения и стиль естественных изображений и обеспечивать новое понимание глубин представления изображений, изученные сверточными нейронными сетями, и демонстрируют их потенциал для синтеза и обработки изображений высокого уровня. Expand

DRAW: рекуррентная нейронная сеть для генерации изображений

Архитектура нейронной сети Deep Recurrent Attentive Writer для генерации изображений существенно улучшает современные генеративные модели в MNIST, а при обучении на наборе данных Street View House Numbers она генерирует изображения, которые невозможно отличить от реальных данных невооруженным глазом.Развернуть

• Просмотр 1 отрывка, справочная информация

Обучение поиску: коррекция взгляда монокуляром в реальном времени с использованием машинного обучения

В этой работе пересматривается известная проблема коррекции взгляда в видеоконференцсвязи и представлено решение, основанное на управляемом машинном обучении, которое является быстрым и может перенаправить взгляд ранее невидимого человека на ту же разницу углов, что и в обучающей выборке. Развернуть

• Просмотреть 10 выдержек, ссылки на методы, фон и результаты

Обучение созданию стульев с помощью сверточных нейронных сетей

Эта работа обучает генеративную сверточную нейронную сеть, которая способна генерировать изображения объектов с заданным типом объекта, точкой обзора и цветом, а также показывает, что сеть может использоваться для поиска соответствий между разными стульями из набора данных, превосходя существующие подходы в этой задаче.Развернуть

• Просмотреть 2 отрывка, ссылки, методы и фон

Понимание представлений глубоких изображений путем их инвертирования

Представления изображений, от SIFT и мешка визуальных слов до сверточных нейронных сетей (CNN), являются важным компонентом почти любого понимания изображений система. Тем не менее, наше понимание… Expand

• View 1 отрывок, ссылки на фон

Манипуляции взглядом для индивидуальной телеконференции

Новый алгоритм для временного обслуживания модели фона для улучшения визуализации окклюзий и уменьшения временных артефактов (мерцание) и алгоритм агрегирования затрат, который действует непосредственно на трехмерное пространство сопоставимых затрат.Развернуть

• Просмотреть 2 выдержки, справочную информацию и методы

Коррекция взгляда с помощью стереозрения для видеоконференцсвязи

Представлен новый подход, основанный на стереофоническом анализе в сочетании с обширными знаниями предметной области (персонализированная модель лица), который синтезирует виртуальное виды, поддерживающие зрительный контакт с помощью графического оборудования.