Виртуальная реальность

Процесс познания человеком мира вышел на новый виток. И этот новый уровень связан с разработкой и реализацией комплексной проблемы виртуальная реальность (Virtual Reality), активно развиваемой в университетах и промышленных компаниях США, Японии и Западной Европы.

Важным отличием «виртуального» подхода от предыдущих методов компьютерного моделирования процессов, происходящих в сложных системах, является возможно более полное использование знаний об особенностях поведения человека, о человеческом мозге, о процессах обработки образной информации, о взаимодействии сенсорных каналов (зрительного, слухового, тактильного и проч.), о формировании у человека обобщенного образа мира, ведь современные науки еще плохо представляют, как именно это происходит.

Разумеется, любое попадание на новый уровень — это результат глубокой проработки и обобщения результатов работы на предыдущих уровнях. Поэтому в проблеме «виртуальной реальности» существенное место занимает то, что довольно давно вошло в компьютерный обиход, — цветная и трехмерная графика, интерактивные системы человеко-машинного общения.

Использование полисенсорной информации и соответствующих обратных связей привело к невиданному прогрессу в разработке аппаратуры (видео-, аудио-, сенсоров-шлемов, специальных перчаток с датчиками) и программных средств (в частности, новых типов баз данных). Все это хозяйство позволяет в реальном масштабе времени создать «эффект присутствия» как в глубине образа, так и на его поверхности, анализировать и отображать полученные знания с различной степенью детализации образа, интенсификации проявления различных его свойств, в различных ракурсах.

Первостепенную роль в разработке проблемы «виртуальной реальности» играют такие особенности «человеческого фактора», знания о которых получаются в результате нейропсихолингвистических исследований. К подобным особенностям относятся, в частности, обработка полисенсорной (полимодальной) информации, адаптивная обратная связь, «взгляд изнутри» на объект, специфика механизмов межполушарной асимметрии мозга.

При изучении процессов восприятия человеком знаний о мире (а мир — это многоуровневая внешняя среда и многообъектная коммуникативная система) больше внимания традиционно уделялось этапам восприятия, формирования и, конечно, их компьютерному представлению. В настоящее время на передний план выходят проблемы понимания и интерпретации знаний, полученных по различным сенсорным каналам (имеются в виду цветовые оттенки, шероховатость поверхности, трехмерное полизвучание и т.п.).

Подход к познанию мира, основанный на «виртуальной реальности», предполагает отображение знаний в «кибернетическое пространство» (cyberspace) с учетом специфики человека на основе дуальной — «левополушарной» (логико-комбинаторной) и «правополушарной» (целостной; как говорят немцы, «гештальтной») стратегии обработки информации. В соответствии с «левополушарным принципом» реализуются сканирование по экрану, обход образа по контуру и логико-комбинаторная, численно-аналитическая и вероятностная обработки. «Правополушарный принцип» позволяет осуществить целостный охват входного образа на основе оценки многосвязности. Поэтому важным фактором в создании систем «виртуальной реальности» является использование нейросетевых моделей.

Еще одной гранью «виртуальной реальности» являются формализованные рассуждения субъекта, основанные на его личностных представлениях о добре и зле, красоте, возможном и недопустимом, отображение этих рассуждений в cyberspace. Подобный формальный аппарат и практически полный комплекс рассуждений уже разработаны В. Поляком.

В нашей стране работы в этой области ведет ряд творческих коллективов под эгидой секции «Нейроинтеллекг» Российского научно-технического общества радиотехники, электроники и связи им. А.С. Попова. Разрабатывается программное обеспечение по интерпретации метафор, интонационных характеристик речи, определению состояния человека на основе мимики, а также детектированию газов из смеси, в других областях экологии, биотехнологии. При формировании «виртуальной реальности» должны, видимо, использоваться свойства, присущие живому мозгу, например такие, как многосвязность и пластичность. Один из подходов поэтому и основан на изучении взаимного влияния этих свойств и характеристик (физических, геометрических, структурно-временных) в искусственных нейронных системах. В конкретной реализации модели, по-видимому, целесообразно использовать нанотехнологии.

В США проблематику «виртуальной реальности» разрабатывают и применяют при создании продукции такие известные и мощные фирмы, как Intel, IBM, Apple, Silicon Graphics, Hewlett-Packard, Boeing, DEC, Northrop, Chrysler и новые, специализированные, такие как VPL Research, SENSEB, Fake Space Labs, SIM-Graphics.

Вот некоторые конкретные приложения «виртуальной реальности» на практике. Фирма Chrysler с помощью фирмы IBM, используя трехмерные очки-линзы и сенсорные перчатки, сократила время проектирования очередной модели. Фирма Boeing использует подобный подход для обучения рабочих. Фирма Northrop ускорила проектирование двигателя истребителя F-18. С помощью компьютеров Macintosh, фиксируя различные параметры, характеризующие действия спортсменов (положение, скорость, гибкость), уже моделируют в реальном масштабе времени их динамику, что позволяет интенсифицировать возможности спортсменов.

В западной печати виртуальную реальность представляется как новую технологию, способную усилить возможности человеческого мышления. Поэтому на ее разработку выделяют сотни миллионов долларов.

Проблематика виртуальной реальности, как никакая другая сфера, тесно связана с результатами нейропсихолингвистических исследований. В этих направлениях советская наука всегда занимала передовые позиции. И. Павлов и А. Ухтомский, И. Бериташвили и Н. Бернштейн, Л. Выготский и Ф. Бассин (список легко можно продолжить) создали отличный фундамент. Математические модели еще в 50—60-х годах XX в. начали создавать И. Гельфанд, А. Ляпунов, М. Цетлин, С. Фомин. Это были пионерские работы, результаты которых использовались во всем мире.

Концепция виртуального мира (авторы исходной версии — А.Ю. Егоров, Л.Ф. Никулин)

Параллельный реальный виртуальный мир имеет ряд особенностей в сравнении с реальным миром.

• • Открытость. Только открытые системы обеспечивают мобильность переноса ресурсов и отношений с минимальными изменениями в более широкий диапазон подсистем, их совместную работу, а также «мобильность пользователя» при переходе от одного типа отношений к другим и взаимопроникновение первичных отношений различных типов.
• • Полупрозрачность, в отличие от идеологии полной прозрачности границ системы формирует так называемые антирастворимые в бюрократии самоорганизованные системы на основе использования эффекта внешней диффузии ресурсов и услуг и тем самым отказа от поглощения только своей собственной субстанции и при сохранении элементов кризиса.
• • Погруженность самосозданной системы горизонтальных клиен- тальных отношений в ресурсосодержащий организационный контекст как основа реализации самоорганизации и учета фактора неравновес- ности, т.е. «запуска» системы, в которой флуктуации превращаются в категорию саморазвития. Их интенсивность, по Ю.М. Свирежеву, пропорциональна численности клиентальных отношений.
• • Коммерция как основа предпринимательского системо- и структурообразующего ресурса в условиях невозможности появления на рынках «совершенной» конкуренции и при всеобщности так называемого золотого правила максимизации потребления на единицу капитала (Й. Шумпетер, Э. Фелпс, Р. Солоу, М. Фридмен).

Таким образом, имеем четыре ипостаси менеджмента в хоатиче- ской системе (организации):

• 1) менеджмент как горизонтальная функциональная иерархия паутинно-матричного типа (эмбрион) — структуро- и системоожи- дание в спящем режиме; готовность к производству массы проектов и ресурсонесущих клиентских отношений;
• 2) менеджмент как самоуправление и самоконтроль изнутри — структуро- и системообразование — зарождение и оформление проектов;
• 3) менеджмент как вертикальная иерархия как основа устойчивости структуры в целом для всего мультипроектного образования;
• 4) менеджмент извне организации как управление предметноцелевой областью, временем и возможностями всего образования в целом.

В целом получим мир существования менеджмента — совершенно виртуальный и тем не менее совершенно реальный для существующей системы и потребителей. Если предпринимательство рассматривать как специфический ресурс смешанной экономики, то основополагающими методами управления им следует принимать триаду:

• госуправление и программно-целевое корпоративное регулирование (после выявления факта и масштабов пульсаций);

Рис. 5.3. Обоснование предмета и концепции менеджмента:

«три лица» горизонтального менеджмента как «пульсирующего» самоменеджмента, или декомпозиция менеджмента как системы систем:

• • горизонтальный менеджмент;
• • самоорганизация.

Функционирование двух последних имеет чисто коммерческую основу (рис. 5.3).

Смешанная реальность: что это, область применения

Существуют три близких по значению понятия: виртуальная реальность, дополненная реальность и смешанная реальность. Дополненная реальность – добавление виртуальных образов в реальный мир. Виртуальная реальность – полная замена настоящего окружения на виртуальное. Дополненная и виртуальная реальность между собой не контактируют.

Смешанная реальность (MR) – это система, в которой реальные и виртуальные объекты взаимодействуют между собой, имеют конкретную форму и положение. Элементы смешанной реальности в ограниченных количествах и с неполным набором функций используются в настоящее время.

Существует множество теорий об идеальной смешанной реальности, так называемом континууме виртуальности. Одну из них выделил американский экономист и педагог Паул Роберт Милгром в 1994 году. Его определение и теория базировались на концепте Стива Манна. До этого понятия «смешанная реальность» не формулировалось, а её элементы относили к виртуальной или дополненной реальности.

Разработки смешанной реальности широко используют в физике. Область физики, занимающейся изучением технологий смешанной реальности называют межреальной физикой. Межреальная среда, по мнению физиков, составляет смешанную реальность, где бок о бок существует виртуальное и реальное, а чёткие грани между ними стёрты.

Межреальная среда с точки зрения физики — это технически дополненная реальность, в которой виртуальные элементы имеют своё определённое положение, форму, объём, и с ними можно взаимодействовать.

Отличия смешанной и дополненной реальности

Виртуальная, дополненная и смешанная реальности имеют свои отличительные особенности. Для чёткого понимания определений, особенно между дополненной и смешанной реальностью, необходимо подробно рассмотреть их отличительные особенности. Отличительные особенности характеристик дополненной и смешанной реальности представлены в таблице.

История смешанной реальности

С 2016 года компанией «Microsoft» ведётся разработка новых очков дополненной реальности «Hololens». Несмотря на то, что это гарнитура имеет характеристики дополненной реальности, это первый шаг к MR. Информационные окна, с которыми можно работать на компьютере или телефоне, помещаются на стенах, а устройство запоминает их положение.

Если бы очки «Hololens» могли показывать не только плоские изображения, но и объёмные виртуальные объекты, то их можно было бы назвать очками смешанной реальности. Подобное устройство разрабатывается компанией «Magic Leap», но из-за полной секретности проводимых работ говорить о его принадлежности к тому или иному поколению аппаратуры нельзя.

На данный момент, создание идеальной смешанной среды невозможно. Но отельные «кусочки» смешанного пространства можно воспроизводить с помощью модернизированных устройств, предназначенных для работы в дополненной и виртуальной реальности: в шлемах и очках AR/VR, переносимых полупрозрачных дисплеев, компьютерах и смартфонах.

Трудности реализации MR

Среди трудностей создания смешанной реальности можно выделить следующие:

• Из-за необходимости контактирования с объектами, в программе должны быть прописаны условия этого взаимодействия. Говоря более простыми словами, программа должна знать не только проецируемые объекты, но и самого пользователя.
• Компактность и удобность системы сложно осуществима, ввиду необходимости использования нескольких камер, датчика определения положения в пространстве, наличие навигационной системы, и вывода 3D изображения или голограммы.
• Огромные объёмы информации, необходимых для использования устройств, погружающих пользователей в смешанную реальность, необходимо хранить и обрабатывать. В настоящее время на это способен не каждый суперкомпьютер.
• Необходимость использовать новые средства вывода информации или сложные и немассовые, которые выглядят громоздко и не компактно.

Из-за совокупности этих трудностей создание, использование и массовое производства устройств для работы в смешанной реальности до сих пор не реализуемы. На современном уровне развития технологий можно лишь создавать небольшие пространства MR, что накладывает определённые ограничения в их использовании.

Область применения смешанной реальности

Контактирование с виртуальными объектами стало возможным благодаря компьютерам и смартфонам. Это особенно удобно, когда пользователь хочет увидеть объект со всех сторон. Например, каталоги товаров интернет-магазинов начинают массово переносить товары в 3D формат. Уже сегодня можно без выхода из дома посмотреть прилавки, взять и разглядеть понравившеюся вещь. В России это направление до сих пор не получило свое развитие. В наших интернет-магазинах не всегда можно найти фотографии товаров.

Ещё одной областью применения смешанной реальности можно назвать симуляторы для обучения. Самым распространённым видом использования симуляционного обучения является тренировка пилотов гражданской и боевой авиации на специальных тренажёрах. Сам тренажёр представляет собой полную копию кабины самолёта, но вместо стекла в нём дисплеи, отображающие виртуальную картину за бортом. Иногда такие тренажёры могут вращаться в нескольких плоскостях, в зависимости от действий обучающегося и моделируемой ситуации. Подобные тренажёры создаются не только для авиационной, но и для других видов техники.

Популярные в начале нулевых симуляторы гонок с использованием руля и педалей, использовали элементы смешанной реальности. Как на тренажёрах, так и в игре человек с помощью реальных физических объектов взаимодействует с виртуальной средой.

Устройства, помогающие работать с элементами смешанной реальности широко используют в промышленности, в частности в строительстве, где проецируются виртуальные модели зданий. Стоит отметить, что если объекты просто проецируются — это дополненная реальность, но если с ними можно контактировать каким-либо образом, их изменять — смешанная среда.

Программы, в которых используются элементы MR

Самое распространённая программа, в которой используются элементы смешанной реальности — программное обеспечение «Windows Mixed Reality» от компании «Microsoft». Windows Mixed Reality создана для использования на платформе «Windows 10». Для работы необходим шлем или очки. Изначально объявлено, о том что всю гарнитуру выпускает и разрабатывает компания-разработчик, за использование устройств, произведенных в других компаниях, «Microsoft» ответственности не несёт. О разработке «Windows Mixed Reality» объявлено в 2016 году. В 2017 году сделано заявление, о совместимости использования Xbox One, для работы с игровыми приложениями. Разработчики указали на факт фокусировки работы аппаратуры с ПК на собственной платформе «Windows 10». В 2017 году аппаратура и программное обеспечение официально поступили в продажу.

Возможности программы огромны, главным её предназначением остаётся работа в операционной системе «Windows» с помощью устройств дополненной реальности. Пользователи получили возможность управления операционной системой не только с помощью компьютерной мыши, джойстиков и клавиатуры, но с помощью движений рук.

На данный момент программа «Windows Mixed Reality» является единственной в своём роде, её аналоги не имеют сильных отличительных особенностей работы в смешанной реальности. Большинство программ конкурентов имеют неполный набор функций, и больше подходят под описание дополненной реальности с частичным вмешательством.

Киберфизические системы в образовании

Статья посвящена анализу технологического развития общества, основной характеристикой которого является научно-техническая и цифровая трансформация. На стыке материального (искусственного) и цифрового миров возникают киберфизические системы, ставящее перед человеком задачи по изменению базовых технологий и формированию нового мышления, позволяющему думать одновременно в реальном и виртуальном форматах.

Как отвечает образование этому вызову цифрового общества?

Дмитрий Махотин, канд. пед. наук, главный редактор журнала «Интерактивное образование»

Существуют разные концепции технологического развития экономики и общества, объясняющие смену базовых технологий и научно-техническую трансформацию – смена технологических укладов, эпохи индустриализма и постиндустриализма, идеи информационного общества, переход экономики от 1.0 до 4.0 и прочие. Как ответ этим концепциям и запросам от новой экономики и производства – в образовании начинают обсуждать концепции «постиндустриального образования» (А.М. Новиков [10]), образование 3.0 и 4.0 [1, 5, 6, 8], цифровое образование…

Среди этих концепций важным, на наш взгляд, является переход от природного мира к материальному и дальше к цифровому. Если первый переход был долговременным и сопровождаемым целым рядом промышленных революций (как минимум, первой и второй) и внедрением новых, последовательно сменявших друг друга технологий; то второй переход, связанный с цифровой трансформацией – будет значительно быстрым и всеохватывающим, проникающим во все сферы производства и социума.

Высокие технологии индустриального или материального (физического) мира – передовые технологии обработки материалов (вещества) с высокой степенью управления технологическими процессами, а также управление «атомом» и другими физико-химическими процессами, технологиями, в которых преобладают конвергенция науки и технологий, и пользуются исключительно инженерной терминологией – мониторинг, техника и технологии, проектирование, конструирование, моделирование и пр.

Технологии цифрового мира – технологии, основанные не просто на цифровизации всех технологических процессов и получения мгновенной обратной связи от технических систем, — это технологии глубокого проникновения «цифры» в «технологию», что позволяет выделять новый уровень систем – не технических, а киберфизических, намного более сложных и многомерных (от 3D и выше).

Термин «киберфизические системы» предложила в 2006 году Хелен Джилл, директор по встроенным и гибридным системам в Национальном научном фонде США, чтобы подчеркнуть отличительную особенность организованного ею семинара NSF CPS Workshop. Организаторы воркшопа пытались пересмотреть роль встроенных систем, и это им удалось — они уловили общую тенденцию, а уже через пару лет началось стремительное развитие CPS, и прогресс в этом классе систем был признан одним из наиболее важных направлений технического развития в США, а чуть позже и в Европе [7].

В русскоязычной википедии Киберфизическая система (cyber-physical system, CPS) рассматривается как «информационно-технологическая концепция, подразумевающая интеграцию вычислительных ресурсов в физические сущности любого вида, включая биологические и рукотворные объекты. В киберфизических системах вычислительная компонента распределена по всей физической системе, которая является её носителем, и синергетически увязана с её составляющими элементами» [3].

В англоязычной Википедии уточняется, что в киберфизических системах физические и программные компоненты глубоко переплетены, действуют как встроенные системы (в отличие от автономных устройств), в том числе на разных пространственных и временных уровнях, и взаимодействуют друг с другом способами, которые изменяются с контекстом [12].

Среди технологий, которые лежат в основе развития киберфизических систем, отмечают: большие данные и аналитику, нейронные сети и глубокое машинное обучение, облачные вычисления, интернет вещей, моделирование и стимуляторы, дополненную реальность, кибербезопасность и пр.

Л. Черняк рассуждая, что сложность возникающих в киберфизических системах задач приводит к мысли о том, что речь не идет о создании интеллектуальных систем, более крупных, чем существующие, где компьютеры интегрированы или встроены в те или иные физические устройства или системы [11]. Речь идет о взаимодействии двух типов моделей: с одной стороны, это традиционные инженерные модели (механические, строительные, электрические, биологические, химические, экономические и другие), а с другой — модели компьютерные.

Модель является системным элементом киберфизических систем – от того, как она соотносится с реальностью, реальными техническими и прочими объектами, зависит работоспособность и эффективность киберфизической системы, управляющей процессами с помощью «цифрового двойника». Уже сегодня ученые отмечают, что реальность – это не трёхмерная картина зданий и технических объектов, – это многомерное представление, доходящее до десятков измерений. Считается, что не за горами появление новой научной области (дисциплины) проектирование моделей (model engineering).

При этом у специалистов, проектирующих и управляющих киберфизическими системами, возникает новое многомерное мышление – позволяющее им понимать, как реальный (физический мир), так и отражение его в мире цифровом. Потребность на таких специалистах растет в геометрической прогрессии (их фактически сегодня нет на рынке труда).

По мнению немецких ученых, появление киберфизических систем и формирования на их основе «Индустрии 4.0» затрагивают интересы общества в целом, поэтому должны рассматриваться не только в техническом, а в более широком социокультурном аспекте, с учетом демографических и других происходящих изменений.

Исследования высокотехнологичных компаний показывают серьезный рост развития киберфизических систем, который во многом связывают с ростом количества и качества «умных» устройств и сенсорных сетей и их объединением в более крупные системы, вплоть до обсуждения крупномасштабных проектов, например, «умных городов», «умных островов» и пр. Однако, технический директор Toshiba доктор Cиро Саито (Shiro Saito), очень важным для будущего этих систем является переход к открытым инновациям. «Крайне важно не попасться в ловушку желания достичь всего самостоятельно», — отмечает он [4]. Именно поэтому компания активно занимается инвестициями в современные технологии, связанные с кибер-физическими системами, и сотрудничает с другими организациями, например, работает совместно со Стэндфордским университетом над снижением энергопотребления ИИ-чипов.

Думаю, что образование не станет последней отраслью хозяйствования, в которую придут киберфизические системы. Несомненно, что запрос на кадры для новой цифровой, высокотехнологичной экономики будет первым шагом к внедрению КФС для обучения специалистов новой формации. Другой перспективной ветвью развития станет разработка образовательных киберфизических систем, позволяющих: а) формировать новое цифровое мышление как отражение реальных технических и прочих процессов; б) обучать школьников и студентов новым технологиям на стыке физического и цифрового миров.

Литература.

1. Голицына И.Н. Технология Образования 3.0 в современном учебном процессе // Образовательные технологии и общество. 2014. С. 646-656.
2. Кальней В.А., Махотин Д.А. Технологическое образование в постиндустриальном обществе // Вестник РМАТ. 2015. №3. С. 68-76.
3. Киберфизическая система / Свободная энциклопедия Википедия. URL: https://ru.wikipedia.org/wiki/Киберфизическая_система (дата обращения 20.02.2020)
4. Кибер-физические системы в современном мире / Блог компании Toshiba (на Хабр). URL: https://habr.com/ru/company/toshibarus/blog/438262/ (дата обращения 20.02.2020)
5. Кондаков А.М. Образование 3.0 : большая перемена. URL: http://www.eduru/sites/default/files/upload/2014/04/Obrazovaniie_3.0.pdf (дата обращения 20.02.2020)
6. Кондаков А.М. Цифровое образование: матрица возможностей. URL: https://itforum.admhmao.ru/upload/iblock/2d1/ALEKSANDR-KONDAKOV.pdf (дата обращения 20.02.2020)
7. Куприяновский В.П., Намиот Д.Е., Синягов С.А. Кибер-физические системы как основа цифровой экономики // International Journal of Open Information Technologies, vol. 4, no. 2, 2016.
8. Малыгин И.Г., Комашинский В.И., Цыганов В.В. От Науки 4.0 к России 4.0. URL: http://www.iptran.ru/images/pdf/imts/From%20Science%204.0%20to%20Russia%204.0.pdf (дата обращения 20.02.2020)
9. Махотин Д.А. Развитие технологического образования школьников на переходе к новому технологическому укладу // Образование и наука. 2017. Т. 19. №7. С. 25-40.
10. Новиков А.М. Постиндустриальное образование. М.: Эгвес, 2008. 136 с.
11. Черняк Л. Киберфизические системы / Cyber-Physical System, CPS / К чему приведет слияние интернета людей, вещей и сервисов? URL: http://www.tadviser.ru/index.php/Статья:Киберфизические_системы_(Cyber-Physical_System,_CPS) (дата обращения 20.02.2020)
12. Cyber-physical system / Wikipedia, the free encyclopedia. URL: https://en.wikipedia.org/wiki/Cyber-physical_system (дата обращения 20.02.2020)
13. Sanfelice R. G. Analysis and Design of Cyber-Physical Systems. A Hybrid Control Systems Approach // Cyber-Physical Systems: From Theory to Practice / D. Rawat, J. Rodrigues, I. Stojmenovic. — CRC Press, 2016.

При подготовке материала использовались источники:
https://studref.com/401252/menedzhment/virtualnaya_realnost
https://virtre.ru/articles/mixed-reality/smeshannaya-realnost-chto-eto-oblast-primeneniya.html

Киберфизические системы в образовании