• Дополнительная реальность — это новая навигационная технология, позволяющая накладывать клиническую информацию на поле зрения хирурга.
• Системы дополненной реальности могут с успехом применяться при планировании и выполнении индивидуального эндопротезирования суставов, а также в обучении хирургов-ортопедов.
• Дополненная реальность стала возможной благодаря улучшению вычислительных возможностей, повышению точности системы слежения и разработке алгоритма понимания окружающего пространства.
В этой статье на сайте изложены некоторые размышления о применении технологии дополненной реальности в области индивидуального эндопротезирования тазобедренного и коленного суставов. Статья на сайте разделена на три основные части. В первой части кратко описывается концепция реальности и обсуждаются последние технические достижения, которые дали возможность использовать эту новую технологию в операционной.
Во второй части описывается процесс создания дополненной реальности и рассматриваются технические ограничения, которые еще предстоит устранить. В третьей части приведены клинические примеры использования технологии дополненной реальности.
а) От реальности к дополненной реальности. Хирурги привыкли взаимодействовать с объектами в окружающем пространстве. Во время операции хирурги используют все органы чувств, что позволяет им решать сложные задачи наилучшим образом. Однако чаще всего хирурги полагаются на зрительные, тактильные и слуховые ощущения. Умение оценивать ситуацию с помощью органов чувств оттачивается во время обучения и клинической практики.
За последние несколько десятилетий были разработаны цифровые технологии дополненной реальности для взаимодействия с ощущениями человека. Эти технологии позволяют перенести пользователя в цифровую реальность, воздействуя на органы чувств человека с помощью цифрового интерфейса. Средства этого интерфейса включают изображения, звуки и давление. Когда цифровая система способна измерить действия пользователя, она может преобразовать цифровую реальность и представить ее новую версию пользователю.
Эти технологии (кроме воздействия на тактильные ощущения) широко используются в компьютерных играх, особенно в шутерах от первого лица. В этом случае используется виртуальная реальность без погружения, поскольку пользователь находится в реальной среде. Недавно представленные шлемы виртуальной реальности позволяют перенести пользователя из реального мира, выводя изображения на 3D-дисплей. В этом случае используются два дисплея (для правого и левого глаза), на которые выводятся изображения, полученные с разных ракурсов.
Полученный стереоскопический эффект обеспечивает полное погружение пользователя в виртуальную реальность. При использовании гарнитуры дополненной реальности виртуальные 3D-объекты проецируются на реальное окружение.
Цель цифровых технологий, используемых в дополненной реальности, с самого начала заключалась в изменении ощущений пользователя. Действительно, цифровые системы способны обрабатывать информацию об объекте или визуализируемом пространстве, создавая своего рода реальность. Разработаны программные средства, с помощью которых интерфейс воздействует на органы чувств пользователя, прежде всего, на зрение и слух.
Вначале для передачи виртуальной информации пользователю стали использовать экраны и звуковые устройства. Для воздействия на осязание были разработаны устройства передачи тактильных ощущений. Однако воздействовать на осязание особенно сложно, поскольку необходимы механические усилия, которые трудно создать с помощью носимых устройств. Понятие дополненной реальности, цель которой заключается в проецировании информации из виртуального пространства в реальное, требует понимания реальности и правильной визуализации виртуальных объектов.
Удобство использования информации неразрывно связано с качеством информации и ее представлением. Например, было бы сложно разработать план операции при плохом качестве изображения и низкой точности передачи костной поверхности. Это техническое ограничение существовало в течение нескольких лет. За последние десятилетия цифровой мир стал более совершенным и доступным. Благодаря техническому прогрессу улучшились вычислительные возможности, появились лучшие интерфейсы вывода и устройства небольшого размера. Производительность компьютеров увеличилась экспоненциально. Последний суперкомпьютер Tianhe-2 в 2,73х1012 раза мощнее, чем IBM 704, выпущенный в 1954 г.
С увеличением производительности компьютеров повысилась и их доступность. Например, компьютер Сгау-2, выпущенный в 1985 г., и iPhone-6 имеют сходную производительность. Как показано в табл. 1, благодаря техническим достижениям устройства стали меньше и проще в использовании. Кроме того, устройства стали более доступными; продано менее сотни компьютеров Cray-2 и >220 млн iPhone-6. Уровень знаний также имеет большое значение. С Cray-2 могли работать только программисты и инженеры, а с iPhone-6 может справиться практически любой человек.
Еще одним важным фактором является стоимость: Cray-2 стоил 32 млн долларов США, а iPhone-6 — 649 долларов США. Появление более совершенных устройств отображения и повышение мощности вычислительных ресурсов позволили улучшить качество генерируемых изображений и приблизить их к реальности (рис. 1).
Рисунок 1. Изображения, созданные в системах виртуальной реальности в разные годы. Видно улучшение качества рендеринга и повышение реалистичности изображения. Изображения, полученные в 1994, 2002 и 2019 гг.
Тактильные ощущения — это отдельная часть, которая связана с областью робототехники.
Это небольшое сравнение помогает понять, какие важные достижения в области цифровых технологий привели к внедрению дополненной реальности в клиническую практику. Повышение эффективности планирования и возможность увидеть параметры позиционирования имплантатов в режиме реального времени позволят улучшить результаты хирургического лечения. Дополненная реальность — одна из возможных технологий, с помощью которой хирург может получать дополнительные данные во время операции.
б) Принцип действия дополненной реальности. Цель технологии дополненной реальности заключается в проецировании виртуальных элементов в поле зрения пользователя. Используемая информация должна быть связана с реальностью. Это означает, что система должна оценить и понять реальность пользователя, обработать ее для вычисления необходимой информации, а затем преобразовать и спроецировать в реальность пользователя. Именно поэтому для вычисления информационной обратной связи необходимо оценивать положение пациента, а также относительное расположение оборудования (например, инструментов и устройств отображения).
1. Слежение. Существует несколько технологий определения и отслеживания положения объекта. С этой целью могут использоваться три класса методов измерения: контактный, полуконтактный и бесконтактный. Это зависит от характера связи между объектом и измерительным оборудованием.
В контактных системах устройство измерения механически связано с объектом. Например, в системе Acrobot для определения положения и ориентации объектов используется цифровой преобразователь в виде манипулятора. С помощью манипулятора регистрируют все пространственные параметры, включая длину и угловые значения.
В полуконтактных системах маркеры прикрепляются к анатомическим ориентирам, но имеют бесконтакную связь с камерами. Трехмерное положение маркера вычисляется путем триангуляции данных о 2D-положении маркера с каждой камеры оптической системы. Система распознает объект благодаря уникальной пространственной конфигурации каждого прикрепленного маркера. Этот метод используется в большинстве систем навигации.
Бесконтактные системы появились недавно и находятся на этапе разработки. В этом случае отслеживание анатомических ориентиров не требует использования контактных маркеров. Это стало возможным благодаря появлению камер глубины [см. Лю (Liu) и соавт.]. Камера глубины представляет собой активный датчик, который проецирует структурированный свет на сцену. Благодаря световой проекции камера глубины может реконструировать 3D-поверхность сцены. В этом случае анатомические ориентиры становятся своими собственными маркерами. Отслеживание осуществляется путем регистрации поверхностей и их отслеживания в динамике. Однако этот метод находится на этапе проверки обоснованности концепции.
Метод весьма перспективен, поскольку позволяет отслеживать не только положение кости, но и процесс изменения ее формы. При использовании контактных и полуконтактных систем пользователь должен сделать замеры костной поверхности с помощью специального инструмента, чтобы обеспечить регистрацию костной поверхности устройством слежения. Напротив, бесконтактная система сама моделирует 3D-поверхность объекта. Эта модель костной поверхности будет использоваться на этапе вычислений для регистрации кости.
Для дополненной реальности лучше всего будут подходить полуконтактные и бесконтактные системы слежения. На рис. 2 приведен пример гибридного слежения (полуконтактного и бесконтактного), при котором для отслеживания дрели используется маркер, а для отслеживания головки бедренной кости — камера глубины.
Рисунок 2. Проверка обоснованности концепции использования интраоперационной системы дополненной реальности. В этой системе используются бесконтактная система слежения для бедренной кости и гарнитура дополненной реальности для визуальной обратной связи. Особенность этой сборки заключается в автоматическом позиционировании камеры глубины манипулятором робота, что обеспечивает видимость бедренной кости при ее загораживании. Для отслеживания инструмента используется классический полуконтакный метод слежения с использованием маркера
Недостатком контактных и полуконтактных систем слежения является необходимость оцифровки формы кости в начале операции, а также при каждом контроле изменения кости, что требует определенного времени. Однако они устойчивы к изменению формы кости, поскольку для отслеживания используются маркеры. Недостаток бесконтактной системы связан с точностью датчика глубины и интерпретации сцены (идентификация и различение 3D-объектов в сцене).
2. Вычисление. Вычислительный этап процесса состоит из двух операций. Первая операция заключается в регистрации анатомических образований с использованием предоперационных изображений. Вторая операция — вычисление клинического индекса на основе необработанной информации, которая используется, например, для сравнения текущей ситуации с предоперационным планом. Необходимость регистрации обусловлена различиями в положении пациента при выполнении предоперационной визуализации и на операционном столе. Регистрация необходима для вычисления пространственного преобразования между предоперационными изображениями и интраоперационной картиной.
При выполнении ортопедических операций этот этап проще, чем при хирургических вмешательствах на мягких тканях, поскольку кость представляет собой плотную структуру. Контактные и полуконтактные системы слежения обеспечивают надежную регистрацию. Этап регистрации используется в большинстве навигационных систем. Как правило, используется метод регистрации на основе реперных точек. В этом случае анатомические реперные точки аннотируют на предоперационных изображениях, а затем хирург идентифицирует эти точки в ходе операции. Он пытается найти пространственное преобразование, которое позволит сопоставить точку измерения кости с предоперационной поверхностью кости.
В этом случае костную поверхность идентифицирует хирург, он сам распознает и отмечает точки. При регистрации обычно используется итеративный алгоритм ближайших точек между поверхностью, полученной при компьютерной томографии, и точками, отмеченными в ходе операции. При использовании бесконтактного метода этот процесс сложнее, поскольку камера глубины фиксирует окружающую обстановку, кости, мягкие ткани и фон. Первый этап анализа заключается в определении характера тканей. После завершения этого этапа измеренную поверхность кости сравнивают с соответствующей костной поверхностью, измеренной по данным предоперационной визуализации. Вторая вычислительная операция направлена на обработку полученных данных о положении анатомических ориентиров и оборудования для дальнейшего формирования клинически значимой информации.
Например, выполняется сравнение фактической ситуации с данными пред- или интраоперационного планирования. С этой целью на каждом конкретном этапе операции будут сравниваться соответствующие данные. Например, в ходе ТЭКС при выполнении опилов бедренной кости положение осциллирующей пилы будет сравниваться с положением бедренной кости. Это позволит системе вычислить положение плоскости резекции относительно предоперационного плана. Затем можно извлечь ценную клиническую информацию, в том числе угловую ошибку между нормальными плоскостями и отклонение от правильной точки входа в кость.
3. Визуализация. В процессе визуализации формируется изображение, которое будет представлено пользователю. В случае дополненной реальности цифровая реальность совмещается с реальностью хирурга. Данные измерений положений объектов и гарнитуры позволяют определить точку наблюдения в реальности и спроецировать виртуальный объект в нужном месте. На рис. 3 и 4 приведены примеры визуальной обратной связи, когда клиническая информация накладывается на поле зрения хирурга. Информация может накладываться на реальный объект (рис. 4) или проецироваться вне сцены в виде виртуальной информационной панели (рис. 3).
Рисунок 3. Вид через гарнитуру дополненной реальности. Зеленая точка обозначает достижение целевых углов инклинации (вертикальная линия) и антеверсии (горизонтальная линия). Если отклонение какого-либо угла превышает 1°, точка становится красной
Рисунок 4. Визуальная обратная связь в процессе сверления головки бедренной кости при поверхностном эндопротезировании тазобедренного сустава. Стрелками указаны точка входа и целевое направление: а — стрелка имеет красный цвет при отклонении от направления (>1°) и точки входа (>1 мм); б — расстояние до точки входа составляет <1 мм, о чем свидетельствует зеленый наконечник стрелки; в — если отклонение от направления составляет <1°, стрелка полностью становится зеленой
Недостаток заключается в том, что системе требуется время, чтобы адаптироваться к изменению ситуации. Например, при быстром движении точка наблюдения может быть разной в разные моменты (момент получения данных слежения, момент завершения рендеринга изображения и момент отображения). Это приведет к некоторой несогласованности обратной связи. Эту проблему можно решить, сократив задержку при слежении и рендеринге с помощью более совершенных технологий.
в) Возможности дополненной реальности в хирургии. Успех тотального эндопротезирования тазобедренного и коленного суставов зависит от правильности позиционирования имплантата. Точная имплантация имеет первостепенное значение при индивидуальном эндопротезировании, когда учитываются особенности анатомии и кинематики сустава. Говоря более конкретно, необходимо составить точный индивидуальный план, выполнить точную имплантацию согласно этому плану, а затем оценить полученный результат в режиме реального времени. Дополненная реальность скоро займет свое место в ортопедии.
Действительно, 3D-представление данных может быть полезным на некоторых этапах операции. Будут наблюдаться определенные улучшения, касающиеся пред- и интраоперационного планирования, интраоперационной ассистенции и обучения хирургов.
1. Предоперационное и интраоперационное планирование. При подготовке к операции хирург учитывает многочисленные информационные аспекты. Однако анатомические образования часто представлены в виде 2D-изображений (рентгенограммы или КТ-сканы) или в виде 3D-изображений, но на плоском экране. В этом случае представление 3D-информации ограничивается интерфейсом воспроизведения. Новая гарнитура дополненной реальности, в которой используются два дисплея (для каждого глаза), позволяет представлять 3D-информацию в 3D-интерфейсе, что повышает точность планирования. Врач сможет в полной мере оценить пространственные особенности, что положительно скажется на качестве имплантации и, возможно, позволит улучшить клинический результат.
2. Интраоперационное ассистирование. В настоящее время в качестве ассистентов уже используют компьютерную навигацию и робототехнику. Однако роль основного интерфейса обратной связи выполняет экран, расположенный в стороне от рабочей зоны. Это означает, что хирург должен переключать внимание между операционным полем и экраном. Технология дополненной реальности позволяет хирургу сосредоточить свое внимание на пациенте, накладывая необходимую информацию непосредственно на поле зрения. Это улучшает эргономику пространства операционной. Хирург имеет возможность оценивать обратную связь от навигационной системы, не теряя визуальный контроль над своими движениями. Первый шаг в этом направлении сделал профессор Родригес (Rodriguez), который использовал проекцию навигационного экрана в поле зрения хирурга.
Этот первый упрощенный шаг не требует точного позиционирования гарнитуры и позволяет избежать проблемы обработки изображений в режиме реального времени, чтобы надежно наложить информацию обратной связи на пациента. В хирургии плечевого сустава профессор Грегори (Gregory) использовал HoloLens, но регистрация производилась вручную. Поскольку HoloLens отслеживает свое положение относительно стен помещения, при ошибке позиционирования HoloLens (±5 мм) или движении пациента требуется коррекция регистрации. Это подчеркивает важность этапа отслеживания в технологии дополненной реальности.
Наконец, методика КВ при эндопротезировании тазобедренного и коленного суставов направлена на воспроизведение индивидуальных анатомических особенностей с учетом параметров кинематики. Технология дополненной реальности позволит повысить точность восстановления собственной анатомии и улучшить контроль качества после имплантации окончательных компонентов.
Скоро технология позволит наложить любую информацию, необходимую хирургу. Такую информацию можно будет использовать на любом этапе операции — от определения плоскости резекции до окончательного позиционирования имплантата. После начала операции и выполнения резекции кости положение некоторых ориентиров, необходимых для обозначения положения имплантата, может измениться. Эти обозначения могут перестать быть надежными, что поставит под угрозу окончательное положение имплантата.
Уже проведены некоторые доклинические испытания при операциях на тазобедренном и коленном суставах. Фотухи (Fotouhi) и соавт. использовали данные RGB-D камеры, наложенные на данные рентгеновского аппарата с С-дугой при позиционировании вертлужного компонента тотального эндопротеза тазобедренного сустава, и достигли очень низкого уровня погрешности для смещения (1,98 мм), антеверсии (1,10°) и отведения (0,53°).
Лю (Liu) и соавт. использовали данные с камеры глубины и робототехнику при выполнении ПЭТС. Положение и ориентацию просверленных отверстий сравнивали с предоперационным планом, средняя погрешность составила приблизительно 2 мм и 2°. Ван Дюрен (Van Duren) и соавт. использовали цифровой имитатор флюороскопической визуализации с ортогональными камерами для отслеживания цветных маркеров, прикрепленных к проводнику для введения динамического бедренного винта. Было показано, что точность алгоритма возрастала с увеличением итераций до 20, после чего ошибка асимптотически сводилась к погрешности 2 мм.
Хиранака (Hiranaka) и соавт. показали, что при введении гвоздя для фиксации головки бедренной кости использование дополненной реальности для проецирования экрана флюороскопа в поле зрения хирурга позволило увеличить точность введения, а также снизить лучевую нагрузку и уменьшить время операции. Дарио (Dario) и соавт. использовали мехатронный инструмент дополненной реальности при выполнении артроскопии коленного сустава, общая ошибка системы составила 3—4 мм.
Эти предварительные результаты свидетельствуют о том, что технология дополненной реальности может повысить эффективность и безопасность выполнения ТЭКС и ТЭТС, особенно в контексте персонализированного позиционирования имплантатов.
3. Обучение. Дополненная реальность скоро займет важное место во многих областях медицинской практики. Например, система дополненной реальности использовалась при обучении эндопротезированию для предоставления обратной связи об ориентации вертлужного компонента относительно целевого положения. Благодаря обратной связи через гарнитуру виртуальной реальности стажер может более точно позиционировать вертлужный компонент, подобрав оптимальную инклинацию и угол версии. Этот метод позволит постоянно сохранять визуальную обратную связь и отточить моторику. Например, тренажер с дополненной реальностью для позиционирования вертлужного компонента практически столь же эффективен, как и обычное обучение с обратной связью от специалиста. При обучении этому важному этапу ТЭТС визуальная обратная связь от тренажера (см. рис. 3) была сопоставима с обратной связью от специалиста.
г) Резюме. Вне всякого сомнения, технология дополненной реальности в ближайшее время займет важное место в области эндопротезирования суставов. Вполне вероятно, система дополненной реальности позволит улучшить точность имплантации и упростить рабочий процесс, но, в отличие от систем компьютерной навигации и робототехники, не повлечет за собой существенные дополнительные расходы. Прежде чем внедрять технологию дополненной реальности в повседневную клиническую практику, необходимо решить некоторые технические недостатки.
