Комплекс интернет-медиасредств
на базе компонентной π-технологии

В.В.Прохоров, 2002

Работа выполнена при частичной финансовой поддержке РФФИ, грант 02-07- 90361

1.      Введение

Среди различных видов информации, передаваемой с помощью современных интернет-технологий, особо выделяется передача динамических изображений (видеоданных) и звука (аудиоданных). При этом системы медиавещания, медиаконференций и т.п. относятся в настоящее время, пожалуй, к группе самых массовых мультикомпьютерных систем.

Технологии, связанные с передачей видео- и аудиоинформации через Интернет в реальном времени, могут весьма плодотворно использоваться в разных областях, например, в бизнесе, в научном общении, в образовании, медицине, в средствах массовой информации, в быту и др.

Прежде всего, потребность в передаче видео-аудиопотоков ("медиапотоков") через интернет возникает при организации удаленного взаимного общения между собой группы людей для проведения совместных обсуждений, семинаров, консилиумов и т.п. Имеется множество средств организации удаленного общения через Интернет, не связанных с передачей медиаданных, – электронная почта, системы оперативного обмена текстовыми сообщениями (типа ICQ), конференции и др. Каждое из этих средств обладает своими сильными и слабыми сторонами. В ряде случаев использование систем видео- (или хотя бы только аудио) коммуникаций обладает значительными преимуществами по сравнению с другими средствами общения: оперативностью, привычностью, эффектом живого присутствия, передачей эмоциональной окраски и др.

Еще одно применение интернет-медиатехнологий – для односторонней видео-аудиотрансляции событий множеству клиентов (например, для показа общественных событий).

Отметим также применения, связанные с организацией архивов из аудио- и видеозаписей (например, докладов, лекций, кинофильмов, концертных выступлений), с возможностью выбора конкретным пользователем желаемой записи и запуска трансляции ему этой записи через интернет.

Для предоставления подобных сервисов передачи медиаданных через интернет используют различные решения, которые можно условно разделить на "чисто программные", "чисто аппаратные" и "комбинированные". Недостатками "аппаратных" реализаций, когда выполняемые функции осуществляются за счет применения специализированных устройств (например, вещание с видеокамеры, непосредственно подсоединяемой к локальной сети) является весьма высокая стоимость и малая гибкость применения. Тем не менее, данный подход весьма распространен. Так, широко применяются вебкамеры фирмы Axis, непосредственно подключаемые к интернет кабелем или через радиомодем, серверы видеоконференций компаний RADVision, Ezenia! ("VideoServer"), Lucent Technology, Accord ("Polycom"). Достоинства "аппаратных" решений, прежде всего – в простоте эксплуатации.

"Комбинированные" ("программно-аппаратные") подходы также характеризуются достаточно высокой стоимостью специфического оборудования (плат кодирования/декодирования) и невысокой гибкостью, позволяя, однако, использовать медиасредства с малопроизводительными компьютерами.

Программные реализации обеспечивают весьма высокую гибкость применений, но требуют применения достаточно высокопроизводительных компьютеров. В данной работе мы рассматриваем исключительно программные реализации интернет-медиатехнологий, которые могут функционировать на массовых современных компьютерах "офисного" класса.

Из наиболее широко распространенных в настоящее время приложений интернет-медиатехнологий можно отметить программные средства для IP-телефонии, видеотелефонии, конференций и видеовещания, такие как Microsoft NetMeeting, Microsoft Windows Messenger, Microsoft MediaServer/MediaPlayer, Intel VideoPhone, компоненты комплекса Real Entertainment фирмы RealNetworks (включающего RealVideoServer и RealVideoPlayer), систему CU-SeeMe фирмы White Pine, VDOLive и многие другие.

Актуальным является расширение областей применения интернет-видеотехнологий, повышение удобства работы с программными средствами в этой области, снижение требований к пропускной способности канала связи и его надежности (что весьма актуально для России). Существенным является повышение качества изображения и звука, а также других параметров передачи (включая уменьшение задержки принимаемого медиапотока относительно передаваемого, уменьшение взаимной рассинхронизации видео и звука во времени, а также степени нестабильности темпа воспроизведения принимаемого потока) с доведением параметров качества до уровня вещательного телевидения.

Существенными качествами архитектуры комплексов интернет-медиасредств различного назначения являются как простота работы с ними для конечного пользователя, так и минимизация усилий на создание и развитие программных средств с максимальным повторным использованием компонентов.

В данной работе рассматриваются технологии передачи медиаданных, связанные как с разными сервисами межчеловеческого общения, так и связанные с применением удаленных суперкомпьютерных вычислений, базирующиеся на применении компонентной -технологии создания сложных программных систем.

2.      Содержание выполненных работ

В ходе проведенных исследований разработаны подходы, позволяющие с хорошими результатами реализовать основные на данный момент сервисы интернет-медиатехнологий, а также создающие предпосылки для развития новых сервисов.

Основные элементы этих подходов реализованы в программных средствах, разработанных в лаборатории визуальных систем ИММ УрО РАН.

Разработаны модули потокового (в темпе реального времени) сжатия и распаковки медиаданных по стандарту MPEG-4 [1], [2].

Разработаны приложения для аудиовизуальной связи через компьютерную сеть ([4]-[8]):

·     "Веб-камера" для наблюдения через Интернет в реальном времени, например, докладов, выступлений, общественных событий. Обеспечивает одностороннюю передачу аудиовизуальных данных в реальном времени от одного передающего компьютера множеству клиентских компьютеров зрителей. Вариант программных средств может быть использован для односторонней передачи для удаленного наблюдения визуальных результатов суперкомпьютерных вычислений.

·     "Медиаконференция" для проведения через Интернет, например, научных семинаров и совещаний. Обеспечивает двунаправленную и многонаправленную аудио-видео связь в реальном времени между многочисленными участниками. Вариант программных средств предназначен для осуществления только аудиосвязи.

·     "Медиа по запросу" для создания в цифровой форме, например, научных докладов и лекций, которые в дальнейшем можно будет просматривать через Интернет. Обеспечивает после однократного создания аудио/видео материала его передачу и воспроизведение на компьютерах пользователей по их запросу в любое время.

·     "Видео по расписанию" для просмотра заранее записанных видеоматериалов в соответствии с некоторым расписанием (составляемым вручную или автоматически).

Основные разработанные технологии реализованы на медиасайте УрО РАН [3].

Отметим также "Мобильный репортерский спутниковый видеокомплекс" – комплексную систему, разработанную по заказу фирмы "Ин тек коммуникации" на базе полученных технологий. Система содержит полный комплект программных средств для поддержки технологического процесса подготовки законченного телевизионного новостного сюжета на компьютере выездной журналистской бригады. Это средства для записи отснятых видеоматериалов на жесткий диск, монтажа и формирования "плейлиста" с включениями "живой камеры", передачи видеосюжета в телекомпанию через спутниковый канал связи в соответствии с "плейлистом", включая вставки "живой камеры". Система включает также программные средства и для принимающего компьютера, формирующие из принимаемых со спутника данных видеосигнала, включаемого телецентром в "прямой эфир".

3.      Архитектура комплекса разработанных медиасредств

Для минимизации усилий по разработке, для повышения гибкости и надежности программных средств, весьма эффективно проектирование такой общей архитектуры комплекса, при которой в максимальной степени достигалось бы повторное использование компонент ("reuse"), то есть обеспечивалась минимизация суммарного объема работ.

При этом в соответствии с компонентной -технологией [4] весьма плодотворным представляется оформление сугубо специфических медиасредств как средств формирования самостоятельного "низшего" языкового слоя. В то же время слои, связанные с формированием человеко-компьютерного интерфейса в среде интернет формировалось бы специально ориентированными на это средствами. В качестве этих средств формирования интерфейса было признано плодотворным применять очень хорошо развитую веб-технологию с использованием в качестве операционной среды клиента веб-браузера.

Ориентация на веб-технологию позволяет существенно повысить скорость и гибкость разработки пользовательских приложений как командой разработчиков базовых программных средств (ядра), так и прикладными программистами, которые получают возможность использовать разработанные модули в соответствии с компонентным подходом.

В качестве "специфически мультимедийного" ядра всех имеющихся и будущих приложений выбрана пара программных модулей <"сервер веб-медиавещания", "ActiveX клиент медиавещания">. Эти модули образуют "интернет-медиатуннель", обеспечивающий трансляцию медиапотока от источника медиапотока на принимающем компьютере до вывода на экран на принимающем компьютере.

Эти модули не только являются базовыми для сложных приложений, но и сами по себе образуют при минимальном обрамлении (с помощью следующего языкового слоя) полезное приложение "веб-камера".

4.      "Медиатуннель" и "Веб-камера"

Как отмечалось выше, в предлагаемой архитектуре комплекса средств интернет медиа-технологий программные модули <"сервер веб-медиавещания", "ActiveX клиент медиавещания"> могут с одной стороны совместно использоваться для обеспечения сервиса "Веб-медиавещание" (нередко называемого "Веб-камера"), с другой стороны – они являются ядром всех других разработанных (и будущих) приложений.

В связи с использованием в качестве базисной технологии компонентной технологии MS COM, разработанные программные средства как сервера, так и клиента медиавещания работают исключительно в ОС Windows. При этом клиент может либо вызываться с веб-страницы, выдаваемой интернет-браузерами, поддерживающими работу ActiveX-элементов, либо вызываться из приложений, разработанных в средах, поддерживающих вызов ActiveX-элементов (таковы все современные среды разработки для MS Windows, например, Borland Delphi, VS Visual Basic).

4.1.     Сервер медиавещания

Сервер (Рис. 1.) предназначен для трансляции клиентам видео-аудиоданных, полученных либо из устройств ввода видео и/или аудио, установленных на компьютере сервера, либо из хранящихся мультимедиа-файлов с его диска.

Приложение выполнено в двух вариантах.

Первый вариант – в виде консольной программы, которая под управлением Windows XP может запускается и в виде системного сервиса. Такое исполнение требует предварительной инсталляции программных средств сервера.

Во втором варианте сервер выполнен в виде ActiveX-элемента, который автоматически устанавливается и запускается при входе на соответствующую веб-страницу. Это исполнение весьма удобно тем, что отсутствует этап инсталляции приложения, для многих психологически неприятный. Кроме того, для многих пользователей может оказаться весьма важным свойство ActiveX-элементов терять активность при покидании пользователем вызвавшей этот элемент веб-страницы, что гарантирует от того, что видео и звук будут незамечено транслироваться в интернет, когда пользователь этого не желает.

Данные, полученные с устройств ввода аудио/видео, сжимается вызываемыми сервером стандартными кодерами, совместимыми с DirectShow или Video for Windows (например, кодеком MPEG-4, разработанным в ИММ УрО РАН в рамках того же проекта). Возможность использования в собираемых приложениях потенциально любых модулей сжатия/распаковки медиаданных, включая созданные их производителями для "пакетной" обработки файлов, является отличительной чертой разработанных средств, выгодно отличающей их модули от многих аналогичных разработок. Тем не менее отметим, что использование произвольно взятого кодера требует выполнения определенных работ, поскольку стандартизация модулей компрессии/декомпрессии не охватывает весь набор необходимых параметров.

Данные из файлов транслируются, как правило, без перекодирования (то есть файлы хранятся в уже компрессированном виде). Это вызвано стремлением как снизить загрузку процессора (что позволяет обслуживать на порядки большее количество одновременно передаваемых файлов), так и уменьшить размеры хранимых медиаданных.

После разбиения на пакеты, закодированные потоки передаются сервером в сеть по собственному (лаборатории визуальных систем ИММ УрО РАН) протоколу RMXF, организованному поверх стандартного протокола UDP.

Для решения задач передачи медиапотока через Интернет для сервера медиавещания разработаны следующие основные модули: пакетайзер и депакетайзер, мультиплексор и демультиплексор протокола RTP, средства приема/передачи по RTP через Интернет.

Состав серверной части программных средств передачи медиапотоков через Интернет и потоки данных между их компонентами приведены на Рис. 1. (для определенности на рисунках предполагается кодирование медиаданных по MPEG-4).

Рис. 1.

Параметры мультимедиа-потоков (частота видеокадров, период следования ключевых кадров MPEG-4, желаемый средний поток данных, передаваемых через канал связи, характеристики формата…) настраиваются в широких пределах для соответствия условиям конкретной компьютерной сети.

Существенным элементом разработанных программных средств являются средства синхронизации аудио и видеопотоков, как взаимной, так и обеспечивающей точную привязку к темпу "абсолютного" времени. Отметим, что решение проблем синхронизации и обеспечения плавного воспроизведения принятого медиапотока является непростой задачей в условиях меняющихся задержек в канале передачи данных с возможными перетасовками в канале связи порядка следования пакетов и пропаданиями отдельных пакетов. Решение этих проблем потребовало значительных усилий с апробацией многих вариантов на реальных каналах связи. Алгоритмы, реализованные в программном продукте, являются одним из существенных промышленных секретов в разработанных интернет-медиасредствах.

Приложение-сервер вдобавок обладает всеми функциями прокси-сервера видеовещания (о нем см. далее), что сделано для повышения унификации и надежности.

Логически передаваемые мультимедиа-данные представлены в виде "каналов", содержащих внутри потоки данных. Каждый поток содержит один тип информации (либо аудио, либо видео), который представляет одну последовательность видеокадров или аудио-отсчетов, а канал объединяет логически связанные между собой потоки, полученные из одного источника (например, с видео- и аудиоустройств одного компьютера, либо видео- и аудиоданные из одного файла).

4.2.     Клиент медиавещания

Клиент медиавещания (Рис. 2.) выполнен в виде ActiveX-компонента, что позволяет легко встраивать его в web-страницы и другие приложения. Он принимает пакеты переданные сервером, восстанавливает оригинальные потоки принимаемого канала и воспроизводит их, используя соответствующие декодеры и устройства отображения и проигрывания. В клиенте существует возможность отказаться от приема части потоков канала (например, принимать только аудиопоток и отказаться от видео), что может понадобиться для клиентов, подключенных через низкоскоростные каналы связи. Клиент выводит пользователю статистическую информацию о принимаемом канале: величину потока данных (битрейт), частоту видеокадров, время соединения и объем прокачанных данных. Кроме этого клиент позволяет пользователю настроить свойства декодеров, изменять размер окна просмотра видео, а также имеет функцию ограничения соединения по времени и объему переданных данных (для защиты от неосмотрительной траты средств в случае платного трафика).

Состав клиентской части программных средств и потоки данных между компонентами приведены на Рис. 2. (для определенности на рисунках предполагается кодирование медиаданных по MPEG-4).

Рис. 2.

Клиенту медиавещания – ActiveX элементу – при вызове его из html-описания веб-страницы (или при вызове его из программы-приложения) могут задаваться ряд параметров: адрес расположения в Интернет кода этого ActiveX-элемента для загрузки и его идентификационные параметры, начальные размеры окна, занимаемого этим элементом, устанавливается, должен ли быть включен при запуске прием видео- и аудиопотоков и др.

Пример вызова ActiveX-элемента клиента медиавещания из html-страницы:

<OBJECT id="RMXFVIEWCtl" type="application/x-eskerplus"
codeBase="../rmxfview.cab#Version=1,0,1,7"
classid="CLSID:D1299F6E-BBA0-42b5-B672-FC006B9DB3BF"
width=320 height=240>
<PARAM NAME="URL" VALUE="195.19.132.56:9000/capture/LiveCam">
<PARAM NAME="MulticastTTL" VALUE="20">
<PARAM NAME="StreamTimeout" VALUE="10">
<PARAM NAME="MulticastTimeout" VALUE="5">
<PARAM NAME="RequestPeriod" VALUE="3">
<PARAM NAME="EnableAudio" VALUE="1">
<PARAM NAME="EnableVideo" VALUE="1">

</OBJECT>

(здесь 'LiveCam' – ссылка на файл описания медиаустройств для "живой" трансляции).

Кроме того, некоторые параметры могут быть изменены вручную "на ходу" во время работы элемента с помощью команд выпадающего меню элемента (см. Рис. 9). Так, можно оперативно включать и выключать получение видео и аудио потоков, устанавливать выдачу изображения на весь экран, устанавливать масштаб для увеличения или уменьшения изображения, входить в режим настройки аудио- и видеодекодеров и др.

Рис. 3

Заметим, что веб-сервер, на котором располагается веб-страница, на которой указано обращение к выводу медиавещания, может располагаться на совсем другом компьютере, нежели этот сервер медиавещания (источник потока медиаданных). Отметим также, что обращения к одному и тому же серверу медиавещания (причем, даже с указанием одного и того же устройства-источника медиаданных либо одного и того же файла с медиаданными) может иметься на множестве различных веб-страниц, размещенных на различных компьютерах-серверах, обращения с которых к медиасерверу вполне могут происходить одновременно. То же самое можно сказать и в случае, если вызов ActiveX элемента, заказывающего и отображающего вещание, производится не интернет-браузером, интерпретирующим html-спецификацию, а программой-приложением (например, разработанной в средах Borland Delphi, MS Visual Basic, Visual C++ и др.).

Особо обратим при этом внимание на то, что должно выполняться требование, чтобы медиасервер и ActiveX клиент функционировали под ОС Windows. В то же время веб-сервер (включающий, возможно, и программы генерации веб-страниц) может функционировать на любой программно-аппаратной платформе.

4.3.     Протоколы передачи

Передача мультимедиа-информации от сервера каждому клиенту организуется по одному из двух протоколов: "мультикастовому" (многоадресной передачи, вещания, "точка-многоточка") или "юникастовому" (одноадресной передачи, "точка-точка") в зависимости от условий связи с конкретным клиентом. При поступлении запроса от клиента сервер сначала пытается установить с ним соединение с передачей медиаданных по "вещательному" протоколу. В случае непоступления сообщения от клиента об успешности такого соединения, сервер начинает передавать ему данные по протоколу "точка-точка".

Мультикастовый (вещательный) протокол позволяет серверу передавать один поток сетевых пакетов некоторому количеству клиентов, причем задача доставки каждому клиенту копии этих пакетов возложена на сетевое оборудование и его программное обеспечение. Это позволяет значительно сократить нагрузку на каналы связи и таким образом, резко увеличить максимальное количество одновременно подключенных клиентов, за счет того, что при получении клиентами данных, передаваемых в вещательном режиме, трафик мало зависит от количества клиентов.

Рис. 4

Рис. 5

К сожалению, работа сетевых приложений по вещательному протоколу в настоящее время поддерживается почти исключительно внутри локальных сетей (это обычная политика безопасности сетевых администраторов, отчасти связанная и с вопросами оплаты трафика, получаемого для неизвестного заказчика), поэтому с клиентами, у которых нет возможности мультикастового соединения с сервером, связь устанавливается по юникастовому протоколу. Выбор того или другого протокола осуществляется автоматически. Заметим, что решать эту проблему позволяет использование медиаретрансляторов (см. далее), позволяющих, получая медиаретранслятором только один поток данных в режиме "точка-точка", "раздавать" эти данные внутри локальной сети уже в вещательном режиме неограниченному количеству пользователей.

Для повышения потребительских качеств программных средств медиавещания в последние версии медиасервера введена возможность обслуживать сразу несколько каналов, вести независимую "живую" трансляцию сразу нескольких медиапотоков с нескольких видеокамер (разумеется, если в наличии имеется необходимое количество устройств захвата видео и/или аудио и производительности процессора хватает для кодирования информации такого количества мультимедиа-потоков в реальном времени). Кроме того, тот же сервер может одновременно обслуживать и необходимое количество каналов трансляции медиаданных из заранее подготовленных файлов (в частности – для реализации сервисов "видео по запросу", "говорящая веб-страница", "видеоиллюстрации" -- см. далее). При этом незадействованные в текущий момент каналы (то есть те, к которым не подключился ни один клиент) не загружают сервер вещания.

4.4.     Практическая апробация результатов

Разработка теоретической базы и программных средств интернет-видеотехнологий проводилась параллельно с интенсивной апробацией полученных результатов при организации видеотрансляций и видеомостов во время научных и общественных событий.

¾      Прямая Интернет-трансляция заседания Совета Российской Академии наук по высокопроизводительным технологиям вычислений, включавшего доклад руководителя данного проекта по результатам выполнения проекта, и видеомост с учеными Института математики и механики УрО РАН (Президиум РАН, Москва, – Институт математики и механики УрО РАН, Екатеринбург), 16 декабря 2002г.

¾      Прямая Интернет-трансляция Пленарного заседания Научно-практической конференции, посвященной 70-летию академической науки на Урале и 10-летию РФФИ, включавшей видеомост с Президиумом РФФИ, Председателем РФФИ акад. Алфимовым (актовый зал Дома Правительства Свердловской области, Екатеринбург, – Президиум РФФИ, Москва). 5 ноября 2002г.

¾      Прямая Интернет-трансляция Научно-практической конференции, посвященной 70-летию академической науки на Урале и 10-летию РФФИ (Актовый зал Института математики и механики УрО РАН) 4 ноября 2002г.

¾      Прямая Интернет-трансляция окружной конференции "Активная государственная инновационная политика – основа экономического развития России" (Свердловский государственный академический театр драмы) 31 октября – 1 ноября 2002г.

¾      Прямая Интернет-трансляция Торжественного совместного заседания президиумов Российской академии наук и Уральского отделения Российской академии наук с федеральными органами исполнительной власти, органами власти субъектов РФ и муниципальных образований УрФО (Свердловский государственный академический театр драмы) 14 октября 2002г.

4.5.     Применение средств видеовещания для передачи результатов суперкомпьютерных вычислений удаленному пользователю

При проведении вычислений на суперкомпьютере возникает вопрос о способах контроля пользователем результатов вычислений.

В случае, когда пользователь может оказаться в непосредственной близости от суперкомпьютера, он может воспользоваться средствами графического отображения, расположенными в непосредственной близости от соответствующего вычислителя. Однако, даже в случае сотрудников организации, эксплуатирующей суперкомпьютер, выполнение работ в машинном зале, а не на собственном основном рабочем месте, является весьма неудобным. Известны попытки разработки в некоторых организациях в связи с этим средств для создания сети выносных (удаленных в пределах десятков метров) графических терминалов (например, подобный проект кабельной разводки видеосигнала от графической системы суперкомпьютера на видеомониторы в рабочие комнаты здания разрабатывался в одном из подразделений ИММ УрО РАН). Однако подобные средства даже при очень маленьких расстояниях до видеомониторов достаточно сложны и их применение, по-видимому, не очень продуктивно, а при больших расстояниях – невозможно.

При выполнении удаленных вычислений (в том числе, с применением вычислительного прокси-сервера) один из возможных подходов – передача удаленному пользователю через интернет всех результатов вычислений, которым он может далее распоряжаться по своему усмотрению (например, производить их вторичную обработку с выдачей некоторой переработанной информации в графической форме). Однако с одной стороны объем передаваемых данных при этом может оказаться весьма большим, с другой – вторичная обработка с целью визуализации сама по себе может оказаться настолько ресурсоемкой, что может требовать использования ресурсов суперкомпьютера. Оба фактора могут приводить к весьма значительной задержке выдачи пользователю графически интерпретированных результатов вычислений относительно момента получения самих исходных результатов.

Поэтому в каких-то ситуациях целесообразно проведение вычислений по вторичной обработке результатов с целью выдачи их с графической интерпретацией на стороне суперкомпьютера, до передачи их удаленному пользователю. При этом возможно, с целью экономии ресурсов канала связи передавать не само графическое изображение, а его описание с помощью некоторых графических примитивов (то есть, некоторого графического языка). Такое описание после получения на стороне пользователем может быть отображено на его компьютере с помощью некоторого интерпретатора этого языка. Достоинством такого подхода является возможность воздействия пользователя на отображение (например, смены ракурса при передаче 3-мерной графики).

Однако в ряде случаев подход передачи метаописаний изображений может оказаться неудобным. Например, обременительным может оказаться требование выдачи со стороны суперкомпьютера графических описаний именно в терминах определенного языка, интерпретатор которого имеется у пользователя или, в другую сторону, наличия у пользователя интерпретатора описаний, выдаваемых стороной суперкомпьютера. В некоторых ситуациях может оказаться слишком большим поток передаваемых данных, которые могут оказаться чрезмерно детальными для каких-то конкретных целей (например, грубой оценки хода вычислений).

В связи с этим в некоторых ситуациях целесообразным может оказаться применение подхода "выносного видеомонитора" графической системы суперкомпьютера, для чего можно использовать разработанные средства односторонней передачи видео.

Получение видеопотока от вычислителя возможно производить как программным путем, так и с использованием аппаратных средств (получением сигнала с видеоадаптера вычислителя с его захватом аппаратными средствами сервера видеовещания.

В рамках обсуждаемого в работе проекта проводились испытания разработанных средств передачи медиапотоков для передачи видеоданных с вычислителя удаленному пользователю, показавшие, что эти средства вполне приемлемы для решения данной проблемы, поскольку при обеспечении качества передачи уровня вещательного телевидения эти технические средства вполне компенсируют удаленность пользователя от реального монитора графической системы суперкомпьютера (см. Рис. 6).

Рис. 6

5.      Ретранслятор медиапотоков

Медиаретранслятор (медиа-прокси-сервер, медиашлюз) предназначен для снижения сетевого трафика в "узких" местах компьютерной сети. Для клиента он представляется стандартным сервером видеотрансляции, а для сервера -- стандартным клиентом. При этом медиаретранслятор позволяет размножать каналы, принятые с сервера, всем подключенным к нему клиентам.

При этом медиапрокси (как и медиасервер) может работать как в многоадресном режиме, так и по протоколу "точка-точка".

Применение ретрансляторов может позволить значительно увеличить количество одновременно подключенных клиентов из некоторой подсети в случае недоступности мультикастового протокола на маршруте связи от сервера к клиентам и ограничениям в трафике на этом маршруте. Использование ретрансляторов может быть полезно и при использовании протокола "точка-точка" не только для экономии средств на передачу медиаданных по каналам связи, но подчас – и для осуществления вообще возможности массового приема медиавещания.

Так же, как и сервер, медиаретранслятор выполнен в виде консольной программы, которая под управлением Windows XP может запускаться и в виде системного сервиса. Имеется и версия ретранслятора, выполнения в виде ActiveX-элемента, запускающаяся при входе клиента на специальную страницу.

Рис. 7

Отметим еще раз, что для клиента медиапрокси ведет себя неотличимо от сервера медиавещания, так что вызов получения медиатрансляции от прокси выглядит идентично получению трансляции от медиасервера. На странице webTV.uran.ru необходимый источник получения медиаданных указывается нажатием кнопки, указывающей необходимый источник (см. Рис. 8.).

Для удобства разработанный медиапрокси имеет средства удаленного администрирования. При этом человек, установивший программу медиаретранслятора на некотором компьютере, должен сообщить интернет-адрес этого компьютера на сервер медиавещания, и необходимая настройка ретранслятора будет проведена с этого сервера.

Рис. 8.

Рис. 9

6.      Достоинства разработанных программных средств "медиатуннеля"

По сравнению с эксплуатирующимися сейчас аналогичными программными средствами, данная разработка ("медиатуннель") обладает рядом преимуществ:

1)     Используются самые современные программные средства сжатия видеоинформации (например, по стандарту MPEG-4, могут использоваться любые стандартные кодеки, установленные в системе).

2)     Характеристики качества передаваемой информации (разрешение, частота кадров, степень сжатия) могут изменяться в широком диапазоне, что позволяет использовать этот пакет на сетевых каналах с разной пропускной способностью.

3)     Минимизирована задержка (латентность) от момента съемки камерой кадра до воспроизведения клиентом этого кадра (1 секунда и менее в зависимости от мощности используемых компьютеров). Это позволяет использовать пакет для удаленной двусторонней связи в реальном времени без неудобств, вызываемых высокой латентностью.

4)     Используется режим вещательной передачи информации от сервера клиентам. Это позволяет значительно увеличить максимально возможное количество одновременно подключившихся клиентов. При невозможности использования с каким-то из клиентов вещательного протокола система автоматически переключается на связь с этим клиентом (независимо от других) по протоколу "точка-точка".

5)     Наличие исходных текстов программ дает возможность учитывать условия конкретных потребителей и адаптировать пакет под их запросы.

Отмеченные достоинства программных средств разработанного "интернет-медиатуннеля" переносятся на все приложения, где эти программные средства используются, как часть, образующая канал передачи медиаданных.

 

Рис. 10.

7.      Медиаконференция

Средства сервера медиавещания уже могут быть использованы для осуществления двусторонней или многосторонней связи для проведения коллективных обсуждений. Для этого достаточно в каждой из точек пребывания участников встречи установить как сервер вещания, так и включить клиентские части для приема медиаданных от других участников.

Однако, подобная организация конференц-связи требует индивидуальной настройки программных средств, при этом отсутствуют возможности для динамичного входа нового участника в общее поле зрения многоточечной конференции и выхода оттуда.

Для решения этих задач – прежде всего для обеспечения динамичности участия – целесообразно применение специальных средств. В рамках концепции построения основных компонент на базе серверного и ActiveX-клиентского модулей медиавещания, средства организации конференц-связи могут быть выполнены, как "надстройка" над этими модулями.

При входе на веб-страницу – хост конференции – пользователь может быть как гостем, так и зарегистрированным абонентом.

Для пользователя спроектированные средства медиаконференц-связи представляются, как набор "комнат", существующих на веб-сайте хоста конференций.

Комнаты могут быть иерархически организованы: внутри комнаты могут находиться как участники, так и комнаты, так что находясь в комнате, участник может заходить в одну из ее подкомнат или выходить в "объемлющую" комнату. Возможна и организация комнат с произвольными связями, когда переходы между комнатами могут образовывать циклы.

Для каждой из комнат известен перечень зарегистрированных абонентов, которые имеют право входить в эту комнату. Могут быть и комнаты с доступом, открытым для всех (включая гостей, не являющиеся зарегистрированными абонентами, которые могут входить только в такие комнаты). Программные средства обеспечения работы администратора сервера конференций позволяют для каждой из комнат установить, кто из пользователей имеет право посещать эту комнату.

При этом в режиме А посетитель, находясь в какой-либо комнате, видит ее посетителей и "двери" только в те комнаты, в которые он вхож (так что находящиеся в комнате в одно время посетители могут видеть разный набор дверей). В режиме Б посетитель видит двери всех комнат, однако те из них, куда ему вход не разрешен, помечены, как недоступные для входа.

Обратим особое внимание на то, что базовым является режим "децентразизованной конференции", когда с точки зрения передачи медиаданных сервер хоста конференций не участвует в передаче медиапотоков, а лишь снабжает компьютеры участников адресами компьютеров коллег. Таким образом с одной стороны потоки медиаданных распространяются между пользователями по оптимальным трассам (никак не зависящим от того, где расположен хост конференции), с другой – компьютер хоста конференций может быть маломощным, а количество участников конференции -- весьма большим, поскольку количество участников весьма мало влияет на загрузку процессора хост-компьютера (повторимся, хост компьютер лишь отсылает каждому из участников шаблоны страниц и адреса всех участников, а также высылает новые шаблоны и адреса в случае входа или выхода участников, никак не участвуя в процессах передачи либо обработки самих медиаданных).

В то же время в разработанной архитектуре программных средств возможно применение и централизованной технологии с передачей медиапотоков через центральный сервер конференции (это осуществляется с помощью средств "медиагейта").

Заметим, что в разработанной концепции каждый из участников может использовать свои программные средства для вещания медиа-потока от себя другим участникам, поскольку получение и просмотр каждого из медиапотоков осуществляется собственным, вообще говоря, ActiveX-элементом, соответствующим именно "своему" серверу вещания, этим элементом каждого из участников автоматически снабжает без участия хоста конференции "свой" сервер (впрочем, для исключения проблем с защитой от вирусов и троянских программ, указываемый хостом конференции).

Хост видеоконференции может работать на произвольной программно-аппаратной платформе, будучи по этим параметрам никак не связанным с программными средствами медиасервера и клиента. В данном случае программные средства сервера конференции разработаны на языке PHP, что позволяет использовать их почти на всех программно-аппаратных платформах.

Каждое из окон видеоотображения, соответствующих участникам конференции, имеет средства управления, предоставляемое программными средствами медиа-вещания, предоставляемыми сервером этого участника, которые, вообще говоря, могут быть различными.

Применение веб-технологии для организации конференции позволяет, кроме большой гибкости, естественным образом создавать "метаконференции", объединяющие субконференции, размещенные на разных хостах (еще раз напомним про замечание о произвольности программно-аппаратных платформ для этих хостов).

На Рис. 11 показан вид первой страницы сервиса "Веб-медиаконференция".

Рис. 11

На Рис. 12 показан вид страницы с перечнем комнат, как ее видит один из посетителей.

Рис. 12

На Рис. 13 показан пример вида экрана для гипотетической медиаконференции.

Рис. 13

 На базе разработанных программных средств создан интернет-сайт-медиабиблиотека Уральского отделения РАН – http://webTV.uran.ru/ (Рис. 14), содержащий информацию об основных разработках, вход на страницу "живых камер", с которой ведутся основные опытные трансляции, вход в "видеотеку", в систему медиаконференций, гостевую книгу и др. Все страницы сайта могут выдаваться в 2-х версиях текстовых сообщений – на русском и на английском языках.

Рис. 14

8.      Средства "Медиа по запросу" для работы с видео-аудиоархивом

Программные средства "Медиа по запросу" предназначены для предоставления пользователям возможности просмотра записей, хранящихся в медиаархиве.

Вообще говоря, простейший способ просмотра архивных записей – получение архивного файла на компьютер пользователя и, затем, просмотр его с помощью какой-либо программы, способной "проигрывать" файлы такого формата. Однако этот простейший способ обладает рядом недостатков:

·     без принятия специальных мер просмотр файла начнется только после завершения передачи всего медиафайла целиком, так что может потребоваться значительное время ожидания до начала просмотра;

·     в самом начале просмотра может оказаться, что данный материал интереса не представляет, так что расходы, понесенные на закачку этого файла, могут оказаться напрасными;

·     при коллективном просмотре одного и того же материала воспроизведение у разных пользователей будет идти несинхронно с другими, оказываясь зависимым как от момента запуска проигрывания, так и от взаимной неточности датчиков времени компьютеров; это может влечь серьезные неприятности, например, при воспроизведении пользователями звука через громкоговорители, при действиях учителя при групповом просмотре учениками (которые затрудняются при сильном временнОм расхождении воспроизводимого у разных учеников);

·     пользователи, получившие допуск к разовому просмотру медиафайла на своем компьютере, могут не только далее неограниченное количество раз повторно просматривать этот материал, но и неограниченно копировать его дла распространения на другие компьютеры, что может противоречить интересам владельца этого материала.

В связи с отмеченным широко распространен подход, когда при заказе пользователем просмотра какого-либо медиафайла на передающей стороне запускается сервер медиавещания, который начинает передачу медиапотока, соответствующего данному файлу, так что пользователь с минимальной задержкой после своего запроса уже начинает видеть и слышать трансляцию.

В рамках описываемого проекта разработаны программные средства, реализующие сервис "видео по запросу". Данные средства базируются на модулях сервера и клиента медиавещания. Как отмечалось, данный сервер позволяет, наряду с осуществлением вещания с "живой" видеокамеры проводить и вещание медиаданных, предварительно записанных в файл. При этом принимаемые на клиентской стороне данные могут отображаться тем же самым ActiveX элементом, с указанием ему соответствующих параметров.

Пример вызова ActiveX элемента в html-коде:

<OBJECT id="RMXFVIEWCtl1" type="application/x-eskerplus"
codeBase="../../rmxfview.cab#Version=1,0,1,7"
classid="CLSID:D1299F6E-BBA0-42b5-B672-FC006B9DB3BF"
width=360 height=288>
<PARAM NAME="URL" VALUE="vsl3.imm.uran.ru:9000/ClipV_1_170">
<PARAM NAME="MulticastTTL" VALUE="20">
<PARAM NAME="StreamTimeout" VALUE="10">
<PARAM NAME="MulticastTimeout" VALUE="5">
<PARAM NAME="RequestPeriod" VALUE="3">
<PARAM NAME="EnableAudio" VALUE="1">
<PARAM NAME="EnableVideo" VALUE="1">

 </OBJECT>.

(здесь 'ClipV_1_170' – имя медиафайла для "проигрывания").

Как выше отмечалось, веб-сервер, на котором располагается веб-страница, на которой указано обращение к выводу медиавещания, может быть размещен на совсем другом компьютере, нежели этот сервер медиавещания, осуществляющий в данном случае трансляцию файла. При этом обращения к одному и тому же серверу медиавещания (причем, даже с указанием одного и того же файла с медиаданными) может иметься на множестве различных веб-страниц, размещенных на различных компьютерах-серверах, обращения с которых к медиасерверу вполне могут происходить одновременно.

Основным для сервера медиавещания является режим, когда в случае одновременного обращения к одному и тому же материалу разных клиентов, первый из них запускает просмотр, а второй лишь присоединяется к уже начатому просмотру. Такой режим позволяет с одной стороны существенно сократить нагрузку на сервер вещания, а также нагрузку на канал связи (при использовании вещательного протокола). С другой стороны, подобный режим является весьма удобным при просмотре одного материала на разных компьютерах в одном и том же помещении (например – в образовательной деятельности).

В то же время, пользователь может заказать и выдачу медиапотока в режиме индивидуального "проигрывания". В "индивидуальном режиме" пользователь может с помощью кнопок управления клиентского ActiveX-элемента управлять сервером (сделать паузу в проигрывании, произвести "перемотку" вперед или назад, включить ускоренный просмотр…).

8.1.     Применение средств "Видео по запросу" для создания библиотек численных экспериментов

Учитывая сложность и дороговизну проведения крупных вычислительных экспериментов, имеет смысл не просто соответствующему исследователю наблюдать в реальном времени ход расчетов, но и сохранить видеозапись визуализированных результатов проведенных численных экспериментов для анализа специалистами и в будущем.

Разработанные средства "Видео по запросу" могут использоваться для этой цели. На демонстрационном сайте проекта имеются видеозаписи некоторых численных расчетов, которые могут быть вызваны для просмотра в режиме "Видео по запросу".

Разработанная технология позволяет также создавать видеобиблиотеки из динамических визуальных результатов вычислительных экспериментов. На сайте http://webTV.uran.ru/ имеется раздел, содержащий пример такой видеотеки, где размещены, в частности, результаты моделирования позиционной игровой задачи, решение которой осуществлено акад. Н.Н.Красовским (Рис. 15).

Рис. 15

8.2.     Применение средств "Видео по запросу" для научных публикаций

Использование в качестве клиента медиавещания ActiveX элемента позволяет встраивать окно видеоаудиовывода в любой html-документ. Традиционно для использования элемента видеовывода создается веб-страница, содержащей некоторое обрамление этого окна и служащая исключительно для этой вспомогательной цели. Однако возможно использование окна видеовывода наоборот, как иллюстрирующего материал, излагаемый в html-документе. Подобное использование позволяет создавать, например, статьи с встроенными в текст видеоиллюстрациями, например, научные статьи с результатами численных экспериментов, проиллюстрированными динамическими иллюстрациями визуализированных вычислений.

Кроме того, разработанные средства могут быть использованы для создания фонового дикторского текста для веб-страниц и электронных публикаций.

8.3.     Практическая реализация сервера "Медиа по запросу"

На сайте http://webTV.uran.ru/ размещена опытная версия видеотеки на базе разработанных программных средств. Видеотека содержит записи научных, общественных, культурных событий, выполненные и подготовленные участниками проекта. Доступ к материалам осуществляется с помощью разработанной макетной версии программных средств "видео по запросу".

В качестве примеров приведем следующее:

¾      "Беседы академика Н.Н.Красовского" (Рис. 16):

Рис. 16

¾      записи видеотрансляций торжеств по случаю 70-летия УрО РАН (съемки в Драмтеатре, в Оперном театре, в резиденции губернатора Э.Э.Росселя) с участием Президента РАН акад. Ю.С.Осипова (Рис. 17, Рис. 18):

Рис. 17

Рис. 18

¾      запись интернет-видеотрансляции во время научно-практический конференции УрО РАН, посвященной 10-летию РФФИ, с видеомостом с Президиумом РФФИ, Председателем РФФИ акад. М.В.Алфимовым (Рис. 19):

Рис. 19

¾      фестиваль студенческой песни "Знаменка-2002" (Рис. 20):

Рис. 20

9.      Медиа по расписанию

В ряде случаев имеется потребность в проведении вещания из многих файлов в соответствии с неким расписанием. Например, такой режим позволяет реализовать интернет-аналог автоматического телецентра (заметим, что в современных цифровых телецентрах вещание подготовленных программ в соответствии с программой передач осуществляется компьютерными программно-аппаратными средствами, именуемыми в этой области "видеосервер").

Такой интернет-вещатель по расписанию может быть, в частности, полезен для использования в информационных системах, системах политрекламы, в образовании и т.п.

В комплект разработанных интернет-медиасредств входит сервер вещания по расписанию. Данный сервер включает, в частности, базу данных по хранящимся в электронном архиве медиаматериалам. Записи в этой базе снабжены атрибутами, характеризующими материал: жанр, рекомендуемое время показа, ценовую категорию, короткое название, длинную аннотацию и т.п. Система включает также планировщик, который может работать как в автоматическом режиме, создавая сетку вещания на основании атрибутов материалов и неких правил, так и в ручном режиме, позволяя администратору самостоятельно формировать сетку вещания. Возможен и комбинированный режим, когда система предлагает оператору выбор из альтернативных вариантов.

Система допускает вещание сразу по многим программам (их количество, вообще говоря, не ограничено). При этом возможно вещание не только с использованием медиафайлов из архива, но и вставок из посторонних источников – каналов телевещания и вставок "живой камеры"

На Рис. 21 показан вид веб-страницы для клиента, на которой динамически отображается текущее расписание передач.

Рис. 21

10.  Применение технологии видеоконференций совместно с технологиями "Медиа по запросу", "Медиа по расписанию", "Медиатрансляция"

Технологии "Видео по запросу", "Видео по расписанию", "Видеотрансляция" могут использоваться не только самостоятельно, но и совместно со средствами медиаконференций. При этом средствами медиаконференций в виртуальной комнате могут быть размешены, как "виртуальный посетитель" окно вывода медиатрансляции, окно медиа по запросу или медиа по расписанию. Это позволяет проводить коллективные обсуждения, сопровождаемые коллективным же просмотром соответствующих медиаматериалов.

11.  Телерепортерский спутниковый комплекс

Примером применения разработанных технологий являются программные средства телерепортерского спутникового комплекса, созданные по контракту ИММ УрО РАН с фирмой "Ин тек коммуникации", г.Москва (которой по этому контракту переданы имущественные права на этот программный продукт). Данные программные средства – комплексная система, содержащая полный комплект программных средств для поддержки технологического процесса подготовки новостного сюжета (записи отснятых видеоматериалов на жесткий диск, монтажа и формирования "плейлиста" с включениями "живой камеры", передачи видеосюжета в соответствии с "плейлистом" через спутниковый канал связи), а также программные средства для принимающего компьютера, формирующие из принимаемых со спутника данных видеосигнала, включаемого телецентром в "прямой эфир") – см. Рис. 22.

Рис. 22

Программные средства состоят из 2-х частей – программ, установленных на компьютерах

(А) передающей стороны,

(Б) принимающей стороны

соответственно.

Программные средства передающей стороны обеспечивают работу в следующих режимах:

·     "захват" видео- и аудиосигналов с видеокамеры или видеомагнитофона аналогового (Composite, Svideo) или цифрового (DV, SDI) формата в файлы приемного компьютера,

·     формирование "плей-листа" с монтажом видеофайлов (с возможностью стыковки фрагментов с точностью до 1 кадра) и указанием вставок "живой видеокамеры" при последующей отработке плей-листа,

·     обеспечение передачи на модулятор спутникового передатчика фрагментов файлов по плей-листу с возможными включениями "живой камеры", с обеспечением кодирования видео-кодером MPEG-4 (DivX) и аудио-кодером MPEG-3.

Программные средства приемной стороны обеспечивают:

·     прием и обработку (с декомпрессией) потока данных с демодулятора спутникового ресивера с выдачей сигнала на аналоговый и цифровой видеовыходы компьютера приемной стороны,

·     выдачу информации об обрабатываемых данных на микродисплей на передней панели принимающего компьютера.

На микродисплее компьютера приемной части отображаются:

·     величина потока данных, принимаемых с демодулятора спутникового приемника (в килобитах в секунду),

·     величина потерь пакетов данных (в процентах).

Программные средства компьютера передающей стороны обеспечивают сопряжение с оборудованием, подключенным к передающему компьютеру:

·     с платой аналогового аудио- и видеозахвата,

·     с интерфейсной картой SDI,

·     с манипулятором "шатл",

·     с кодерами аудио- и видеосигналов,

·     с модулятором спутникового передатчика;

Программные средства компьютера приемной стороны обеспечивают сопряжение принимающего компьютера с подключенным к нему оборудованием:

·     с демодулятором спутникового приемника,

·     с декодерами аудио- и видеосигналов,

·     с микродисплеем,

·     с оборудованием аналогового аудио- и видеовывода принимающего компьютера,

·     с платой интерфейса IEEE-1394 для вывода видеоданных.

Программные средства как передающей, так и приемной частей функционируют на компьютерах Intel Pentium-IV под операционной системой Microsoft Windows-2000 Pro с необходимым дополнительным оборудованием.

На Рис. 23 показан вид экрана передающего компьютера в режиме составления плей-листа.

Рис. 23

12.  Защита от несанкционированного использования программных средств

Для защиты разработанных программных средств от несанкционированного использования разработаны средства защиты.

Данные средства выполнены в виде модуля, подключаемого к компьютеру с сервером медиавещания (через последовательный или параллельный порт). Модуль защиты содержит микропроцессор с программой, выполняющей существенно важную часть алгоритма функционирования сервера. Подобная организация защиты совместно с мерами по шифрации входящего и исходящего потоков данных микропроцессора модуля защиты обеспечивают высокий уровень защиты программного продукта.

13.  Новизна и соответствие мировому уровню

Полученные результаты теоретических исследований являются новыми. Разработанные программные средства являются полностью оригинальными и материализуют полученные теоретические результаты и технологические достижения. В частности, разработанная технология синхронизации медиапотоков позволяет при передаче изображений качества телевизионного вещательного стандарта (720*576 точек, 25 кадров/с) обеспечить задержку менее 1 секунды (для сравнения: у распространенного Microsoft MediaServer – более 8 секунд при наилучших настройках для изображении такого же качества), рассинхронизация звука и изображения – менее 0.1 с. Разработанные программные средства "живой видеокамеры" позволяют, в отличие от аналогов, использовать с минимальной адаптацией произвольные модули кодирования/декодирования потоков. Разработанная технология организации медиасети с применением ретрансляторов и применения по возможности вещательных протоколов может позволить качественно уменьшить потоки данных при массовом вещании в сравнении с другими используемыми ныне системами.

При этом нагрузка на сервер вещания не зависит от количества одновременно принимающих клиентов, количество которых может составлять, скажем, миллионы.

Кроме того, результаты уже проведенных работ (в частности, разработанные программные средства кодеков MPEG-4 и основных компонент приложений в исходных кодах на языке C++), а также накопленный опыт являются базой для дальнейших работ в направлении разработки передовых интернет-видеотехнологий.

Результаты проводимых работ освещались в массовой печати и по телевидению, например, в следующих материалах:

¾      Телерепортаж "Российская наука возвращается в "золотой" век", РТР-Вести: 25.11.2002;

¾      "Юбилей: РФФИ на Урале 10 лет", "Наука Урала" № 25 (823), ноябрь 2002 года.

¾      "Горизонты науки: В реальном времени, в пространстве бесконечном", "Областная газета" № 212 (2187), 15.10.2002.

¾      "Веб-телевидение: окно в будущее", "Наука Урала" № 6 (804), март 2002г.

Результаты работ коллектива по интернет-видеотехнологиям отмечены Президиумом УрО РАН в числе лучших по УрО РАН за 2002г.

Результаты докладывались Комиссии по высокопроизводительным вычислениям РАН 16 декабря 2002г., где демонстрировались программные средства организации видеовещания, видеомостов и видеоархивов, которые были задействованы в ходе заседания комиссии. Был организован двусторонний обмен мнениями аудитории в Екатеринбурге и Москве. Были продемонстрированы применения этой системы для передачи через Интернет в реальном времени графической интерпретации результатов счета на суперкомпьютерах, что может найти существенное применение. Комиссия постановила рекомендовать научным организациям РАН использовать средства видеовещания, организации видеомостов и создания видеоархивов.

14.  Дальнейшие направления исследований

Предполагается проведение исследований по построению методов и алгоритмов потокового сжатия статических и динамических изображений на основе неортогональных базисов с адаптивным выбором базисных элементов; по разработке методов сжатия с использованием библиотек базовых элементов.

Предполагается разработка концепций построения, архитектур и алгоритмов для программных средств видео-интернет, разрабатываемых на 2-м этапе проекта: видеоконференции, "видео по запросу", мультимедиа сети, удаленной визуализации вычислений суперкомпьютера на базе вычислительного прокси-сервера.

Предполагается разработка программных средств видео-интернет, использующих компресссию на основе неортогональных базисов, ориентированной в первую очередь на передачу человеческого лица и на передачу изображений, типичных для научной визуализации.

Предполагается разработка технологии и программных средств для передачи сервером изображения с использованием многих камер (включая панорамный охват всего пространства группой видеокамер) с возможностью синтеза на приемной стороне виртуального изображения в желаемом ракурсе, давая каждому из подключенных пользователей возможность по своему усмотрению "поворачивать передающую видеокамеру" в процессе работы. Предполагается разработка технологии и программных средств для передачи сервером изображения с использованием многих камер (включая круговой охват объекта группой видеокамер) с возможностью синтеза на приемной стороне виртуального изображения объекта в желаемом ракурсе, давая каждому из подключенных пользователей возможность по своему усмотрению "поворачивать объект" в процессе работы.

Предполагается разработка средств администрирования сервера видеовещания с возможностями удаленного управления и получения статистики. Разработка концепции и приложения "видеоконференция". Приложение должно на базе веб-интерфейса обеспечивать: создание пользователями "комнат для встреч", вход участника в выбранную им "комнату", отображение на экранах находящихся в "комнате" подокон с видеотрансляциями от участников (с оперативным отображением изменений состава участников). Должны предоставляться средства администрирования с возможностями установления ограничений на доступ в каждую из "комнат", получения статистики и т.п. Предполагаются запуск в опытную эксплуатацию сервера видеоконференций для испытания в рамках нескольких учреждений РАН.

Предполагается продолжение разработки приложения "сервер видео по запросу" и средств динамической генерации веб-страниц, соответствующих подразделам видеобиблиотеки и разработка средств ведения видеоархива с удаленным доступом. Программные средства должны обеспечивать получение "видео по запросу" как с индивидуальным, так и с групповым доступом. Предполагается разработка новых компонент для образования мультимедиа-сети, обеспечивающих возможность получения потоков с многокаскадной ретрансляцией с наличием альтернативных путей получения медиапотока. Продолжение разработки и ввод в опытную эксплуатации новой версии вычислительного портала с возможностью удаленного наблюдения визуализации вычислений на суперкомпьютере. Подключение к вычислительному порталу ИММ УрО РАН ресурсов Российского суперкомпьютерного центра с удаленной визуализацией.

Предполагается продолжение формирования видеобиблиотеки УрО РАН с наполнением материалами съемок научных и общественных событий. Формирование видеобиблиотеки с результатами вычислительных экспериментов (компьютерного моделирования), главным образом, проведенных в ИММ УрО РАН (в том числе – выполненных на суперкомпьютерах), для различных областей прикладной математики.

15.  Заключение

Теоретические результаты и разрабатываемый программный комплекс базируются на передовых в мире технологиях MPEG-4, COM, ActiveX, Java, DirectShow, разработанных в коллективе ранее "компонентной -технологии" и подходах визуальных интерфейсов.

Разработанные оригинальные методы взаимной синхронизации аудио и видеопотоков, а также из синхронизации с темпом "абсолютного времени" с адаптацией к характеристикам канала связи позволили достичь весьма малых задержек передаваемых данных и весьма малого рассогласования изображения и звука по сравнению с зарубежными аналогами. Разработанная технология образования мультимедиа сети с применением ретрансляторов может позволить радикально сократить потоки данных в сети.

Применение разработанной среды веб-видеоконференций может повысить эффективность совместной деятельности групп специалистов.

Использование разработанной технологии с осуществлением визуализации суперкомпьютерных вычислений на стороне суперкомпьютера при применении вычислительного прокси-сервера позволяет осуществить более гибкий мониторинг вычислений в реальном времени, повышая производительность труда специалиста, проводящего удаленные вычисления, снизить расходы на вычислительный эксперимент и ускорить получение конечного результата.

Использование разработанной технологии создания библиотек визуальных результатов вычислительных экспериментов позволяет повысить эффективность иcпользования этих результатов.

16.  Благодарности

Автор благодарит В.А.Косарева, А.П.Петухова, И.В.Прохорова, А.В.Смирнова и И.В.Чайникова за участие в создании программных средств, М.Б.Каракину и В.С.Манторову -- за участие в работах по созданию видеобиблиотеки, Н.П.Бересневу – за участие в сопровождении медиасервера УрО РАН.

17.  Публикации

[1]        ISO/IEC 14496-1. Part 1: Systems, ISO/IEC 14496-2. Part 2: Visual, ISO/IEC 14496-3. Part 3: Audio, ISO/IEC 14496-5. Part 5: Reference software, ISO/IEC 14496-6. Part 6: Delivery Multimedia Integration Framework.

[2]        Vladimir V. Prokhorov, Vadim A. Kosarev, Alexander V. Yakovlev, Dmitrii V. Smirnov, Alexander P. Petukhov, Natalia P. Beresneva, Marina F. Prokhorova, Marina B. Karakina. Report on the Project: MPEG-4 Coding JMF Plugins and Applications, Institute of Mathematics and Mechanics, Ural Branch of Russian Academy of Sciences Ekaterinburg, Russia, 2001. – p.1-575.

[3]        Медиасервер УрО РАН http://webTV.uran.ru/.

[4]        Прохоров В.В. О микроконтекстном подходе к построению языков представления знаний и человеко-компьютерного взаимодействия. Изв. РАН. Теория и системы управления, 1997, №5. – с.5-15.

[5]        Прохоров В.В., Косарев В.А. Программные средства передачи видео-аудиопотоков через Интернет. SIIS2002 – Первый региональный форум "Сибирская индустрия информационных систем". – Новосибирск, 2002. (электронная публикация – http ://www-sbras.nsc.ru/win/telecom/forum_2002/prokhorov/prokhorov.htm)

[6]        Прохоров В.В., Косарев В.А. Технологии аудио-видеовещания в Интернет.//Научный сервис в сети Интернет: Труды Всероссийской научной конференции (24-29 сентября 2002 г., г.Новороссийск), М.: Изд-во МГУ, 2002.- с.15-17.

[7]        Прохоров В.В., Косарев В.А., Петухов А.П., Смирнов Д.В., Яковлев А.В. Реализация стандарта MPEG-4 для передачи мультимедиа через Интернет//Тезисы докладов Региональной молодежной конференции. – Екатеринбург: ИММ УрО РАН, 2001. – С.292-296.

[8]        Прохоров В.В., Косарев В.А., Яковлев А.В. MPEG-4-приложения для передачи мультимедиа через Интернет//Тезисы докладов Региональной молодежной конференции. -- Екатеринбург: ИММ УрО РАН.—2002.