Zakład Technik Wirtualnej Rzeczywistości Wydziału Mechatroniki PW nadaje obiektom cyfrową nieśmiertelność. O tradycji, która czerpie z nowoczesnych technik skanowania 3D opowiada dr hab. inż. Robert Sitnik, Kierownik Zakładu.
Zakład Technik Rzeczywistości Wirtualnej (ang. Virtual Reality Techniques Division) powstał w marcu 2013 roku. Stworzyła go grupa pracowników, których zainteresowania naukowe znacząco rozszerzyły obszar tematyki, jaką zajmowała się ich macierzysta jednostka - Zakład Inżynierii Fotonicznej (kierowany przez prof. Małgorzatę Kujawińską). Grupie pasjonatów przewodzi dr hab. inż. Robert Sitnik, prof. PW. Pośród zrealizowanych przez jego zespół projektów znajdziemy m.in. Wirtualne Muzeum im. Anny i Jarosława Iwaszkiewiczów w Stawisku z trójwymiarową digitalizacją oraz interaktywną prezentacją części zbiorów Muzeum. Obecnie ZTRW prowadzi prace w zakresie digitalizacji 3D w Muzeum Pałacu Króla Jana III Sobieskiego w Wilanowie przy skanowaniu wnętrz unikalnego pomieszczenia jakim jest Gabinet Chiński Króla. Przyjrzymy się zatem bliżej metodzie, która realne byty zamienia w ich cyfrowe odpowiedniki.Czym jest digitalizacja 3D?Robert Sitnik: Przez dokumentację trójwymiarową rozumiemy cyfrową reprezentację geometrii powierzchni mierzonego obiektu, wykonaną z określoną dokładnością i rozdzielczością. Ta podstawowa reprezentacja może być uzupełniona o dodatkowe wartości określone dla każdego punktu pomiarowego, takie jak barwa lub wektory normalne. Dane, które nie spełniają wymogu znanej i zachowanej dokładności odwzorowania, mogą być wykorzystane do zastosowań wizualizacyjnych i prezentacyjnych, ale nie powinny być traktowane jak dokumentacja.Digitalizacja 3D, dokumentacja 3D przetworzenie rzeczywistego obiektu w jego wizerunek cyfrowy zapisany w postaci trójwymiarowej (najpowszechniejsze zastosowanie to skanowanie 3D, pozwalające na uzyskanie współrzędnych [x, y, z] powierzchni rzeczywistego obiektu w kartezjańskim układzie współrzędnych)*.Digitalizację 3D stosuje się zazwyczaj w dokumentacji (w tym konserwatorskiej), do wizualizacji np. na stronę plakatu czy też do działań promocyjnych. Działania dokumentacyjne mają na celu wykonanie takiej kopii obiektu, że za kilka lat nie będzie trzeba tego robić ponownie. Jeśli zajdzie taka potrzeba, zostanie to przeprowadzone jedynie w celu monitoringu zachodzących zmian i ustalenia bieżącego stanu obiektu.Dokumentację konserwatorską wykonuje się przed procesem konserwacji albo bezpośrednio po nim (lub i przed i po), tak aby sprawdzić jaki jest wpływ procesu na obiekt. Najdokładniejsza jest tzw. dokumentacja wieczysta, która w założeniu ma być najwierniejszym odwzorowaniem. Jeśli w przyszłości obiekt się zdeformuje albo coś się z nim stanie, będziemy w stanie korzystać z wiarygodnych informacji o jego poprzednim stanie.Na jakich nośnikach jest wykonywana ta dokumentacja?RS: Sporządzamy ją na nośnikach cyfrowych (macierze dyskowe) oraz na taśmach. Dzięki infrastrukturze serwerowej Narodowego Instytutu Muzealnictwa i Ochrony Zbiorów (NIMOZ) wszystkie te dane są gromadzone i zabezpieczane centralnie. Poza tym, dane przechowujemy tak, jak banki przechowują informacje swoich klientów. Obiekty do bieżącego dostępu umieszczamy na macierzach dyskowych, a długoterminowe kopie zapisywane są na taśmach magnetycznych.Automatyzacja całego procesu polegać ma na...RS: ...jak najmniejszym udziale człowieka. Zakładając, że mamy na myśli np. zeskanowanie całego pomieszczenia zabytkowego, zbiera się najpierw zespół konserwatorów, którzy określają z jaką dokładnością mają być wykonane prace. W Gabinecie Chińskim Króla robiliśmy np. pomiar z rozdzielczością 0,1 mm, gdzie odległość pomiędzy punktami pomiarowymi wynosiła 0,1 mm z niepewnością pomiaru 50 mikrometrów. Musieliśmy wykonać ponad 12 tys. takich pomiarów.Ich ręczna realizacja przez człowieka jest trudna, gdyż operatorzy zmieniają się, a przecież muszą szybko przekazywać informacje współpracownikom. Dodatkowo podczas pomiarów często nie mogą wczytać całego modelu albo zapominają zeskanować jakiś fragment powierzchni obiektu. Dążymy do tego, aby wyeliminować wszystkie te czynności, które wymagają od operatora żmudnych i powtarzalnych czynności. Docelowo, operator powinien decydować głównie o strategii przedsięwzięcia. To, czy wszystkie powierzchnie są już zeskanowane czy nie - bada na bieżąco algorytm. W Muzeum w Wilanowie skanowaliśmy ok. 100 m² powierzchni ścian i sufitu z wykorzystaniem ramienia robota. Robot nie miał zasięgu pozycjonowania dla całego pomieszczenia, skanował więc fragmentami o rozmiarze metr na metr, w jednym układzie współrzędnych. Całość prac zajęła około miesiąca.Podczas pomiaru z wykorzystaniem ramienia robota, ścieżka wstępna jest zadawana automatycznie. Operator jedynie obserwuje i np. wskazuje miejsca, które należy domierzyć. Wtedy, zamontowana na ramieniu robota głowica pomiarowa, przemieszczana jest w odpowiednie położenie. Po pomiarach wszystkie fragmenty łączymy w jedną całość.Dlaczego Gabinet Chiński Króla jest tak wyjątkowy?Eryk Bunsch (Muzeum Pałacu Króla Jana III w Wilanowie): Wnętrze to posiada bardzo bogatą dekorację wykonaną w technice tzw. laki europejskiej. Takich pomieszczeń w Europie jest niewiele, stąd są one bardzo cenne. To jedyne tak zdobione wnętrze w Polsce. W ostatnich latach gabinet poddano bardzo skomplikowanym pracom konserwatorskim. Trwały one ponad dwa lata, a ich głównym celem było przywrócenie oryginalnej kolorystyki, która uległa zmianom pod wpływem działania światła. Dokumentację trójwymiarową tego wnętrza wykonaliśmy dwukrotnie - przed rozpoczęciem (w roku 2009) i po zakończeniu prac konserwatorskich (w roku 2015). Decyzja o stworzeniu tak zaawansowanej technologicznie dokumentacji dla całego wnętrza podjęta została z dwóch powodów. Po pierwsze chodziło o zarejestrowanie stanu zachowania pomieszczenia przed rozpoczęciem prac i stworzenia możliwości porównania tych danych z dokumentacją wykonaną w tym roku. Po drugie ze względów konserwatorskich (niewielkie wymiary wnętrza i niezwykła wrażliwość powierzchni) niemożliwe jest wpuszczanie do niego grup zwiedzających. Zarejestrowany wirtualny model ma dać możliwość udostępnienia wszystkich detali tego niezwykłego wnętrza szerokim rzeszom turystów za pośrednictwem mediów cyfrowych.Obecna dekoracja Gabinetu Chińskiego powstała w latach 1731-1732 na zlecenie króla Augusta II Mocnego i jest dziełem warsztatu Martina Schnella, który tworzył przedmioty rzemiosła artystycznego dekorowane laką europejską. Ściany tego niewielkiego alkierza ozdobione są płycinami z laką, naśladującą technologię i motywy zdobnicze laki chińskiej**.Jak duże mogą być obiekty do digitalizacji?RS: ZTWR zajmuje się metodą z oświetleniem strukturalnym i sukcesywnie ją rozwija. Ta metoda jest przystosowana do skanowania obiektów o wielkości ok. 2 metrów. W pomiarach wykorzystywany jest projektor, który oświetla jednocześnie całą powierzchnię. Obecnie nie ma tak wydajnych źródeł, aby oświetlić np. budynek. Do tego typu obiektów stosuje się lasery i systemy pomiarowe oparte o promieniowanie laserowe. Są to architektoniczno-geodezyjne systemy wykorzystujące metodę czasu powrotu wiązki lub przesunięcia fazowego, które skanują w układzie sferycznym w obszarze nawet kilkuset metrów. Wiązka obracana jest we wszystkich kierunkach i mierzona jest odległość od miejsca skanowania z dokładnością do około 4 mm. Przy dużym budynku to w zupełności wystarcza. Do wnętrz i małych obiektów, gdzie wymagana jest duża dokładność wykorzystujemy nasze systemy.Na czym polega istota wirtualnego muzeum?RS: Żeby zrobić prezentację wirtualną na odpowiednim poziomie, trzeba ją dokładnie zaprojektować, znaleźć środki, a potem dobrze zrealizować. Bo wirtualne muzeum to takie, w którym można wchodzić w interakcje w czasie rzeczywistym przy jednoczesnej wizualizacji 3D. Czy oglądanie dookoła jest również oglądaniem wirtualnym, to już jest kwestią definicji.W świecie wirtualnym trzeba zrealizować wiele różnych scenariuszy, podobnie jak w grze komputerowej. Powstaje więc pytanie, czy muzea 3D faktycznie są wirtualne, czy też korzystają jedynie z trójwymiarowych prezentacji. Marketingowo sprzedaje się to znakomicie, ale określić jednoznacznie rzeczywistość jest znacznie trudniej.Wilanów ma własną pracownię digitalizacji 3D wpisaną w struktury muzeum. Obecnie kończy się jej remont i jest instalowana aparatura. Ta pracownia skanuje w reżimie muzealnym tj. z zachowaniem całego procesu opartego na technologicznej linii do skanowania 3D. Na kolejnym etapie chcemy założyć firmę, która będzie szerzej wdrażać projektowane przez nas rozwiązania na polski i światowy rynek muzealny.Niedawno zakończył się XVII Festiwal Chopinowski. Stąd moje pytanie o fortepian Fryderyka Chopina, który Pański zespół we współpracy z Instytutem Adma Mickiewicza zrealizował w 2010 r.RS: Ta multimedialna wizualizacja zabytkowego fortepianu firmy Ignacego Pleyela, na którym Fryderyk Chopin grał i tworzył w Paryżu w ostatnich latach swojego życia, została przygotowana w związku z przypadającą w 2010 roku 200. rocznicą urodzin kompozytora. Opracowaliśmy interaktywny model z dokładnym odwzorowaniem jego geometrii, tekstury, ruchu poszczególnych elementów i wydobywanych rzeczywistych dźwięków zarejestrowanych na fortepianie Pleyel Narodowego Instytutu Fryderyka Chopina. Fortepian można było obejrzeć od środka i od zewnątrz, dotykając jego klawiszy. Prezentacja umożliwiała komponowanie, zapisywanie oraz odtwarzanie własnych utworów. Gra na instrumencie odbywała się za pomocą klikania myszą lub przy wykorzystaniu klawiatury komputera. Projekt był koordynowany ze strony PW przez dr. inż. Marcina Witkowskiego.Plany na przyszłość?RS: We współpracy z trzema firmami i przy finansowym wsparciu NCBR podejmujemy wyzwanie realizacji projektu 4D|BODY dokonującego pomiaru człowieka w ruchu, w tempie 120 razy na sekundę. Będziemy próbowali znaleźć zastosowania lepsze od dotychczasowych. Mogą one objąć takie dziedziny jak: medycyna, rehabilitacja, grafika czy efekty specjalne. W projekt zaangażowanych będzie ok 15-16 osób, specjalistów z różnych dziedzin.* Kryteria doboru techniki 3D do dokumentacji obiektów dziedzictwa kulturowego. Digitalizacja w muzeach 02/2014. Eryk Bunsch. Robert Sitnik. Narodowy Instytut Muzealnictwa i Ochrony Zabytków. Warszawa 2014.** Fragment artykułu „Prace konserwatorskie w Gabinecie Chińskim Króla” www.wilanow-palac.plZdjęcia: Eryk Bunsch, Muzeum Pałacu Króla Jana III w Wilanowie; Biuletyn PWArtykuł pochodzi z Biuletynu PW. Rozmawiała Izabela Koptoń-Ryniec
Zakład Technik Rzeczywistości Wirtualnej (ang. Virtual Reality Techniques Division) powstał w marcu 2013 roku. Stworzyła go grupa pracowników, których zainteresowania naukowe znacząco rozszerzyły obszar tematyki, jaką zajmowała się ich macierzysta jednostka - Zakład Inżynierii Fotonicznej (kierowany przez prof. Małgorzatę Kujawińską). Grupie pasjonatów przewodzi dr hab. inż. Robert Sitnik, prof. PW. Pośród zrealizowanych przez jego zespół projektów znajdziemy m.in. Wirtualne Muzeum im. Anny i Jarosława Iwaszkiewiczów w Stawisku z trójwymiarową digitalizacją oraz interaktywną prezentacją części zbiorów Muzeum. Obecnie ZTRW prowadzi prace w zakresie digitalizacji 3D w Muzeum Pałacu Króla Jana III Sobieskiego w Wilanowie przy skanowaniu wnętrz unikalnego pomieszczenia jakim jest Gabinet Chiński Króla. Przyjrzymy się zatem bliżej metodzie, która realne byty zamienia w ich cyfrowe odpowiedniki.Czym jest digitalizacja 3D?Robert Sitnik: Przez dokumentację trójwymiarową rozumiemy cyfrową reprezentację geometrii powierzchni mierzonego obiektu, wykonaną z określoną dokładnością i rozdzielczością. Ta podstawowa reprezentacja może być uzupełniona o dodatkowe wartości określone dla każdego punktu pomiarowego, takie jak barwa lub wektory normalne. Dane, które nie spełniają wymogu znanej i zachowanej dokładności odwzorowania, mogą być wykorzystane do zastosowań wizualizacyjnych i prezentacyjnych, ale nie powinny być traktowane jak dokumentacja.Digitalizacja 3D, dokumentacja 3D przetworzenie rzeczywistego obiektu w jego wizerunek cyfrowy zapisany w postaci trójwymiarowej (najpowszechniejsze zastosowanie to skanowanie 3D, pozwalające na uzyskanie współrzędnych [x, y, z] powierzchni rzeczywistego obiektu w kartezjańskim układzie współrzędnych)*.Digitalizację 3D stosuje się zazwyczaj w dokumentacji (w tym konserwatorskiej), do wizualizacji np. na stronę plakatu czy też do działań promocyjnych. Działania dokumentacyjne mają na celu wykonanie takiej kopii obiektu, że za kilka lat nie będzie trzeba tego robić ponownie. Jeśli zajdzie taka potrzeba, zostanie to przeprowadzone jedynie w celu monitoringu zachodzących zmian i ustalenia bieżącego stanu obiektu.Dokumentację konserwatorską wykonuje się przed procesem konserwacji albo bezpośrednio po nim (lub i przed i po), tak aby sprawdzić jaki jest wpływ procesu na obiekt. Najdokładniejsza jest tzw. dokumentacja wieczysta, która w założeniu ma być najwierniejszym odwzorowaniem. Jeśli w przyszłości obiekt się zdeformuje albo coś się z nim stanie, będziemy w stanie korzystać z wiarygodnych informacji o jego poprzednim stanie.Na jakich nośnikach jest wykonywana ta dokumentacja?RS: Sporządzamy ją na nośnikach cyfrowych (macierze dyskowe) oraz na taśmach. Dzięki infrastrukturze serwerowej Narodowego Instytutu Muzealnictwa i Ochrony Zbiorów (NIMOZ) wszystkie te dane są gromadzone i zabezpieczane centralnie. Poza tym, dane przechowujemy tak, jak banki przechowują informacje swoich klientów. Obiekty do bieżącego dostępu umieszczamy na macierzach dyskowych, a długoterminowe kopie zapisywane są na taśmach magnetycznych.Automatyzacja całego procesu polegać ma na...RS: ...jak najmniejszym udziale człowieka. Zakładając, że mamy na myśli np. zeskanowanie całego pomieszczenia zabytkowego, zbiera się najpierw zespół konserwatorów, którzy określają z jaką dokładnością mają być wykonane prace. W Gabinecie Chińskim Króla robiliśmy np. pomiar z rozdzielczością 0,1 mm, gdzie odległość pomiędzy punktami pomiarowymi wynosiła 0,1 mm z niepewnością pomiaru 50 mikrometrów. Musieliśmy wykonać ponad 12 tys. takich pomiarów.Ich ręczna realizacja przez człowieka jest trudna, gdyż operatorzy zmieniają się, a przecież muszą szybko przekazywać informacje współpracownikom. Dodatkowo podczas pomiarów często nie mogą wczytać całego modelu albo zapominają zeskanować jakiś fragment powierzchni obiektu. Dążymy do tego, aby wyeliminować wszystkie te czynności, które wymagają od operatora żmudnych i powtarzalnych czynności. Docelowo, operator powinien decydować głównie o strategii przedsięwzięcia. To, czy wszystkie powierzchnie są już zeskanowane czy nie - bada na bieżąco algorytm. W Muzeum w Wilanowie skanowaliśmy ok. 100 m² powierzchni ścian i sufitu z wykorzystaniem ramienia robota. Robot nie miał zasięgu pozycjonowania dla całego pomieszczenia, skanował więc fragmentami o rozmiarze metr na metr, w jednym układzie współrzędnych. Całość prac zajęła około miesiąca.Podczas pomiaru z wykorzystaniem ramienia robota, ścieżka wstępna jest zadawana automatycznie. Operator jedynie obserwuje i np. wskazuje miejsca, które należy domierzyć. Wtedy, zamontowana na ramieniu robota głowica pomiarowa, przemieszczana jest w odpowiednie położenie. Po pomiarach wszystkie fragmenty łączymy w jedną całość.Dlaczego Gabinet Chiński Króla jest tak wyjątkowy?Eryk Bunsch (Muzeum Pałacu Króla Jana III w Wilanowie): Wnętrze to posiada bardzo bogatą dekorację wykonaną w technice tzw. laki europejskiej. Takich pomieszczeń w Europie jest niewiele, stąd są one bardzo cenne. To jedyne tak zdobione wnętrze w Polsce. W ostatnich latach gabinet poddano bardzo skomplikowanym pracom konserwatorskim. Trwały one ponad dwa lata, a ich głównym celem było przywrócenie oryginalnej kolorystyki, która uległa zmianom pod wpływem działania światła. Dokumentację trójwymiarową tego wnętrza wykonaliśmy dwukrotnie - przed rozpoczęciem (w roku 2009) i po zakończeniu prac konserwatorskich (w roku 2015). Decyzja o stworzeniu tak zaawansowanej technologicznie dokumentacji dla całego wnętrza podjęta została z dwóch powodów. Po pierwsze chodziło o zarejestrowanie stanu zachowania pomieszczenia przed rozpoczęciem prac i stworzenia możliwości porównania tych danych z dokumentacją wykonaną w tym roku. Po drugie ze względów konserwatorskich (niewielkie wymiary wnętrza i niezwykła wrażliwość powierzchni) niemożliwe jest wpuszczanie do niego grup zwiedzających. Zarejestrowany wirtualny model ma dać możliwość udostępnienia wszystkich detali tego niezwykłego wnętrza szerokim rzeszom turystów za pośrednictwem mediów cyfrowych.Obecna dekoracja Gabinetu Chińskiego powstała w latach 1731-1732 na zlecenie króla Augusta II Mocnego i jest dziełem warsztatu Martina Schnella, który tworzył przedmioty rzemiosła artystycznego dekorowane laką europejską. Ściany tego niewielkiego alkierza ozdobione są płycinami z laką, naśladującą technologię i motywy zdobnicze laki chińskiej**.Jak duże mogą być obiekty do digitalizacji?RS: ZTWR zajmuje się metodą z oświetleniem strukturalnym i sukcesywnie ją rozwija. Ta metoda jest przystosowana do skanowania obiektów o wielkości ok. 2 metrów. W pomiarach wykorzystywany jest projektor, który oświetla jednocześnie całą powierzchnię. Obecnie nie ma tak wydajnych źródeł, aby oświetlić np. budynek. Do tego typu obiektów stosuje się lasery i systemy pomiarowe oparte o promieniowanie laserowe. Są to architektoniczno-geodezyjne systemy wykorzystujące metodę czasu powrotu wiązki lub przesunięcia fazowego, które skanują w układzie sferycznym w obszarze nawet kilkuset metrów. Wiązka obracana jest we wszystkich kierunkach i mierzona jest odległość od miejsca skanowania z dokładnością do około 4 mm. Przy dużym budynku to w zupełności wystarcza. Do wnętrz i małych obiektów, gdzie wymagana jest duża dokładność wykorzystujemy nasze systemy.Na czym polega istota wirtualnego muzeum?RS: Żeby zrobić prezentację wirtualną na odpowiednim poziomie, trzeba ją dokładnie zaprojektować, znaleźć środki, a potem dobrze zrealizować. Bo wirtualne muzeum to takie, w którym można wchodzić w interakcje w czasie rzeczywistym przy jednoczesnej wizualizacji 3D. Czy oglądanie dookoła jest również oglądaniem wirtualnym, to już jest kwestią definicji.W świecie wirtualnym trzeba zrealizować wiele różnych scenariuszy, podobnie jak w grze komputerowej. Powstaje więc pytanie, czy muzea 3D faktycznie są wirtualne, czy też korzystają jedynie z trójwymiarowych prezentacji. Marketingowo sprzedaje się to znakomicie, ale określić jednoznacznie rzeczywistość jest znacznie trudniej.Wilanów ma własną pracownię digitalizacji 3D wpisaną w struktury muzeum. Obecnie kończy się jej remont i jest instalowana aparatura. Ta pracownia skanuje w reżimie muzealnym tj. z zachowaniem całego procesu opartego na technologicznej linii do skanowania 3D. Na kolejnym etapie chcemy założyć firmę, która będzie szerzej wdrażać projektowane przez nas rozwiązania na polski i światowy rynek muzealny.Niedawno zakończył się XVII Festiwal Chopinowski. Stąd moje pytanie o fortepian Fryderyka Chopina, który Pański zespół we współpracy z Instytutem Adma Mickiewicza zrealizował w 2010 r.RS: Ta multimedialna wizualizacja zabytkowego fortepianu firmy Ignacego Pleyela, na którym Fryderyk Chopin grał i tworzył w Paryżu w ostatnich latach swojego życia, została przygotowana w związku z przypadającą w 2010 roku 200. rocznicą urodzin kompozytora. Opracowaliśmy interaktywny model z dokładnym odwzorowaniem jego geometrii, tekstury, ruchu poszczególnych elementów i wydobywanych rzeczywistych dźwięków zarejestrowanych na fortepianie Pleyel Narodowego Instytutu Fryderyka Chopina. Fortepian można było obejrzeć od środka i od zewnątrz, dotykając jego klawiszy. Prezentacja umożliwiała komponowanie, zapisywanie oraz odtwarzanie własnych utworów. Gra na instrumencie odbywała się za pomocą klikania myszą lub przy wykorzystaniu klawiatury komputera. Projekt był koordynowany ze strony PW przez dr. inż. Marcina Witkowskiego.Plany na przyszłość?RS: We współpracy z trzema firmami i przy finansowym wsparciu NCBR podejmujemy wyzwanie realizacji projektu 4D|BODY dokonującego pomiaru człowieka w ruchu, w tempie 120 razy na sekundę. Będziemy próbowali znaleźć zastosowania lepsze od dotychczasowych. Mogą one objąć takie dziedziny jak: medycyna, rehabilitacja, grafika czy efekty specjalne. W projekt zaangażowanych będzie ok 15-16 osób, specjalistów z różnych dziedzin.* Kryteria doboru techniki 3D do dokumentacji obiektów dziedzictwa kulturowego. Digitalizacja w muzeach 02/2014. Eryk Bunsch. Robert Sitnik. Narodowy Instytut Muzealnictwa i Ochrony Zabytków. Warszawa 2014.** Fragment artykułu „Prace konserwatorskie w Gabinecie Chińskim Króla” www.wilanow-palac.plZdjęcia: Eryk Bunsch, Muzeum Pałacu Króla Jana III w Wilanowie; Biuletyn PWArtykuł pochodzi z Biuletynu PW. Rozmawiała Izabela Koptoń-Ryniec
