UNA METODOLOGÍA INTELIGENTE PARA LA DIGITALIZACIÓN DE COLECCIÓNES MUSEÍSTICAS

A COMPREHENSIVE SMART METHODOLOGY FOR MUSEUM COLLECTION DIGITIZATION

Marco Gaiani, Fabrizio Ivan Apollonio, Filippo Fantini

doi: 10.4995/ega.2020.12281

El documento describe una metodología que cubre los procedimientos de levantamiento y las aplicaciones informáticas con el objetivo de convertir herramientas generalistas (teléfonos inteligentes) en dispositivos de adquisición rigurosa de BIC almacenados en los museos. Dos problemas diferentes se enfrentan: a) como las caracteristicas de dichos objetos a escala micro/meso afectan su documentación; b) desarrollo de una solución multipropósito para una adquisición de bajo costo y fácil de usar para digitalizar y visualizar artefactos BIC. Se presenta un procedimiento basado en un kit de adquisición digital destinado a lograr modelos y texturas confiables, así como representaciones de color precisas. Se han seleccionado varios objetos para probar la coherencia y flexibilidad de los métodos y técnicas propuestos, y los resultados se comparan con los de las técnicas de adquisición estándar.

PALABRAS CLAVE: COLECCIONES DE MUSEOS, SENSORES DE TELéfONOS INTELIGENTES, STRUCTURE fROM MOTION, CAPTURA y VISUALIZACIÓN DE COLORES, MODELADO 3D

The paper describes methods and techniques covering both surveying procedures and computer applications aiming to convert widespread tools as smartphones into reliable ranging devices in the field of Cultural Heritage (CH) museums small object. Two different issues are faced: a) how different features affect the documentation of micro-/meso-scale objects displayed in exhibitions; b) development of a multipurpose solution for a low-cost and easy-to-use acquisition to digitize and visualize these objects. A procedure based on a surveying kit aimed at achieving reliable models and textures, as well as accurate color renderings is presented. Several objects have been selected to test the consistency and flexibility of the proposed methods and techniques and results are compared with those from standard acquisition techniques.

KEYWORDS: MuSEuM cOllEctiOnS, SMaRtphOnE SEnSORS, StRuctuRE fROM MOtiOn, cOlOR captuRE & viSualizatiOn, 3D MODEling

170

Este artículo tiene como objetivo mostrar una solución a dos distin-tos problemas relacionados con los BIC y el conocimiento de ellos me-diante sus representaciónes:

• Lapreservaciónycomunicaciónde BIC difundidos.

• Los desafíos que surgen de lasnuevas herramientas de levan-tamiento y representación basa-dasenTICgeneralistas (teléfo-nosinteligentes).

Los teléfonos inteligentes, dis-positivos constantemente conecta-dosa Internet,que integransenso-res activos y pasivos, utilizados encombinación con aplicaciones sim-ples(“apps”)puedenproporcionara millones de usuarios sistemas de adquisiciónyvisualización1D-2D-3D de bajo costo ymúltiples pro-pósitos. El problema subyacente es cómo usar y personalizar estasherramientas para satisfacer los re-quisitosdeprecisiónparalosBienesCulturalesqueyasehanestablecidoa través de herramientas estándarde captura3D, su comunicaciónypreservación.SegúnelInstitutoEs-tadístico Italiano, Italia tiene4976museos,peromenosdel1%deellospuede atraer amásde500mil vi-sitantes por año (Bertollini et al.,2018).Paralosmuseospequeños(el99%),lapreservaciónyladifusiónde sus colecciones, generalmenteformadas por objetos de pequeñasdimensiones (inscritos en un cubode 100 cm de lado) siguen siendoproblemassinsolución,debidoalafaltadepresupuestos,ademásdeladificultaddeatraersociostecnológi-coscapacesdegenerar rápidamen-te soluciones basadas en las TIC,junto con la falta de competencias específicasentécnicasdigitales.Esteartículopresentaunasolución,paraadquirir y producir modelos 3D

renderizadosentiemporealdealtacalidaddeBICdetamañopequeñoy mediano, utilizando cámaras deteléfonosinteligentesyunconjuntode herramientas complementarias debajocostoyfácilesdeusar.Elsis-tema consiste en un flujo de trabajo basadoenlafotogrametríaautoma-tizada (RodriguezNavarro, 2012),enlaanálisisdeproblemasmétricosde losmodelos3Ddesde teléfonosinteligentes(Nocerinoetal.,2017),y en la confiabilidad del color tanto en la escalaurbana (GarciaCodo-ñeretal.,2009)comoenpequeñosartefactos(CabezosBernal&Rossi,2017).Sinembargo,lasoluciónde-sarrollada presenta varias mejoras y resultadosconsistentes,permitiendoqueseautilizadonosoloporarqui-tectos o topógrafos, sino tambiénpor los conservadores de museos.

Casos de estudio y criterios de selecciónElmuseodePalazzoPoggi(OttaniCavina,1988),partede el SistemaMuseale di Ateneo 1 (SMA) de laUniversidad de Bolonia, presentavariadas colecciones dedicadas a

This paper aims to show a solution focused on two different ‘hot’ problems concerning CH and its knowledge by representation:

• Thepreservationandcommunicationofthe widespread CH

• ThechallengescomingfromthenewIT-basedrepresentationandsurveyingtoolsexploitinggeneral-purposehardwareandsoftware, i.e. smartphones.

Smartphones,adeviceconstantlyconnectedtotheInternet,integratingactiveandpassivesensors, used in combination with simple mobile phone applications (apps) can supply millionsofuserswithamultipurposelow-cost1D-2D-3Dacquisitionandvisualizationsystems. The underlying problem is how to useandcustomizethesenewpowerfulandlightweighttoolstosatisfytherequirementsoftheCHwell-establishedaccuracystandardsofthesurveyingprocessatthegroundofthe3D-basedcommunication,preservationandconservation.AccordingtoItalianStatisticalInstitute,Italyhas4976museums,butlessthan 1% of them can attract more than 500thousandvisitorsperyear(Bertolliniet al., 2018). For small museums (the 99%) thepreservationanddisseminationoftheircollections,usuallyformedbysmall-scale objects (inscribed in a 100 cm edge cube)stillremainanunsolvedissue:duetoadequatebudgets,tothedifficultytoattracttechnologicalpartnersabletoquicklygenerateexcellentIT-basedsolutions,andtothelackofspecificcompetencesinusing

1. Museo de Palazzo Poggi: el salón de la colección Aldrovandi

1. Palazzo Poggi Museum: the hall of the Aldrovandi collection

171

expresión gráfica arquitectónica 38

1

172

2. Características generales de los objetos a escala micro/meso pertenecientes a colecciónes museísticas3. Casos de estudio: cuadros delimitadores y diagonales “D” y relativa diagramas de las características generales

2. General features of micro-/meso-scale objects belonging to museum collections3. Subjects of the testing phase: bounding box and diagonal “D” and corresponding diagrams of general features

digitaltechniquetomanagetheseissues.Inthispaperwepresentasolution,toacquireandproducehigh-qualityreal-timerendered3DmodelsofsmallandmediumsizeCHobjects, using simply smartphone cameras andasetoflow-cost,andeasy-to-useofcomplementary tools. The system is based on awell-establishedautomaticphotography-basedpipeline(RodriguezNavarro,2012),ontheanalysisofmetricissuesofsmartphones-based3Dmodels(Nocerinoetal.,2017),surveycolorreliabilityfromurbanscale(Garcia Codoñer et al., 2009) to small artifacts (CabezosBernal&Rossi,2017).However,thesolutiondevelopedhasseveralimprovementsand consistent results, allowing it to be used notonlybyarchitectsorsurveyors,butalsoby museum curators.

Case studies and selection criteriaThePalazzoPoggiMuseum(OttaniCavina,1988),partoftheMusealediAteneoSystem1(SMA)oftheUniversityofBologna,presentsvariouscollectionsdedicated to geography and nautical sciences, military architecture, physics, natural history, chemistry, human anatomy, along with the collection of fossils and dissected animals collected by the naturalist UlisseAldrovandi(Fig.1).Thecasestudieswereidentifiedwiththeaimofbeingasrepresentativeaspossibleofthevarietyofartifactsand,aboveall,inordertobeabletoprovidegeneraloperationalguidelinesregardingrequirements,proceduresandworking methodologies. The adopted criteria for the selection of case studies are as follows (Fig. 2):

• Intrinsicfeatures:surfaceandtexturalproperties;

• Extrinsicfeatures:size,geometry.Severalcriteriaofshapeanalysis(Russo2012,p.128-131)hasbeenadaptedtoevaluatecrucialparametersforthedocumentationofmicro-/meso-scaleobjects (Fig. 2): D/d ratio; Spatial distribution; Topological complexity;

• Logisticsofthesurveyingactivity:instrument handling and portability, preservationoflightingcharacteristicsand physical contrast due to photogrammetric applications.

ciales para la documentación de objetosdemicro/mesoescala(Fig.2):relaciónD/d;Distribuciónes-pacial;Complejidadtopológica;

• Logísticadellevantamiento:ma-nejo y portabilidad de herramien-tas,preservacióndelascaracterís-ticas de iluminación, obstáculosfísicosqueafectanalacampañafotogramétrica.

Losejemplosemblemáticosson:

– Unpezpuercoespín:cuadrode-limitador = 35x19x25 cm, pielaltamente especular y pequeñosdetalles(Fig.3a).

– Un globo del astrónomo Hornd’Arturo: cuadro delimitador = 31x31x46cm,superficieregularaltamente reflectante con un efec-toFresnelconsiderable(Fig.3b).

– Un busto de Luigi FerdinandoMarsili (1658-1730): cuadro

lageografíaylascienciasnáuticas,la arquitecturamilitar, la física, lahistorianatural,laquímica,laana-tomíahumana, juntocon la colec-ción de fósiles y animales disecados recogidos por el naturalista UlisseAldrovandi (Fig. 1). Los casos deestudio se han identificado con el objetivo de ser lo más representa-tivos posible de la variedad de ar-tefactos y, sobre todo, para poderproporcionarlíneasguíaoperativasygeneralistassobrelametodologíadetrabajo.Loscriteriosadoptadospara la selección de los casos de es-tudiosonlossiguientes(Fig.2):

• Características intrínsecas: pro-piedadesdesuperficieytextura;

• Características extrínsecas: ta-maño y geometría. Varios crite-riosdeanálisisdeforma(Russo,2012,p.128-131)sehanadapta-doparaevaluarparámetroscru-

2

173

expresión gráfica arquitectónica 38

Theacquireddatasetsare:

– Aporcupinefish:boundingbox=35x19x25cm, highly specular skin and tiny details (Fig.3a).

– AglobebyastronomerHornd’Arturo:boundingbox=31x31x46cm,highlyreflectiveregularsurfacewithaconsiderableFresneleffect(Fig.3b).

– Abustofthescientist,military,geologistLuigiFerdinandoMarsili(1658-1730):bounding=41x67x99cm,madeinCarraramarble (highly translucent), with highly variabledetailsize(Fig.3c).

AseparatecaseisthestatueofHercules(boundingbox=100x90x275cm,madeinsandstone).Duetoitssizeanditsexhibitionconditions,itwasasignificantcaseonwhich to test the procedure in order to evaluateitsapplicationtomoregeneralcases(Fig.3d).

Surveyingtools,purposes and objectivesTheacquisitionproceduredevelopediscarried out with:

– a smartphone camera;– asmallsetoflow-cost,easy-to-findand

easy-to-useacquisitiontools(LEDlights,color checker, some tripods);

– a consolidated procedure aimed at guaranteeing the faithful reproduction of color, as well as shape and geometric accuracy.

3

delimitador=41x67x99cm,enmármol de Carrara (altamentetranslúcido), con tamaños delos detalles altamente variable (Fig.3c).

Un caso separado es la estatua de Hércules (cuadro delimitador=100x90x275 cm, enpiedra are-nisca).Debidoasutamañoyasuscondicionesdeexhibición,hasidoun caso significativo para evaluarla aplicación del procedimiento a casosmásgenerales(Fig.3d).

Herramientas de levantamiento, fines y objetivosEl procedimiento de adquisicióndesarrollado se basa en el uso de:

– unteléfonointeligente;– un conjunto de herramientas de adquisición de bajo costo, fá-cilesde encontraryusar (lucesLED,cartaparaelcorrectordecolor,trípodes);

– un procedimiento consolidado destinado a garantizar la repro-ducciónfieldelcolor,asícomolaformaylaprecisióngeométrica.

El teléfono inteligente es elApple iPhoneX que presenta ni-veles de resolución de imagen,nitidez y precisión de color muycercanos a las réflex digitalesde lente única (SLR). Tiene unaconfiguración de cámara dual de12MP:unsensorgranangularconuna lente de 4mmy f/1.8; el te-leobjetivopresentaunalentede6mmyf/2.4.Elkitiluminadorestáequipado con dispositivos de ilu-minación Relio 2 (35x35x35mm,80g), que emiten luz de espectrocontinuo a un CCT de 4000° K,unbrillode40000luxaunos0.25myunCRI>95%.Ademástieneuna alta fiabilidad de color en to-daslaslongitudesdeonda,yevitala emisión excesiva de calor y deradiacionesdañinasUVyIR.Unadelascuestionesmáscríticasenlacapturayrepresentacióndigitaldeun BIC se refiere al color y la de-finición tonal de las propiedades de su material de superficie: estas seenmarcandentrodeltemamásgeneral de la definición completade las propiedades aparentes, lafunción de distribución de reflec-tancia bidireccional (BRDF), quese identifica en la captura y repro-

ThesmartphoneusedistheAppleiPhoneX.Itpresentslevelsofimageresolution,sharpnessandcoloraccuracyveryclosetoprosumerSingle-LensReflex(SLR)cameras.Ithasadual-12MP:awide-anglesensorsits behind a 4 mm and f/1.8 lens; the telephotopresentsa6mmandf/2.4lens.The illuminator kit is supplied with Relio 2illuminationdevices(35x35x35mm,80g)emitting continuous spectrum light at a CCT of 4000° K, a neutral white with high color rendering, has a brightness of 40000 lux at 0.25m,andhasaCRI>95%.Furthermore,ithasahighcolorreliabilityonallwavelengthsanditavoidstheexcessiveheatemissionanddamagingUVandIRradiations.Oneofthe most critical issue in the digital capture and rendering of a CH artifact concerns the colorandtonaldefinitionofpropertiesofits surface material. This topic concerns the completedefinitionofthematerialproperties,theBidirectionalReflectanceDistributionFunction(BRDF),thereforeidentifiedinthecapture and reproduction of an albedo map. Taking into account calculation resources andavailabletime,thisissuerequiresmajorsimplificationsofthephysicalbehavioroflight and its interactions with the surface andenvironment,theimpossibilityofobtainingthemetricfidelityofthecolorpropertiesandacceptingtoachieveitsperceptualfidelity.Acrucialphaseconcernsthe color correction (CC) of the captured images obtained, with digital cameras, using reference charts/target of color patches with knownspectralreflectance.Toevaluatecolorfidelity(Reinhardetal.,2008),theCIEDE

4

ducción de un mapa de albedo. Teniendo en cuenta los recursos decálculoyeltiempodisponible,esteproblemarequieresimplifica-ciones del comportamiento de la luz yde la interacción superficie-entorno, que supone la imposibi-lidad de obtener la fidelidadmé-trica de las propiedades del color yporlotantoaceptarcomologrofinal la fidelidad del color perci-bido. Una fase crucial se refiere a la corrección de color (CC) delasimágenesobtenidasconcáma-rasdigitales,utilizandounacartaque lleva “dianas cromáticas” dereferencia con reflectancia espec-tral conocida. Para evaluar la fi-delidaddelcolor(Reinhardetal.,2008),losestándaresdecolorime-tría CIEDE, aprobadas entre lasorganizaciones ISO y CIE (ISO/CIE 11664-6 , 2014; Habekost,2013),hansidoreconocidoscomolasmétricasdediferenciadecolormásutilizables.Estoserepresentamediante la ecuación Delta-E( E)querepresentaladistanciaeuclidia-naenelespaciodecolorL*a*b*en-trelosvaloresdeimagencapturadosy los valores medidos en parches de prueba.Losrendimientosgeneralesde codificación de color se obtienen

normalmente sumando las medidas estadísticas de E relacionadas con el conjunto completo de muestras de color contenidas en los objetos. El valor de E = 1.0 sería lame-nordiferencia de color que el ojohumanopuededetectar.Laúltimaversión,CIEDE2000( E*00)(Shar-maetal.,2005)sehautilizadoparapermitir una mejor percepción de las no uniformidades del espacio de co-lorL*a*b*y,porlotanto,unamejorcorrelación con la diferencia de color perceptual que las ecuaciones ante-riores (Mokrzycki& Tatol, 2011).Laevaluacióndelaformaylapreci-sióngeométricadelosmodelos3D,se llevó a cabo con respecto a:

– cámara réflex: Nikon 5200,conunsensorCMOSAPS-Cde23,5x15,6mmyunaresoluciónde6000x4000px,juntoconunobjetivozoomde18-55mm.

– datos de referencia: a) escánerláser a proyección de franjasmúltiples,paraobjetosapeque-ña escala: NextEngine 2020iDesktop con precisión nominalhasta0,127mm;b)escánerláserterrestredecambiodefase,paraobjetosdemesoescala:FaroFo-cusX130conprecisiónnominalhasta2mm.

174

4. El “triple” flujo de trabajo propuesto5. Configuración del Lighting-Rig Kit (LRK) y foto de referencia para el ColorChecker Passport (CCP)

4. The proposed “trifold” workflow5. Illumination setup Lighting-Rig Kit (LRK) and reference shot to ColorChecker Passport (CCP)

colorimetrystandards,approvedasajointinternationalstandardbetweentheISOandCIEorganizations(ISO/CIE11664-6,2014;Habekost,2013)havebeenacknowledgedthe most usable color difference metrics. This is represented by Delta-E ( E)equationthatdepictstheEuclideandistanceinL*a*b*colorspacebetweencapturedimagevaluesandmeasuredvaluesontestpatches.Theoverallcolor-codingperformancesarenormally obtained by adding up the statistical measures of the E relating to the whole set of color samples contained in the targets. The valueof E=1.0wouldbethesmallestcolordifference that the human eye can detect. The lastversion,CIEDE2000( E*00) (Sharma et al., 2005) was used allowing better perception of theL*a*b*colorspacenon-uniformitiesandthus better correlating with perceptual color differencethanearlierequations(Mokrzycki&Tatol,2011).Concerningtheevaluationoftheshapeandgeometricaccuracyof3Dmodelsobtained by smartphone, it was carried out with respect to:

– referenceSLRcamera:Nikon5200camera,witha23.5x15.6mmAPS-CCMOSsensor,andanimageresolutionof6000x4000px,coupledwithazoomlens18-55mm

– groundtruthreference/activesensors:a)NextEngine2020iDesktoplaserscanner,multiplefringeprojectiondevice3Dwithpointaccuracyupto0,127mm,forsmall-scaleobjects;b)FaroFocusX130,phase-shiftterrestriallaserscanner,formeso-scale objects (point accuracy up to 2 mm).

Best practice and operational procedureFromtheoperationalpointofview,the3Dmodelacquisition,constructionandvisualizationpresenta“trifold”workflow(Fig.4):

• tosetupandtestanoperationalapproachfor network planning, illumination setup (Lighting-RigKit,LRK)andcolorchecking;

• touseaspecificsoftwaresolutiondevelopedinordertoobtainafullexploitation of frames coming from smartphones: a pre post processing for both pictures and textures is aimed at improvingmetricaccuracyandcolorreliabilityof3Dmodels(Gaiani&Ballabeni,2018);

5

175

expresión gráfica arquitectónica 38

176 • toapplyamatureandconsolidatedprocedurefrompreviousresearchesforSfM/DVSphaseandmodelsoptimizationandparametrization(Gaiani,2015).

The Relio 2-basedLRKwasusedinallcasestudies (with the exception of Hercules’ statue where natural ambient light was exploited) and it consists in (Fig. 5):

– twosets,eachoneof8singleLEDlights,grouped in order to approximate a lighting panel;

– a rotating support;– Somewhitetranslucentcanvas

surroundingthebounding-boxcontainingthesurveyedobjects;

– Aresizablestructurecapabletoinscribedifferent artifacts.

InordertoperformcoloranalysisandfurthercolorprocessingphasesanX-RiteColorChecker Passport (CCP) physical reference chart was used during all phases oftheacquisitionprocess.TheacquisitionmethodinvolvesthepositioningoftheCCPineachrepresentativepositionofanareawithhomogeneousdirectionandverse(ofthenormals), as well as consistent illumination (Fig.5and6).

ColorandgeometricprocessingWithintheproceduredeveloped,thecoloraccuracyisachievedbymeansofaninternallydevelopedapplicationenabledtoprocessRAWformats.Totakefulladvantageof the frames coming from smartphones, twoprocessesarerequired:apreviousone(foracquiredimages)andasubsequentone(fortextures).Imagespre-processingaimsat radiometric calibration of frames using anewversionoftheSHAFTapplication(GAIANI&BALLABENI,2018);reviewedinordertofitwithsmartphonefeatures,whereRAWformatisnotaccessibletotheuser.Photogrammetric reconstruction through the program used in this article 2 is carried out in compliance with a consolidated workflow thatprovidesautomaticidentificationof“RAD”codedtargets,alignmentofframesand the construction of a dense point cloud thenconvertedintoahighlydetailedmesh.Thefinalstage,namelythere-projectionofthe frames on the polygonal surface, is a particularly delicate moment that does not

como objetivo mejorar la preci-sión métrica y la fiabilidad delcolordelosmodelos3D(Gaiani&Ballabeni,2018).

• aplicar un procedimiento con-solidadoenanterioresinvestiga-cionesparalafaseSfM/DVSylaoptimización y parametrizacióndemodelos(Gaiani,2015):

ElLRKbasadoenlosRelio 2 uti-lizadentodosloscasosdeestudio,exceptoelcasodeHérculesdondesehautilizadolaluzambiental,secomponede(Fig.5):

– luces LED individuales vincu-ladas,endosgruposde8,paraaproximaradospanelesde ilu-minación;

– unsoportegiratorio;

Buenas prácticas y procedimiento operativoDesde el punto de vista operati-vo,laadquisición,construcciónyvisualizacióndelmodelo3Dpre-sentaunflujodetrabajo“triple”(Fig.4):

• configuraryprobarunenfoqueoperativo para la planificación del “network” de camaras, laconfiguracióndelailuminación(Lighting-RigKit,LRK)ylave-rificacióndelcolor;

• uso de una solución de soft-ware desarrollada con el fin deobtener la explotación de losfotogramas provenientes de losteléfonos inteligentes, que tiene

6

177

expresión gráfica arquitectónica 38

6. Criterios para el posicionamiento del CCP7. Busto Marsili. Parametrización automática del software SfM (arriba): (a) número incontrolado de “islas”; (b) la comparación de la versión 2D del modelo con las áreas homólogas de la malla 3D presenta baja distorsión; (c) mallas muy detalladas, fenómeno de superposición considerable, falta de correspondencia biyectiva entre el modelo y la textura; Parametrización semiautomático (abajo): (d) bajo número de islas semánticamente coherentes; (e) la versión 2D presenta una distorsión ligeramente mayor de la en (b) pero facilita la edición de píxeles; (f) correspondencia biyectiva 3D-2D perfecta

6. Criteria for CCP positioning7. Marsili bust. (top) problems related to automatic parameterization from SfM software: (a) uncontrolled number of “islands”; (b) comparison of 2D version of the model to the homologous areas of the 3D mesh presents low distortion if compared; (c) highly detailed meshes, substantial overlapping phenomenon, lack of one-to-one correspondence among model and texture; (bottom) consolidated semi-automatic parameterization procedure: (d) low number of islands semantically consistent with the model, paltry waste of parameter space; (e) comparison of 2D version of the model to the homologous areas of the 3D mesh presents slightly higher distortion, but possibility to pixel editing; (f) no overlapping (perfect one-to-one correspondence)

allow a high degree of interaction within Metashape:animportantroleisplayedbytheparameterizationthatprovidesthetexeldensityandthelevelofcoherencebetweenthe2D“islands”andthehomologous3Dareas(García-Leónetal,2018).Thisprocessgeneratesseveralproblemsintheabsenceofspecificstrategies(Fig.7).Tocutdownseverelimitationsofthephotogrammetricsoftwareused,Metashape(Apollonioetal.,2017),whichdoesn’tmanage correctly the color, a new CC was doneontheparametrizedtextureusingnewlySHAFT,inordertoobtainthealbedo:a CCP is always captured and reconstructed as independent chunk in the scene (Fig. 8). TheCCPisproperlyincludedinsidethe(u,v)layoutinordertorunafinalcolorcorrectionincompliancewiththecolorfidelityobjectives.

ResultsTheresultsachievedbyapplyingtheprocedure described demonstrate excellent reliability in terms of morphological and colorimetric accuracy. Regarding the morphological results (Tables 1) from the deviationanalysis,thepotentialofsmartphone cameras has been demonstrated in adifficultsubjectsuchasporcupinefish(translucent and small elements, Fig. 9), as well as when we combine a wide range of

completamente los fotogramasprovenientes de los teléfonos in-teligentes hacen falta dos proce-samientos: uno previo (para lasimágenesadquiridas)yunoposte-rior(paralastexturas).Elprepro-cesamiento de las imágenes tienecomo objetivo la calibración ra-diométrica utilizando una nuevaversióndelsoftwareSHAFTparala correcciónde color (Gaiani&Ballabeni, 2018), revisado paralas funciones del teléfono inteli-gente,dondeelformatoRAWnoesaccesibleparaelusuario.Lare-construcción fotogramétricaa tra-vésdelprogramautilizado 2 en este artículo se lleva a cabo de acuerdo con un flujo de trabajo consolidado que proporciona la identificaciónautomáticadelosobjetivoscodifi-cados“RAD”,laalineacióndelosfotogramas y la construcción deuna nube densa a partir de la cual obtener una malla de alto detalle. La etapa final de reproyección delas fotografíasen la superficiepo-

– unlienzoblancotranslúcidoquerodea el cuadro delimitador del objetolevantado;

– una estructura redimensionable capaz de inscribir diferentes ar-tefactos.

Para realizar el análisis y otrasfases de procesamiento del color,sehautilizadouncuadrode refe-rencia físicaX-Rite ColorCheckerPassport (CCP) durante todas lasfases del proceso de adquisición,asegurando por cada toma, unaposiciónrepresentativadeunaáreacon dirección y verso homogéneo(delasnormales),comoporlailu-minación(Figs.5y6).

Procesamiento de color y geométriaDentrodelprocedimientoestable-cido,laprecisióncromáticaselo-gramedianteunaaplicacióndesa-rrolladainternamentequeprocesaformatos RAW. Para aprovechar

7

materialscharacterizedbydifferenttypesandvaluesoflightreflection(diffusevs.specular),porosity, transparency, etc. Concerning color fidelity(Table2),thetestsshowedabsolutecomparability between the results obtained withthesmartphoneandtheNikonSLRcamera. The E*00 meanerrorvaluesofSLRcamera and smartphone camera are almost identical (Table 2), while in the case of the Herculescasestudythevaluesdifferbyless than 1,00 E*00.Ingeneral,weobservehowcontrolledlightconditions(LRK)leadtorelevantbenefits,especiallyinthecaseofthesmartphone camera. Great part of the present study was aimed at restoring frames’ original featuresthroughasortof“reverseengineering”ofpre-processingalgorithmswhosepurposeisfarfromtheachievementofcolorreliabilitytypical of Cultural Heritage applications.

ConclusionsThedevelopedsystemallowsacoherentand easy to use workflow able to exploit this new way of working, allowing to obtain highquality3Dmodelsthatcanbeusedinmultiple real time rendering applications. These models are multipurpose since their applications range from management to

ResultadosLosresultadosalcanzadosalapli-car el procedimiento descrito de-muestranunaexcelenteconfianzaen términos de precisión morfo-lógica y colorimétrica. En cuan-to a los resultados morfológicos(Tabla 1) provenientes del análi-sis de desviaciones se ha demos-trado el potencial de las cámarasdelosteléfonosinteligentesenuntemadifícilcomoelpezpuercoes-pín (elementos translúcidos y pe-queños,Fig.9), así comocuandocombinamosunaampliagamadematerialescaracterizadospordife-rentestiposyvaloresdereflexiónde la luz (difusa frente a especu-lar),porosidad,transparencia,etc.En cuanto a la fidelidad del color (Tabla2),laspruebashanmostra-do una comparabilidad absoluta entre los resultados obtenidos con elteléfonointeligenteylacámaraNikon SLR. Los valores de error

ligonal esunmomentoparticular-mentedelicadoquenopermiteunaltogradodeinteraccióndentrodeMetashape: un papel importante es jugadoporlaparametrizaciónqueproporciona la densidad de texely del nivel de coherencia entre las “islas”2Dylasáreas3Dhomólo-gas(García-Leónetal,2018).Esteproceso genera varios problemasenausenciadeestrategiasespecífi-cas(Fig.7).Parareducirlasconsistenteslimi-

taciones del software Metashape,que no gestiona correctamente elcolor(Apollonioetal.,2017),sehallevado a cabo una nueva CC sobre latexturausandolanuevaversióndeSHAFT,yobtenerunalbedoco-rrecto:serealizaunlevantamientoymaterializa unCCP comoparteindependiente dentro de la recons-trucción fotogramétrica (Fig. 8),incluendolo dentro del sistema de referencia (u,v)paraejecutarunacorrección de color final.

8

8. Estatua de Hércules: (a) Parametrización, (b) evaluación, (c) corrección final de Albedo, (d) resultado

8. Hercules statue: (a) parameterization, (b) evaluation, (c) Albedo final correction, (d) result

178

medio E*00 entre la cámaraSLRylacámaradelteléfonointeligentehandemostradoquesoncasiidén-ticos(Tabla2),conunadiferenciaconel casodeHérculesdemenosde1,00 E*00. En general, obser-vamoscómolascondicionesdeluzcontroladas(LRK)conducenabe-neficios relevantes, especialmenteenelcasodelacámaradelteléfo-nointeligente.Granpartedelpre-sente estudio tuvo como objetivo “restaurar”lascaracterísticasori-ginalesde las fotografiasa travésde una especie de “ingeniería in-versa”dealgoritmosdepreproce-samientocuyopropósitoestálejosdealcanzarlafiabilidaddelcolortípicadelasaplicacionesdelPatri-monio Cultural.

Tabla 1 / Table 1

Tabla 2 / Table 2

Pez puercoespínPorcupinefish

Busto MarsiliMarsiliBust

HérculesHercules

El globo de Horn d’ArturoHornd’Arturo’sglobe

iPhoneX-NextEngine 0,3579mm 0,6352mm 82,5912%

iPhoneX-NikonD5200 0,0775mm 0,8971mm 81,991%

iPhoneX-NextEngine 0,00019m 0,00124m 73,83781%

iPhoneX-NikonD5200 0,00103m 0,00089m 82,82668%

iPhoneX-NextEngine 0,4725mm 0,5131mm 90,8291%

iPhoneX-NikonD5200 4,1201mm 0,8067mm 77,9691%

iPhoneX-FaroTLS -0,00003m 0,00193m 67,41295%

iPhoneX-NikonD5200 -0,00013m 0,00187m 67,93515%

COMPARACIóN ERROR MEDIO DESVIACIóN PORCENTAjE DE MUESTRAS

ESTáNDAR DENTRO DE ± 1 σ

CoMPARISon MEAn ERRoR STAnDARD PERCEnTAGE of SAMPLES

DEvIATIon wITHIn ± 1 σ

E*00 MEDIO / MEAn

Pez puercoespín 2,15 Porcupinefish

El globo de Horn d’Arturo 2,31

iPhone X Hornd’Arturo’sglobe

Busto Marsili 2,65 MarsiliBust

Hércules 3,38 Hercules

Pez puercoespín 2,22 Porcupinefish

El globo de Horn d’Arturo 2,19

Nikon D5200 Hornd’Arturo’sglobe

Busto Marsili 2,35 MarsiliBust

Hércules 2,57 Hercules

179

expresión gráfica arquitectónica 38

180

enhancement of CH: monitoring of the state ofpreservation,productionofaudiovisualandinteractivesystemsfordisseminationanddissemination,scientifictoolsforthestudyand comparison of artifacts, etc. Results show that a major change is going to happen in the architect,conservatorandsurveyoractivities,meanwhile smartphone sensors open new scenariostotheircommonusers,including3Dcapturing in a natural and easy way. n

Notes1/https://sma.unibo.it/en/the-university-museum-network(lastaccessedAugust29,2019).2/Metashape,stateoftheartphotogrammetricprocessingsoftware,developedbyAgisoft(https://www.agisoft.com)hasfeaturesincommontoothersavailableonthemarket,suchas3DFlowZEPHYR(https://www.3dflow.net/it/)andCapturingReality RealityCapture (https: //www.capturingreality. Com/). The workflow presented in this article is consistent with the currentpanoramaofsuchSfM/DVSprograms.

References– APOLLONIO,F.I.,GAIANI,M.,BASILISSI,W.,

RIVAROLI,L.,2017.Photogrammetrydriventoolstosupporttherestorationofopen-airbronzesurfacesof sculptures: an integrated solution starting from theexperienceoftheNeptuneFountaininBologna.Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci.,XLII-2/W3,47-54.doi.org/10.5194/isprs-archives-XLII-2-W3-47-2017.

– BERTOLLINI,M.,CARAMIS,A.,D’ELIA,M.,PRISCO,M.R.,TALICE,S.,2018.Lavalorizzazionedelpatrimonio museale: i percorsi museali 2015. https://www.slideshare.net/slideistat/(10March2019).

– CABEZOSBERNAL,P.,ROSSI,A.,2017,Técnicasdemusealizaciónvirtual.LoscapitelesdelMonasteriode San Cugat. EGA,29,pp.48-57.https://doi.org/10.4995/ega.2017.7340.

– GAIANI,M.,BALLABENI,A.,2018,SHAFT(SAT&HUEAdaptiveFineTuning),anewautomatedsolutionfortarget-basedcolourcorrection.ColourandColorimetry.MultidisciplinaryContributions,XIVB,pp.69-80.

– GAIANI,M.(ed.),2015.IporticidiBolognaArchitettura,Modelli3Dericerchetecnologiche,Bologna,BONONIAUNIVERSITYPRESS.

try driven tools to support the restoration of open-air bronze surfaces of sculptures: anintegrated solution starting from the expe-rienceoftheNeptuneFountaininBologna.ISPRS,XLII-2/W3,pp.47-54.

– BERTOLLINI,M.,CARAMIS,A.,D’ELIA,M.,PRISCO,M.R.,TALICE,S.,2018.La valorizzazione del patrimonio museale: i percorsi museali 2015. https://www.slides-hare.net/slideistat/(10March2019).

– CABEZOSBERNAL,P.,ROSSI,A.,2017.Técnicasdemusealización virtual.Los ca-pitelesdelMonasteriodeSanCugat.EGA,29,pp.48-57.

– GAIANI, M., BALLABENI, A., 2018.SHAFT (SAT & HUE Adaptive Fine Tu-ning),anewautomatedsolutionfortarget-based colour correction. Colour and Colo-rimetry. Multidisciplinary Contributions,XIVB,pp.69-80.

– GAIANI,M. (ed.), 2015. I portici di Bo-logna Architettura, Modelli 3D e ricerche tecnologiche,Bologna.

– GARCIA-CODOÑER, A., LLOPIS VER-DÚ,J.,TORRESBARCHINO,A.,VILLA-PLANA GUILLÉN, R., SERRA LLUCH,J.,2009.ColourasaStructuralVariableofHistoricalUrbanForm.Color Research and Application,34,pp.253-265.

– GARCÍA-LEÓN, J., SÁNCHEZ-ALLE-GUE, P., PEÑA-VELASCO,C., CIPRIA-NI, L., FANTINI, F., 2018. Interactivedissemination of the 3Dmodel of a ba-roque altarpiece: a pipeline from digitalsurveytogameengines.SCIRES-IT,8(2),pp.59-76.

– HABEKOST,M.,2013.Whichcolourdiffe-rencingequationshouldbeused?.Interna-tional Circular of Graphic Education and Research,6,pp.20-33.

– ISO/CIE 11664-6 (2014). Colourimetry– Part 6: CIEDE2000 Colour-DifferenceFormula.

– LOWE,D.G.,2004,DistinctiveImageFea-tures fromScale-InvariantKeypoints”. In-ternational Journal of Computer Vision,60(2),pp.91–110.

– MOKRZYCKI, W.S., TATOL, M., 2011.

ConclusionesEl sistema desarrollado permite un flujo de trabajo coherente y fácildeusarcapazdeexplotarestanue-vaformadetomadedatos,loquepermite lograrmodelos3Ddealtacalidadcontexturadecolorusandosolounaherramientadeusogeneralquesepuedenutilizarenmúltiplesaplicacionesderenderizadoentiem-porealparalagestiónypuestaenvalor de los BIC: monitoreo del es-tadodepreservación,produccióndesistemas audiovisuales e interactivos dedifusión,herramientascientíficaspara el estudio y comparación de artefactos, etc. Los resultados de-muestranqueparecehaberuncam-bio importante en la actividad del arquitecto, conservador, restaura-dorylevantador,abriendo,noobs-tante,tambiénnuevosescenariosdefruición para usuarios comunes. n

notas1 / https://sma.unibo.it/en/the-university-museum-network(últimoacceso29agosto2019).2 / Metashapesoftwareestadodelartedeproce-samientofotogramétricodesarrolladoporAgisoft(https://www.agisoft.com)tienecaracterísticasco-munesaotrosenelmercado,como3DFlowZE-PHYR (https://www.3dflow.net/it/) y CapturingReality RealityCapture (https: //www.capturin-greality.com/).Elflujodetrabajopresentadoeneste artículo es compatible con el panorama actual dedichosprogramasSfM/DVS.

Referencias– APOLLONIO,F.I.,GAIANI,M.,BASILIS-SI,W.,RIVAROLI,L.,2017.Photogramme-

9

181

expresión gráfica arquitectónica 38

9. Pez puercoespín: desviación; (a) iPhone X-NextEngine; (b) iPhone X-Nikon D5200. (Ver Tabla 1)10. resultados finales: modelos texturizados optimizados para aplicaciones en tiempo real

9. Porcupine fish: mesh deviation; (a) iPhoneX-nextEngine; (b) iPhoneX-nikon D5200. (See Table 1)10. final 3D assets: optimized textured models suitable for real time applications

– GARCIA-CODOÑER,A.,LLOPISVERDÚ,J.,TORRESBARCHINO,A.,VILLAPLANAGUILLÉN,R.,SERRALLUCH,J.,2009.ColourasaStructuralVariableofHistoricalUrbanForm.Color Res. Appl.,34:253-265.[https://doi:10.1002/col.20491]https://doi:10.1002/col.20491.

– GARCÍA-LEÓN,J.,SÁNCHEZ-ALLEGUE,P.,PEÑA-VELASCO,C.,CIPRIANI,L.,FANTINI,F.,2018.Interactivedisseminationofthe3Dmodelofabaroquealtarpiece:apipelinefromdigitalsurveytogame engines. SCIRES-IT,Volume8,Issue2.DOI:http://dx.doi.org/10.2423/i22394303v8n2p59.

– HABEKOST,M.,2013.Whichcolourdifferencingequationshouldbeused?International Circular of Graphic Education and Research,6,pp.20-33.

– ISO/CIE11664-6(2014).Colourimetry–Part6:CIEDE2000Colour-DifferenceFormula.

– LOWE,D.G.,2004,DistinctiveImageFeaturesfromScale-InvariantKeypoints”.International Journal of Computer Vision,60(2):pp.91–110.doi:10.1023/B:VISI.0000029664.99615.94

– MOKRZYCKI,W.S.,TATOL,M.,2011.ColourdifferenceDeltaE–Asurvey.Machine graphics and vision,20(4),383-412.

– NOCERINO,E.,LAGO,F.,MORABITO,D.,REMONDINO,F.,PORZI,L.,POIESI,F.,ROTABULO,S.,CHIPPENDALE,P.,LOCHER,A.,HAVLENA,M.,VANGOOL,L.,EDER,M.,FÖTSCHL,A.,HILSMANN,A.,KAUSCH,L.,EISERT,P.,2017.Asmartphone-based3Dpipelineforthecreativeindustry–TheREPLICATEEUProject.Int.Arch.Photogramm.RemoteSens.SpatialInf.Sci.,XLII-2/W3,535-541.doi.org/10.5194/isprs-archives-XLII-2-W3-535-2017.

– OTTANICAVINA,A.(ed.),PalazzoPoggidadimoraaristocraticaasededell’UniversitàdiBologna,Bologna,1988.

– REINHARD,E.,KHAN,E.A.,AKYUZ,A.O.,JOHNSON,G.,2008.ColourImaging:FundamentalsandApplications.CRCPress,BocaRaton,FL,USA.

– RODRIGUEZNAVARRO,P.,2012,Lafotogrametríadigitalautomatizadafrentealossistemasbasadosensensores3dactivos.EGA,20,pp.100-111.

– RUSSO,M.,2012.IntegratedReverseModelingTechniquesfortheSurveyofComplexShapesinIndustrialDesign.InJ.ApolinarMunozRodriguez(ed.),LaserScannerTechnology.Shanghai,InTech.

– SHARMA,G.,WU,W.,DALAL,E.N.,2005.TheCIEDE2000Color-differenceformula:implementation notes, supplementary test data and mathematicalobservations.Color Research and Application,Vol.30(1),pp.21-30.

ging: Fundamentals and Applications.NewYork:AKPeters.

– RODRIGUEZ NAVARRO, P., 2012. Lafotogrametríadigitalautomatizadafrentealos sistemas basados en sensores 3d activos. EGA,20,pp.100-111.

– RUSSO,M.,2012.IntegratedReverseMo-delingTechniques for the Survey ofCom-plexShapesinIndustrialDesign.InJ.Apo-linarMunozRodriguez(ed.),Laser Scanner Technology.Shanghai.

– SHARMA, G., WU, W., DALAL, E.N.,2005. The CIEDE2000 Color-differenceformula: implementation notes, supple-mentary test data and mathematical obser-vations. Color Research and Application,30(1),pp.21-30.

ColourdifferenceDeltaE–Asurvey.Ma-chine graphics and vision,20(4),383-412.

– NOCERINO,E.,LAGO,F.,MORABITO,D.,REMONDINO, F., PORZI, L., POIE-SI, F., ROTA BULO, S., CHIPPENDALE,P., LOCHER, A., HAVLENA, M., VANGOOL, L., EDER, M., FÖTSCHL, A.,HILSMANN,A.,KAUSCH,L.,EISERT,P.,2017.Asmartphone-based3Dpipelineforthecreativeindustry–TheREPLICATEEUProject.ISPRS,XLII-2/W3,535-541.

– OTTANI CAVINA, A. (ed.), 1988. Pala-zzo Poggi da dimora aristocratica a sede dell’Università di Bologna Bologna: Nuova Alfa.

– REINHARD, E., KHAN, E.A., AKYUZ,A.O., JOHNSON,G., 2008.Colour Ima-

10