Pgina 1

RC25489 (WAT1409-048) 17 de septiembre 2014Ciencias De La ComputacinIBM Research ReportWatsonPaths: basada en escenarios de Respuestas yInferencia sobre Informaciones no estructuradosAdam Lally, sugato Bachi, Michael A. Barborak, David W. Buchanan,Jennifer Chu-Carroll, David A. Ferrucci *, Michael R. Glass,Aditya Kalyanpur, Erik T. Mueller, J. William Murdock,Siddharth Patwardhan, John M. Prager, Christopher A. WeltyDivisin de Investigacin de IBMThomas J. Watson Research CenterPO Box 218Yorktown Heights, NY 10598* Este trabajo fue hecho mientras que al J. Watson Research Center de IBM ThomasDivisin de InvestigacinAlmaden - Austin - Pekn - Cambridge - Dubln - Haifa - India - Melbourne - TJ Watson - Tokio - Zrich

Page 2

WatsonPaths: basada en escenarios de Respuestas yInferencia sobre Informaciones no estructuradosAdam Lally1, Sugato Bagchi1, Michael A. Barborak1, David W. Buchanan1,Jennifer Chu-Carroll1, David A. Ferrucci2, Michael R. Glass1, Aditya Kalyanpur1,Erik T. Mueller1, J. William Murdock1, Siddharth Patwardhan1, John M. Prager1Christopher A. Welty11IBM Research e IBM Watson GrupoThomas J. Watson Research CenterPO Box 218Yorktown Heights, NY 105982Este trabajo fue hecho mientras que al J. Watson Research Center de IBM ThomasAbstractoPresentamos WatsonPathsTM, Un novedoso sistema quepuede responder preguntas basadas en escenarios, por ejem-preguntas mdicos amplios, que presentan un pacienteResumen y pregunte por el tico ms probablesis o el tratamiento ms adecuado.WatsonPathsse basa en el IBM WatsonTMpregunta respuesta-sistema ing que toma preguntas en lenguaje naturalcomo entrada y produce respuestas precisas a lo largocon confidencias precisos como salida.Watson-Caminos rompe el escenario de entrada en in-piezas indivi- de informacin, pregunta o subfondospreguntas de Watson a la conclusin de nueva informacincin, y representa estos resultados en un grficamentemodelo de cal.Inferencia Probabilstico se realizasobre el grfico para concluir la respuesta.En un conjuntode preguntas de preparacin de exmenes mdicos, Watson-Rutas muestra una mejora significativa en la exactademocracia sobre la base del sistema de control de calidad Watson.Nosotros tambindescriben cmo WatsonPaths se pueden utilizar en una colaboracinaplicacin cola- para ayudar a los usuarios de razonar sobreescenarios complejos.1. IntroduccinIBM WatsonTMes un sistema de contestador pregunta que tomapreguntas en lenguaje natural como entrada y produce precisarespuestas junto con confidencias precisos como salida (FernandesRucci et al., 2010).Watson derrot a dos de los mejores humanoJugadores hombre en el concurso de televisin Jeopardy!en 2011.Watson ha sido descrita (Kelly y Hamm, 2013)como una apertura a la era de la computacin cognitiva: com-computadoras que interactan de forma natural con los seres humanos, ayudarcognicin humana, y aprender y mejorar de interaccincin.Para cumplir con esta visin, se requieren nuevos avances.Uno de tales avance es la capacidad de respuesta ms complejapreguntas.Otra es la de permitir al usuario entender yparticipar en el proceso de preguntas de respuesta.Considere las siguientes preguntas, uno de medicinay uno de los impuestos:Una mujer de 32 aos con diabetes tipo 1mellitus ha tenido insuficiencia renal progresiva.De Ellala concentracin de hemoglobina es de 9 g / dl.A sangrefrotis muestra clulas normocrmica normoctica.Cul es el problema?Hered de bienes races de un pariente que muriHace 5 aos a travs de un fideicomiso que se cre antessu muerte.La propiedad fue vendida este ao despusdisolucin de la confianza, y el dinero fue puestoen una cuenta Roth IRA.Qu forma (s) de impuestos necesitopresentar?Le preguntamos a los expertos de dominio para describir su enfoque de laresolver tales cuestiones.Un ejemplo de la ex mdicaExpertos se muestra en la Figura 1. Muchos dibuj un grfico de la inicialsignos y sntomas que lleva a su ms probable es posiblecausas y conectarlos a una conclusin final.Nos NO-ticed que su proceso de razonamiento a menudo pareca proba-inferencia bilistic.En el ncleo de la pregunta de respuesta de Watson es una suitede algoritmos que coincida con pasajes que contienen candidatorespuestas a la pregunta original.Estos algoritmos tienenhan descrito en una serie de artculos (Chu-Carroll et al.,2012;Ferrucci, 2012;Gondek et al, 2012.;Lally et al.,2012;McCord et al, 2012.;Murdock et al, 2012a.;Mur-atracar et al., 2012b).Pero, cuando las preguntas implican complejo

Page 3

El paciente tiene insuficiencia renalConc hemoglobina del paciente.Is 9 g / dl [bajo]Muestra de frotis de sangre del pacientenormoctica cel sEl paciente tiene anemiaEvidencia: "Lowconc hemoglobina.indica anemia ".Evidencia: "La eritropoyetina esproducida en los riones "."Una mujer de 32 aos con diabetes tipo 1 mel itus ha tenido insuficiencia renal progresiva ...Su concentracin de hemoglobina es de 9 g / dl ... Un frotis de sangre muestra normocrmica,s cel normoctica.Cul es el problema?La causa ms probable de la baja conc hemoglobina.es la deficiencia de eritropoyetinaEl paciente tiene anemia normocticaEvidencia: "anemia normoctica esun tipo de anemia con normalidadrojo sangre cel s ".Evidencia:"La eritropoyetinadeficiencia es una causa deanemia normoctica ".El paciente est en riesgo deDeficiencia de eritropoyetinaFigura 1: Simple Diagnstico Grfico para un paciente con eritro-poietin Deficienciaescenarios, como en los ejemplos anteriores, a juego pasajepor s mismo es a menudo insuficiente para localizar la respuesta.De Estaes porque basado en escenarios pregunta contestador requiereintegracin y el razonamiento sobre la informacin de mltiplesples fuentes.Adems, a menudo debemos aplicar en generalconocimientos a un caso concreto, como en un escenario mdicosobre un paciente.En este trabajo, presentamos un nuevo enfoque que se basa enFortalezas y de Watson est en lnea con el razonamiento humanoproceso ing observamos.Rompemos la entrada esce-nario en piezas individuales de informacin, pregunte relevantepreguntas secundarias concluyen nueva informacin, y se combinanestos resultados en un grfico de la afirmacin.A continuacin, realizarinferencia probabilstica sobre el grfico para concluir la an-Swer a la pregunta general.Este proceso se repite paraampliar el grfico hasta que se cumpla una condicin de parada.Be-causa utilizamos Watson para responder a las preguntas secundarias, y por debajocausa que intentamos construir caminos de la inferencia a una finalrespuesta, llamamos a nuestros WatsonPaths sistemaTM.En el grfico WatsonPaths, la evidencia se extrae deuna variedad de fuentes, incluyendo el conocimiento general clopediaenciclopedias, libros de dominio especfico, el conocimiento estructuradobases y bases de conocimiento semiestructuradas.ramosmotivado por el deseo de disear una solucin que pudieraaprovechar Watson, y se observ que cada borde en estegrfico podra corresponder a una pregunta de Watson.Una dimensin adicional a WatsonPaths es la capacidad deinteractuar con el usuario.El sistema original que WatsonJeopardy ganado!fue en gran parte no interactiva.Para muchos APcomplicaciones, es importante para enganchar el usuario en la probabilidadlem proceso de resolucin.WatsonPaths tiene la capacidad de provocarentrada del usuario en mltiples puntos de la pregunta de respuesta ytoma de decisiones para aclarar cuestiones, para juzgar la evidencia,y para hacer nuevas preguntas.Una ventaja clave de este APenfoque es que la retroalimentacin del usuario se puede utilizar como datos de entrenamientopara mejorar tanto Watson y WatsonPaths.2 Mdico de Casos de Uso WatsonPathsPese AWatsonPathspermitepropsito generalbasado en escenarios pregunta de respuesta, decidimosempezar por centrar nuestra atencin en el mbito mdico.Nos hemos centrado en el problema de anlisis de escenarios paciente,donde el objetivo es tpicamente un diagnstico o un tratamientorecomendacin.Para explorar este tipo de resolucin de problemas, obtuvimosun conjunto de preguntas de preparacin de exmenes mdicos.Son estasmltiples preguntas mdicas eleccin basada en una no estructuradarado o semi-estructurada descripcin en lenguaje natural deun paciente.Aunque WatsonPaths no se limita a plespreguntas de opcin tiple, vimos preguntas de opcin mltiplecomo un buen punto de partida para el desarrollo.Muchos de estospreguntas implican el diagnstico, ya sea como toda la cuestin,como en el ejemplo anterior mdica, o como un compuesto intermediopaso, como en el siguiente ejemplo:Un paciente de 63 aos de edad se enva al neurlogocon un cuadro clnico de temblor de reposo que ser-gan hace 2 aos.Al principio era slo de la izquierdamano, pero ahora se pone en peligro todo el brazo.Al examen fsico, el paciente tiene una unexpres-sive cara y dificultad para caminar, y una con-el movimiento continuo de la punta de la primera dgitossobre la punta del segundo dgito de la mano izquierdase ve en reposo.Qu parte de su sistema nerviosoes ms probable afectados?Para esta cuestin, es til para diagnosticar que el pacientetiene la enfermedad de Parkinson antes de determinar qu parte desu sistema nervioso est muy probablemente afectada.Estas mltiplesinferencias paso son un paso natural para los grficos que Wat-sonPaths construye.En este ejemplo, el diagnstico es laeslabn perdido en el camino a la respuesta final.3 basada en escenarios de RespuestasEn basado en escenarios pregunta de respuesta, el sistema re-cibe una descripcin escenario que termina con una frase de rematecuestin.Por ejemplo, la pregunta en el remateEjemplo de Parkinson es "Qu parte de su sistema nerviosoes ms probable afectados? "En lugar de tratar a la totalidadescenario como una cuestin monoltica como sera Watson,WatsonPaths explora mltiples hechos en el escenario en elrazones paralelas y con los resultados de su exploracin comoen su conjunto para llegar a la conclusin ms probable con respectola cuestin remate.La arquitectura de WatsonPathsse muestra en la Figura 2.

Pgina 4

GuinAnlisisAfirmacinGrficoEscenario de entradaNodoPriorizacinRelacin (Edge)Generacin(Puede hacer preguntasa Watson)Repita hasta"Finalizacin"(Que puede serEstimacinConfidenciasEn Nodos("Motor Belief")(Que puede serse define endiferentes caminos)HiptesisIdentificacinHiptesisConfianzaRefinamiento(Modelo aprendido)FinalConfidencias enHiptesisFigura 2: Bsqueda de Respuestas Arquitectura basada en escenariosAnlisis 3.1 EscenarioEl primer paso en la tubera es el anlisis de escenarios, dondeidentificamos los factores en el escenario de entrada que puede serde importancia.En el mbito mdico, los factorespuede incluir datos demogrficos ("32 aos mujer"), pre-condiciones existentes ("diabetes mellitus tipo 1"), signosy los sntomas ("insuficiencia renal progresiva"), y la pruebaresultados ("concentracin de hemoglobina es de 9 g / dl," "nor-clulas mochromic "," clulas normoctica ").El extradafactores se convierten en nodos en una estructura grfica denominada AS-grfico de insercin.La estructura grfica afirmacin se defineen la seccin 4, mientras ms detalles del anlisis de hiptesisproceso se da en la Seccin 5.3.2 Nodo de PriorizacinEl siguiente paso es la priorizacin nodo, en la que decidamoscules nodos en el grfico son los ms importantes para solv-cin del problema.En un pequeo escenario como este ejemplo,podemos ser capaces de explorar todo, pero en general estono ser el caso.Factores que afectan a la prioridad de unanodo puede incluir la confianza del sistema en el nodo ASinsercin o la estimacin del sistema de lo fructfero que lo haraser ampliar un nodo.Por ejemplo, los resultados de las pruebas normalesy la informacin demogrfica en general son menos tilespara iniciar un diagnstico de sntomas y anormal de la pruebaresultados.3.3 Relacin GeneracinLa etapa de generacin de relacin, que se describe en msdetalle en la Seccin 6, construye la grfica afirmacin.Hacemosesto principalmente preguntando Watson preguntas sobre el factorres.En la medicina queremos saber las causas del hallazgoIngs y resultados anormales de las pruebas que sean consistentes con lainformacin demogrfica del paciente y vuelva a prueba normalresultados.Dado el escenario en la Introduccin, que pudimospreguntar: "Qu hace la diabetes tipo 1 causa mellitus?" Nosotrosutilizar una ontologa mdica para guiar el proceso de formulacinLating subpreguntas pedir Watson.Los factores relevantes puedenTambin pueden combinar para formar una sola, cuestin ms especficacin.Debido a que en esta etapa queremos destacar el recuerdo,tomamos varias de las respuestas de alto rango-de Watson.Los Lasnmero exacto de respuestas toman o el umbral de confianzaedad, son parmetros que deben ser afinados.Dado un conjunto derespuestas, les agregan al grfico como nodos, con los bordesdesde los nodos que se utilizaron en las preguntas a los nodos que eranrespuestas.El borde se etiqueta con la relacin utilizada paraformular la pregunta (como causas o indica), y elresistencia del borde se establece inicialmente en la confianza de Watsonen la respuesta.Aunque Watson es la principal forma queagregar bordes a la grfica, WatsonPaths permite cualquier meroero de componentes del generador de relacin para publicar bordes a lagrfico.Computacin 3.4 CreenciaUna vez que el grfico afirmacin ha sido ampliado de esta manera,se recalcula las confidencias de los nodos en el grficosobre la base de nueva informacin.Hacemos esto mediante probabilsticosistemas de inferencia de tics que se describen en la Seccin 7. Elsistemas de inferencia tienen una visin holstica de la afirmacingraficar y tratar de conciliar los resultados de varias rutas deexploracin.3.5 Identificacin de HiptesisComo muestra la Figura 2, este proceso puede ir a travs de mltiplesiteraciones, durante el cual los nodos que fueron las respuestasa la anterior ronda de preguntas se puede utilizar para pedir a laprxima ronda de preguntas, produciendo ms nodos y bordesen el grfico.Despus de cada iteracin podemos hacer hiptesisidentificacin, donde algunos nodos en el grfico son identifica-ficado como posibles respuestas definitivas a la pregunta remate(Por ejemplo, los diagnsticos ms probables de un paciente deproblema).En algunas situaciones hiptesis pueden ser pro-RESPETA en la delantera, un mdico puede tener una lista de competirdiagnsticos y quieren explorar la evidencia para cada uno.Pero Teen general, el sistema necesita para identificar estos.Hiptesisnodos pueden ser tratados de manera diferente en iteraciones posteriores.Por Unejemplo, podemos intentar hacer el encadenamiento hacia atrs desdelas hiptesis, pidiendo Watson qu cosas, si fueranverdadera del paciente, sera apoyar o refutar una hiptesis.El proceso puede terminar despus de un nmero fijo de iteracinciones o sobre la base de otros criterios como la confianza en

Page 5

las hiptesis.Mientras identificacin hiptesis es parte de WatsonPaths,no se describe en detalle en este documento.En el sistemaque genera los resultados que presentamos en la seccin 10, no hi-identificacin hipte- es necesario porque el mltiploSe proporcionan respuestas de opcin.Ese sistema siempre haceuna iteracin de la expansin, tanto hacia delante desde la iden-factores ficadas y hacia atrs de las hiptesis, antesparada.3.6 Hiptesis Confianza RefinamientoComo se ha descrito hasta ahora, la confianza de WatsonPath en cada hi-hipte- depende de los puntos fuertes de los bordes de ataquea la misma, y desde nuestra relacin primaria (borde) del generador esWatson, la confianza hiptesis depende en gran medida dela confianza de respuestas de Watson.Tener buen an-confianza ponder depende de tener un conjunto representativode pregunta / respuesta pares con los que entrenan Watson.Los Lassiguiente pregunta que surge es: Qu podemos hacer si no lo hacemostener un conjunto representativo de pares de preguntas / respuestas, peros tenemos ejemplos de entrenamiento para los escenarios enteros (por ejemplo,diagnsticos correctos asociados con escenarios de pacientes)?A Laaprovechar la disposicin verdad terreno desnivelado escenario,han construido tcnicas de aprendizaje automtico para aprender un refinamientocin de la confianza de la estimacin de Watson que producemejores resultados cuando se aplican a todo el escenario.De Estael proceso de aprendizaje se discute en la Seccin 8.3.7 Colaborar con el usuarioWatsonPaths puede funcionar de una manera totalmente automatizada, comoel sistema pregunta contestador Watson hizo cuando se juegaJeopardy!(Este es el caso de los resultados presentados enSeccin 10.) Pero tambin hay muchas posi- interesantebilidades para la interaccin del usuario en cada paso en el proceso.De esta manera, WatsonPaths ejemplifica computacin cognitivaing.Nuestra visin de la computacin cognitiva es que el usuarioy el equipo de trabajo en conjunto para explorar un escenario yllegar a conclusiones ms rpido y con mayor precisin que seapodra hacer solo.Se discute la AS-aprendizaje colaborativoaspectos de WatsonPaths en la Seccin 9.4 de asercin GrficosLa estructura de datos del ncleo utilizado por WatsonPaths es la asercingrfico cin.Figura 3 explica esta estructura de datos, a lo largocon la visualizacin que comnmente utilizamos para ello.Al Igual-grficos sercin se definen como sigue.Una declaracin es algo que puede ser verdadera o falsa(Aunque su estado no puede ser conocido).A menudo nos ocupamos dedeclaraciones no estructurados, que son ex lenguaje naturalpressions como "Un paciente de 63 aos de edad, se enva a la neurologaogist con un cuadro clnico de temblor de reposo que comenz 2hace aos ". WatsonPaths tambin permite declaraciones queson expresiones estructuradas, es decir, un predicado y argumentomentos.No todas las expresiones del lenguaje natural pueden tener unindicapacienteSustanciaNigra esafectadopaciente tieneParkinsonEnfermedadUn paciente de 63 aos de edadse enva a laneurlogo con ...temblor en reposo ...Qu parte de susistema nervioso esmuy probablemente afectados?pacienteexposicionesdescansotemblorUn borde representa unarelacin entre eldeclaraciones conectados.Agentes hacen afirmacionessobre la verdad de estosrelaciones conconfidencias.Anchura Edgerepresenta queconfianza.Nivel de grisrepresenta la cantidadde flujo de creencias.estadosindicaUn nodo representa unacomunicado.Tipos dedeclaraciones son de entradafactores, factores inferidosy las hiptesis orespuestas.La Fronterafuerza visualrepresenta la "creencia" lafactor es cierto en el contexto.EntradaFactorInferidoFactorHiptesisGuinRelacinAfirmacin GrficoFigura 3: Visualizacin de un Grfico de asercin.Por convencin,factores de entrada se colocan en la parte superior e hiptesis en la parte inferiorcon niveles de factores de inferencia en el medio.valor de verdad.Por ejemplo, la cadena "paciente" no puede serverdadero o falso;por lo que no encaja en la semntica de ungrfico afirmacin.WatsonPaths es benfica en pretacining cuerdas como si tuvieran un valor de verdad.Por ejemplo, lasemntica por defecto de la cadena "hemoglobina baja" es elmismo que "el paciente tiene niveles bajos de hemoglobina."Una relacin es una asociacin nombrada entre las declaraciones.Tcnicamente, las relaciones son en s mismas declaraciones, ytener un valor de verdad.Cada relacin tiene un predicado;para in-posicin en la medicina, podemos decir que "Parkinson causastemblor en reposo "o" El Parkinson partidos parkinsonismo ".Normalmente estamos interesados en las relaciones que pueden pro-pruebas vide de la verdad de una declaracin dada an-otra.Aunque algunas relaciones pueden tener significado especialIngs en los sistemas de inferencia probabilstica, una se- comnmantics para una relacin es indicativa de la siguiente manera:"A indica B" significa que la verdad de A proporciona unrazn independiente para creer que B es cierto.Seccin 7proporciona ms detalles sobre los sistemas de inferencia.Una afirmacin es una afirmacin de que algn agente hace aproximadamentela verdad de un enunciado (incluyendo una relacin).El AS-insercin registra el nombre del agente y una confianzavalor.Las afirmaciones tambin pueden grabar informacin procedenciala que explica cmo el agente lleg a su conclusin.

Page 6

Para el agente pregunta contestador Watson, esto incluyepasajes de lenguaje natural que proporcionan evidencia de laresponder.Cuando el sistema est colaborando con un usuario,es crucial para ser capaz de mostrar pruebas para el usuario.En el grfico de la afirmacin, cada nodo representa exactamenteuna declaracin, y cada borde representa exactamente un re-mento.Los nodos y bordes pueden tener mltiples afirmaciones AT-montarlas ellos, uno para cada agente que ha afirmado quenodo o borde para ser verdad.A menudo nos visualizamos grficos afirmacin mediante un nodo deAncho del borde para representar la confianza del nodo, unancho del borde para representar la confianza del borde, ynivel de gris de una ventaja como la cantidad de "flujo de creencia" a lo largo deese borde.Creencia flujo se describe ms adelante, pero esencialmentees como mucho el valor de la cabeza influye en el valor dela cola.Esto depende principalmente de las confidencias de laafirmaciones sobre el borde.Anlisis 5 EscenarioEl objetivo del anlisis de escenarios es identificar informacinen la narrativa del lenguaje natural del problema esce-nario que es potencialmente relevante para la solucin del problema.Cuando los expertos humanos leen la narracin problema, soncapacitado para extraer conceptos que responden a un conjunto de seman-tipos de tics pertinentes para resolver el problema.En el MEDLINEical de dominio, los mdicos y las enfermeras identifican tipos semnticoscomo motivos de consulta, antecedentes mdicos, demograph-ics, antecedentes familiares y sociales, hallazgo examen fsicoIngs, laboratorios y medicamentos actuales (Bowen, 2006).Ex-Expertos tambin generalizan a partir de observaciones especficas en un par-instancia problema par- a trminos ms generales utilizados enel corpus de dominio.Un aspecto importante de esta informacinextraccin cin es identificar la fase de clasificacin semntica ciacinciados con las observaciones clnicas (Chang et al., 1998).Estos calificadores podran ser temporal (por ejemplo, "dolor comenz doshace das "), espacial (" dolor en la regin epigstrica "), ootras asociaciones ("dolor despus de comer alimentos grasos").Yo Mido-explcita en esta tarea es la capacidad del ser humano para extraer conceptosy sus calificadores asociados del lenguaje naturalnarrativa.Por ejemplo, las eliminatorias anteriores podran tenerpara ser extrado de la frase "Los informes de los pacientesdolor, que comenz hace dos das, en la regin epigstricaespecialmente despus de comer alimentos grasos ".El sistema informtico necesario para llevar a cabo un an- similaresanalysis de la narracin.Usamos el trmino factor para denotar laobservaciones potencialmente relevantes, junto con su asociadocalificadores semnticas ATED.Confiablemente identificar y escribirestos factores, sin embargo, es una tarea difcil, porque Meditrminos cas son mucho ms complejo que el tipo de llamadaentidades estudiadas tpicamente en el procesamiento del lenguaje natural.Nuestra lnea de anlisis de escenarios intenta abordar esteproblema con los siguientes pasos principales de procesamiento:1. El anlisis comienza con el anlisis sintctico de la natu-idioma ural.Esto crea un rbol de dependencia desintcticamente vinculada trminos en una oracin y ayuda atrminos asociados que son distantes entre s enla frase.2. Las condiciones se asignan a un diccionario para iden-conceptos tificar y sus tipos semnticos.Por lodominio mdico, nuestro diccionario se deriva deel UMLS Metathesaurus (Biblioteca Nacional deMedicina, 2009), Wikipedia redirecciona y mdicarecursos abreviatura.Los conceptos identificados porel diccionario son entonces escribirse utilizando el UMLS Se-mntico de red, que consta de una taxonoma detipos semnticos biolgicos y clnicos como la anatoma,SignOrSymptom, DiseaseOrSyndrome, y ThermoapeuticOrPreventativeProcedure.Adems demapeo de la secuencia de tokens en una oracin ael diccionario, tambin se utiliza el anlisis sintctico dependenciapara asignar trminos sintcticamente vinculados.Por ejemplo"... La rigidez e hinchazn en el brazo y la pierna" puedeasignarse a los cuatro conceptos distintos contenidosen esa frase.3. La informacin sintctica y semntica identificadoanteriormente se utilizan por un conjunto de reglas predefinidas para iden-tificar las relaciones importantes.La negacin es comnmenteutilizado en las narraciones clnicas y debe ser exactaidentificado.Reglas basadas en las caractersticas de anlisis sintctico identifican elplazo gatillo negacin y su alcance en una oracin.Los factores que se encuentran dentro del alcance negada a continuacin, pueden serasociado con un calificador negada.Otro ejem-ple de anotacin basado en normas es el anlisis de valor de laboratorio.Esto asocia una medicin cuantitativa de lasustancia medida y luego mira hacia arriba laboratorio de referenciavalor oscila hacer una evaluacin clnica.Por ejem-amplia "la concentracin de hemoglobina es de 9 g / dl" es pro-sar por reglas para extraer el valor, la unidad, y sub-postura y luego evalu a ser "la hemoglobina baja"por buscar una referencia.A continuacin, la evaluacin clnicacin se asigna por el diccionario a la correspondienteing concepto clnico.En este punto, debemos tener toda la informacin paraidentificar los factores y sus calificadores semnticas.Tenemosque lidiar, sin embargo, con las ambigedades del lenguaje, erroresen el anlisis, un diccionario ruidoso y no exhaustiva,y un conjunto limitado de reglas.Si tuviramos que depender solamente deun sistema basado en reglas, entonces el factor resultante identificacincin sufrira de una composicin de errores en estoscomponentes.Para abordar esta cuestin, empleamos mquinamtodos de aprendizaje para aprender factores clnicos y su se-calificadores mnticos en la narrativa problema.Obtuvimosla verdad suelo pidiendo a los estudiantes de medicina para anotarvanos de factores clnicos y sus tipos semnticos.Ellos tambinanotada tramos clasificatorios semnticas y ellos vinculados a

Pgina 7

factores como las relaciones atributivas.El sistema de aprendizaje automtico se compone de dos se-CUENTES pasos:1. Un modelo condicional campo aleatorio (CRF) (Laffertyet al., 2001) se entera de los vanos de texto que debe sermarcado como uno de los siguientes tipos de factores: hallazgo,la enfermedad, la prueba, el tratamiento, la demografa, la negacin, oun partido de clasificacin semntica.Caractersticas utilizadas para la formacin de laModelo CRF son lxica (lemas, in- morfolgicaetiquetas formacin, parte-de-habla), semnticas (UMLStipos y grupos semnticos, demogrfica y de laboratorioanotaciones de valor), y analizar a base de (caractersticas aso-ciados con vnculos de dependencia de un token dado).Un tamao de ventana de muestra de 5 (2 fichas antes y AFter) se utiliza para asociar las caractersticas de una muestra dada.LaBIO esquema de etiquetado se usa por la CRF para identificarentidades en trminos de sus tramos y tipos de tokens.2. Un modelo de mxima entropa entonces aprende las relacionesentre las entidades identificadas por el modelo CRF.Para cada par de entidades en una oracin, este modeloutiliza rasgos lxicos (dentro y entre entidades),tipo de entidad, y otros rasgos semnticos asociadoscon ambas entidades, y analizar las caractersticas de la dependenciadencia ruta une.Las relaciones aprendidas poreste modelo son la negacin y attributeOf relacionesvincular desencadenantes negacin y calificadores semnticas (re-respectivamente) a factores.Los modelos de identificacin de la entidad y relacin combinadostener una precisin del 71% y la recuperacin del 65% en una persianaconjunto de evaluacin de escenarios de pacientes se encontr en la prueba mdicapreguntas de preparacin.Actualmente estamos explorando conjuntamodelos de inferencia y la identificacin de las relaciones que abarcanmltiples oraciones usando resolucin correferencia.6 Relacin GeneracinEl componente de anlisis de escenario descrito en el ante-seccin ous extrae factores pertinentes relacionados con el pacientepartir de la descripcin escenario.En esta etapa, la afirmacingrfico consiste en el escenario completo, escenario individualoraciones y los factores extrados.Una indica relacincin se registr desde un nodo fuente (por ejemplo, un escenario sen-nodo tencia) a un nodo de destino cuya afirmacin se derivade la afirmacin en el nodo de origen (por ejemplo, un factor de ex-contrajo de esa frase).Adems, un conjunto de hipte-ses, si se da, se publican como nodos gol en la afirmacingrfico.La tarea del componente de generacin de relacin es (1)ampliar el grfico infiriendo hechos nuevos a partir de hechos conocidosen el grfico y (2) identificar las relaciones entre nodosen el grfico (como fsforos y contraindica) para ayudarcon el razonamiento y la estimacin de la confianza.Comenzamos pordiscutir cmo podemos inferir nuevos hechos de expansin grfica.6.1 Ampliar el Grfico con WatsonEn la resolucin de problemas mdicos, expertos en razn con el jefequejas, hallazgos, historial mdico, in- demogrficaformacin, y as sucesivamente, para identificar las causas subyacentespara los problemas del paciente.Dependiendo de la situacin,se podr proceder a proponer una prueba cuyos resultadosles permitir distinguir entre mltiples posi-problema ble causa, o identificar el mejor tratamiento para laidentificado causa, y as sucesivamente.Motivado por el paradigma de la resolucin de problemas mdicos,WatsonPaths primeros intentos de hacer un diagnstico basado enfactores extrados del escenario.El grfico es ex-expandi para incluir nuevas afirmaciones sobre el paciente porhaciendo preguntas de una versin de la pregunta Watson an-sistema adaptado para el mbito mdico swering (Ferrucciet al., 2013).WatsonPaths tiene un enfoque de dos puntasa la solucin de problema mdico, ampliando el grfico lucroWard de la situacin en un intento de hacer un diagnstico,y luego vincular los diagnsticos de alta confianza con la hi-hipte-.Este ltimo paso se realiza normalmente mediante la identificacin deuna importante relacin expresada en la pregunta remate(Por ejemplo, "Cul es el tratamiento ms adecuado para este pa-pa- "o" Qu parte del cuerpo est muy probablemente afectados? ").De Estaenfoque es una extensin lgica de los trabajos sectoriales abiertode Prager et al.(2004), donde con el fin de construir un perfilde una entidad, se hicieron las preguntas de las propiedades de la en-tidad y restricciones entre las respuestas se hicieron cumplirpara establecer la consistencia interna.El proceso de expansin grfica de WatsonPaths comienzacon preguntas que formulan automticamente relacionados con altaafirmaciones de confianza, que en nuestros grficos representandeclaraciones WatsonPaths cree que es verdad hasta ciertogrado de confianza sobre el paciente.Estas declaracionespueden ser factores, como extrado y escrito por el algoritmose describe en la Seccin 5, o una combinacin de estos factores.Para determinar qu tipo de preguntas hacer, Watson-Las rutas pueden utilizar un modelo de dominio que nos dice qu relacionescaminos formulario entre el tipo semntico de una alta fianzanodo anza y el tipo semntico de una hiptesis como undiagnstico o tratamiento.Para el dominio mdica, creacinATED un modelo que llamamos a la Esmeralda, que se muestraEn la Figura 4 (Ntese el parecido con una esmeralda.) ElEsmeralda es un pequeo modelo de tipos y relaciones de entidadque son cruciales para el diagnstico y la formulacin siguientepasos.Seleccionamos del Emerald todas las relaciones que vinculan eltipo semntico de un nodo de origen de alta confianza para untipo semntico de inters.Las relaciones y el altolos nodos de confianza entonces forman la base de instanciar laapuntar nodos, ampliando el grfico afirmacin.A Lainstancias de los nodos de destino, emitimos WatsonPaths sub-preguntas a Watson.Todas las respuestas devueltas por Watsonque la puntuacin por encima de un umbral predeterminado se publicancomo nodos de destino en el grfico de la inferencia.Un borde relacin

Pgina 8

Figura 4: La Esmeraldatemblor de reposo quecomenz hace 2 aosAl examen fsico, lapaciente tiene unarostro inexpresivo ydificultad para caminar,y se ...Al principio era slo la izquierdamano, pero ahoracompromete todo el brazoUn paciente de 63 aos de edad esenviado al neurlogocon un cuadro clnico detemblor de reposo quecomenz hace 2 aosinexpresivola caracompromisostodo el brazodificultad depara caminarSustanciaNigraCerebel umCaudadoNcleoPuente de VarolioLenticularNcleosParkinsonenfermedadHuntingtonenfermedadProgresivosupranuclearparlisisCerebel arenfermedadesParkinsonenfermedadDifusacon cuerpos de LewyenfermedadFigura 5: WatsonPaths proceso de expansin Grficoest publicado desde el nodo fuente a cada nuevo nodo de destinodonde la confianza de la relacin es confidencial de Watsonconfianza en la respuesta en el nodo de destino.Adems de pedir a las preguntas de los factores de escenarios,WatsonPaths tambin puede expandirse hacia atrs desde hipte-ses.La premisa de este enfoque es explorar cmo unhiptesis encaja con el resto de la grfica inferencia.Por Siuna hiptesis se encuentra que tiene una fuerte relacin conun nodo existente en el grfico de la afirmacin, entonces la proba-mecanismos de inferencia bilistic descritos en 7 permiten creenciaa fluir de factores conocidos por esa hiptesis, por lo tanto in-arrugar la confianza del sistema en esa hiptesis.La Figura 5 ilustra la expansin WatsonPaths grficoproceso.Las dos primeras filas de nodos y el BE- bordesinterplelas muestran un subconjunto de la afirmacin WatsonPathsgrfico despus de anlisis de escenarios, con la segunda fila denodos que representan algunos de los factores clnicos extrados delas sentencias del escenario.El proceso de expansin grfica identifica el ms confi-mella afirmaciones en el grfico, que incluyen los cuatro damicinanodos de factor cos extrados del escenario.Estos cuatronodos se escriben todas como conclusiones, por lo que son agregadaen un nico nodo hallazgo con el propsito de grfico de expansinsin.Para un nodo hallazgo, la Esmeralda propone un nicofindingOf relacin que lo vincula a una enfermedad.Esto da lugar ala formulacin de la subpregunta "causas Qu enfermedadestemblor de reposo que comenz hace 2 aos, compromete latodo el brazo, el rostro inexpresivo, y dificultad para caminaring? "cuyas respuestas incluyen la enfermedad de Parkinson, cazaenfermedad de ton, enfermedad cerebelosa, y as sucesivamente.Estoslos nodos de respuesta se agregan a la grfica y algunos de ellosse muestran en la tercera fila de nodos en la Figura 5.En la direccin inversa, WatsonPaths explora relacinrelacio- entre hiptesis de nodos en el vigentegrfico basado en la pregunta remate en el escenario,que en este caso es "Qu parte de su sistema nervioso esen su mayora probablemente afectados? "Suponiendo que cada hiptesis a serEs cierto que el sistema de formula preguntas secundarias para vincularlo a lagrfico afirmacin.Considere Sustancia negra.WatsonPathspuede preguntar "De qu enfermedad es la sustancia negra ms probableafectados? "Un subconjunto de las respuestas a esta pregunta, in-la enfermedad de Parkinson y INCLUYENDO difusa por cuerpos de Lewy dis-facilidad se muestran en la cuarta fila de nodos en la Figura 5.6.2 Coincidencia de Nodos de grficosCuando se aade un nuevo nodo a los WatsonPaths asercingrfico cin, se compara la afirmacin contenida en el nuevo nodoa los de los nodos existentes para asegurar que la equivalencia relacinciones entre los nodos se identifican correctamente.Est hechomediante la comparacin de las declaraciones contenidas en estas afirmaciones: por desempleodeclaraciones estructuradas, si los estados son lxicocamente equivalente, y por resmenes estructurados, ya sealos predicados y sus argumentos son los mismos.Una msoperacin compleja es identificar cuando los nodos contienen AS-inserciones que pueden ser equivalentes a la nueva afirmacin.Empleamos un agregado de comparadores plazo (Murdocket al., 2012a) para que coincida con los pares de afirmaciones.Cada trminoMatcher mensajes un valor de confianza en el grado de coincidenciaentre dos afirmaciones sobre la base de su propio recurso para de-termining equivalencia.Por ejemplo, una basa WordNet-matcher plazo considera trminos de la misma synset serequivalente, y un matcher plazo basada Wikipedia-redirect-considera trminos con un redireccionamiento vnculo entre ellos enWikipedia sea un partido.La lnea de puntos entreLa enfermedad de Parkinson y la enfermedad de Parkinson en la figura 5est publicado por la matcher plazo basada en UMLS, que con-siders variantes para el mismo concepto que sea equivalente.7 La confianza y la creenciaUna vez que la afirmacin grfico se construye, y algunos cuestinciones y respuestas se publican, persiste el problema

Page 9

de la estimacin de la confianza.Desarrollamos varios modelos deinferencia para hacer frente a este paso.Motor 7.1 CreenciaUn enfoque para el problema de inferir la hi- correctahipte- del grfico afirmacin es inferencia probabilsticarencia sobre un modelo grfico (Pearl, 1988).Nos referimos ael componente que hace esto como el motor de la creencia.Aunque el objetivo principal del motor creencia es in-fer confidencias en hiptesis, tambin tiene dos secundariosmetas.Uno es para inferir la creencia en los nodos que son desconocidosno hiptesis.Estos nodos intermedios pueden ser im-pasos intermedios portantes hacia una respuesta;por asignacining altos confidencias a ellos en el bucle principal, sabemosasignarles alta prioridad para preguntar de preguntas adicionales.An-otro objetivo secundario es apoyar a la interfaz de usuario (verSeccin 9).Entre los algoritmos de inferencia que realizanbien en trminos de precisin y otras mtricas, tratamos detomar decisiones que harn que el flujo de la creencia intuitivapara los usuarios.Esto facilita la obtencin de una mejor tunidadanotaciones tunistas, lo que mejora el rendimiento futuro.Para ejecutar el motor de creencia, lo primero que hacemos un trabajocopia ing del grfico afirmacin de que nosotros llamamos la inferenciagrfico.Un grfico separado se usa para que podamos hacerlos cambios sin perder informacin que pudiera ser uso-Ful en pasos posteriores de inferencia.Por ejemplo, podramoselegir fusionar los nodos o reorientar bordes.Una vez que la inferenciagrfico cia se ha construido, se corre una inferencia probabilsticamotor cia sobre el grfico para generar nuevas confidencias.Cada nodo representa una afirmacin, por lo que puede estar en uno dedos estados: verdadero o falso ("on" u "off").Por lo tanto un grficocon k nodos pueden estar en 2kestados posibles.La inferenciagrfico especifica las probabilidades de cada uno de estos estados.El motor creencia utiliza estas probabilidades para calcular laprobabilidad marginal, para cada nodo, de que sea en elverdadero estado.Esta probabilidad marginal se trata como una confi-dencia.Por ltimo, leemos confidencias y otros datos dela inferencia graficar de nuevo en el grfico afirmacin.Hay algunos desafos en la aplicacin de in- probabilsticaConferencia a un grfico afirmacin.La mayora de las herramientas de la inferencialiteratura cia fueron diseados para resolver una probabilidad diferenteLem, que llamaremos el problema de inferencia clsica.En este problema, se nos da un conjunto de entrenamiento y un equipo de pruebaque puede ser visto como muestras de una distribucin conjunta comnbucin.La tarea es construir un modelo que captura laconjunto de entrenamiento (por ejemplo, mediante la maximizacin de la probabilidaddel conjunto de entrenamiento) y, a continuacin, aplicar el modelo para predecirvalores desconocidos en la prueba.Posiblemente el mayorproblema en la tarea de inferencia clsica es que la estructuratura del modelo grfico es indeterminado;un granespacio de posibles estructuras necesita ser explorado.Una vezuna estructura se encuentra, el ajuste de los puntos fuertes es relativamentems fcil, porque sabemos que las muestras de la formacinconjunto son la muestra de una distribucin conjunta consistente.En WatsonPaths, nos enfrentamos a una serie de problemas diferentes.El reto no es la construccin de un modelo de formacindatos, pero usar un modelo muy ruidoso, ya construido parahacer inferencia.El entrenamiento de los datos en el sentido clsico est ausenteo muy escasa;todo lo que tenemos son las respuestas correctas a algunospreguntas a nivel de escenario.Una ventaja es que un grficola estructura se da.Una desventaja es que el grfico esmucho ruido.Adems, no se sabe que las confianzasen los bordes corresponden necesariamente al borde ptimapuntos fuertes.(En la siguiente seccin, se aborda el problemade aprender fortalezas de borde.) As pues, tenemos el problemade seleccionar una semntica-una manera de convertir la afirmacingrfico en un grfico sobre el que podemos hacer proba- ptimainferencia bilistic para cumplir con nuestros objetivos.Despus de mucha experimentacin, la semntica primariasutilizado por el motor creencia es la semntica indicativos: Siexiste una relacin dirigida desde el nodo A al nodo B confuerza x, entonces A ofrece una razn independiente para ser-lieve que B es cierto con probabilidad x.Algunos bordes sonclasificado como contraindica;para estos bordes, A pro-Vides una razn independiente para creer que B es falsacon una probabilidad de x.La independencia significa que mltiplespadres PLE R se puede combinar fcilmente usando un ruidoso-OR:(1 -rR(1 - r)) =rRrEn el grfico, as interpretado, forma una ruidosa lgico-Red bayesiana (Yuille y Lu, 2007).La fuerzade cada borde puede ser interpretado como una fuente de indicativo, unconcepto relacionado con poder causal (Cheng, 1997), con eldiferencia que somos semnticamente agnstico en cuanto al verdaderodireccin de la relacin causal.Formalmente, la probabilidadde un nodo de estar "en" (verdadero) est dada porP (x | Rx, Qx) =[rRx(Srpr)]1 -qQx(Sqpq)donde P (x) es la probabilidad de estar en el nodo x, Rxes el conjunto de los padres indicativos de x, y Qxes el conjunto depadres contraindica.Se representa el estado de los padrespor pr: 1 si el padre est activado, y 0 en caso contrario.El valor de srrepresenta la resistencia del borde de la matriz a x.En otras palabras, la probabilidad de que un nodo x es el es elruidoso-O de sus activos de padres indicativo fortalezas bordecombinado a travs de un ruidoso-Y-NO con el ruidoso-O desus activos contraindica fortalezas borde padres.Por ejemplo, si el temblor de reposo nodo indicaLa enfermedad de Parkinson con una fuerza 0,8, y el nodo cilcultad para caminar indica la enfermedad de Parkinson con el poder0,4, entonces la probabilidad de la enfermedad de Parkinson ser(1 - (1-0,8) Resultados (1 - 0,4)) = 0,88.Si es as, entonces el bordecon una fuerza de 0,9 a la enfermedad de Parkinson se disparar con

Pgina 10

probabilidad 0,88 0,9 = 0,792.De esta manera, proba-dades a menudo puede multiplicar por cadenas simples.Inferenciadebe ser ms sofisticado para manejar los grficos que vemosen la prctica, pero la intuicin es el mismo.Un ejemplo que aade sofisticacin a la inferencia esun "exactamente una" restriccin que se puede aadir opcionalmentea preguntas de opcin mltiple.Esta restriccin asigna unamayor probabilidad a las asignaciones en la que exactamente unorespuesta de opcin mltiple es cierto.Debido a estos tiposde las limitaciones, y por el hecho de que los grficoscontener dirigido y ciclos no dirigidos, no podemos sim-capas calcular las probabilidades de una manera feed-forward.Para llevar a cabo la inferencia utilizamos Metropolis-Hastings muestraspling sobre una representacin grfica del factor de la inferenciagrfico.Esto tiene la ventaja de ser un muy generalenfoque el motor de inferencia puede ser fcilmente adaptado parauna nueva semntica y tambin permite un nivel arbitrario deprecisin da suficiente tiempo de procesamiento.Usuarios y anotadores informan que se encuentran con la indicacinsemntica tivas intuitiva, y se lleva a cabo al menos tan bien comootros semntica en los experimentos.Uno de los primeros seman-tics que probamos era no dirigido por parejas Markov azarcampos.Estos no tuvieron buenos resultados en la prctica.Nos hipte-bin lanzamos que esto se debe a que la informacin es importante con-contenida en la direccin de los bordes que devuelve Watson:Preguntar sobre A y B como conseguir una respuesta es diferentede preguntar sobre B y conseguir una como respuesta.Unamodelo no dirigido pierde esta informacin.La semntica indicativos es un defecto, semntica bsica.La capacidad de razonar sobre las relaciones arbitrarias hace que elsemntica indicativos robusta, pero es fcil de construir exejemplos en los que la semntica indicativos no es estrictamentecorrecta.Por ejemplo, "la fiebre es un hallazgo de la enfermedad de Lyme"puede ser correctamente cierto con gran confianza, pero esto haceno quiere decir que la fiebre proporciona una razn independiente paracreen que la enfermedad de Lyme est presente, con alta probabi-dad.La fiebre es causada por muchas cosas, cada uno de los cuales podraexplcalo.Actualmente estamos trabajando en la adicin de una causalsemntica en la que utilizan una red bayesiana ruidoso lgico-funciona, pero la creencia deriva de causas a los efectos, en lugar dede factores a hiptesis.Los bordes estn orientados de acuerdocin a los tipos de los nodos: Enfermedades causan hallazgos perono al revs.Actualmente esto no conduce a detectablemejora en la precisin y esperamos que necesitamosmejorar la precisin de que el resto del sistema antes de quemostrar impacto.7.2 Closed-Form InferenciaEl mtodo de inferencia en la Seccin 7.1 obtiene los puntos fuertesde bordes directamente de los valores de confianza en Watsonrespuestas a preguntas secundarias, que dependen de tener un repre-conjunto de entrenamiento sentante de pares de preguntas adicionales / respuesta.NosotrosTambin se han desarrollado mtodos de inferencia donde cada bordetiene un vector de caractersticas (producido por Watson o cualquier otro re-mento generador) y expresamos la confianza en cadahiptesis como una forma cerrada, expresin parametrizadaen los valores de funciones.A continuacin, podemos optimizar el par-etros en un entrenamiento conjunto de escenarios y diagnsticos correctos(Ver seccin 8).Para illustate la idea se describen en detalle uno de talesmodelo, el Noisy-o modelo, que se basa en el mismola intuicin es la semntica indicativos que acabamos de describir.Primero convertimos el grfico afirmacin dirigida a ungrafo acclico (DAG).El grfico afirmacin no es, en gene-eral, libre de ciclos.Adems, el grfico de la afirmacin con-relaciones coincidentes contiene, que son sin direccin.Para formar unaDAG, los nodos en el grfico afirmacin se agrupan primeropor estas relaciones a juego, y luego los ciclos se rompenmediante la aplicacin de la heurstica para reorientar bordes a punto desdefactores a hiptesis.La confianza en factores extrado por Escenario an-analysis es 1.0.Para todos los dems nodos se define la confianzarecursiva en trminos de las confidencias de los padres yla confianza de los bordes producidos por el sistema de control de calidad.Deje que el conjunto de los padres en el DAG para un nodo n ser dadode un (n).El vector de caractersticas del sistema de control de calidad da paraun nodo, m, que indica otra, n, est dada por (m, n).A continuacin, se da a continuacin la confianza para un nodo no factor.El vector de pesos aprendido para las funciones de control de calidad es q.P (n) =unyoa (n) (q (unayo, N)) P (unayo)donde (x) denota la funcin sigmoide. (x) =11 + e-xEl ruidoso-O combinacin es ms sensible cuando elfuentes de evidencia son independientes.Cuando haydos bordes de ataque desde el nodo misma inferencia (quepuede ser el resultado de la fusin de dos o ms grfico afirmacinnodos) al nodo que se trate, estos bordes soncombinada por un mximo en vez de ruidoso-O.Adems de la Noisy-O modelo, tenemos tambin de-desarrollado las siguientes acciones: La variante Tipo de borde de la con- Noisy-O modelosiders el tipo de borde al propagar con-confianza de padres a hijos.La fuerza deel borde de acuerdo con el modelo de control de calidad se multiplicapor un tipo de per-borde aprendi peso, entonces una sigmoidefuncin se aplica.En este modelo, los diferentes tipos desub-preguntas pueden tener diferente influencia en con-confidencias, incluso cuando el modelo de QA produce similarescaractersticas para ellos. El modelo estima que concuerden con la confianza enuna hiptesis de acuerdo a qu tan bien cada factor en

Pgina 11

el escenario, adems de las respuestas que transmitan preguntasle pregunt al respecto, ya sea partido contra la hipte-sis o las respuestas a las preguntas atrasadas pedidode eso.Calculamos este grado de coincidencia con elmatchers plazo describen la Seccin 6.2. La funcin de adicin modelo utiliza el mismo DAG comoel Noisy-O modelo, pero la confianza en la intermediacinnodos inme- se calcula aadiendo la funcin de va-UES para las preguntas que conducen a ella y luego aplicarel modelo logstico al vector resultante.Un efectoes que la confianza para un nodo no aumentamontonamente con el nmero de padres.En Lugar,si las caractersticas que se asocian negativamente con la correspondienterectness estn presentes en uno de los bordes, se puede bajar laconfianza del nodo por debajo de la confianza dadopor otro borde. El modelo causal intenta capturar se- causalmantics expresando la confianza para cada can-can- como el producto sobre cada factor clnico de laprobabilidad de que sea el diagnstico podra explicarel factor (segn las estimaciones de caractersticas Watson / QA),o el factor de "filtrado" - se trata de una observacin sin explicacinvacin o no es realmente relevante.En la forma cerrada sistemas de inferencia describen, hayninguna limitacin que las confidencias de respuesta suman uno.Ponemos en prctica una etapa final en la que las funciones basadas en ella confianza en bruto a partir del modelo de inferencia se transformanen una distribucin de probabilidad apropiada sobre el candidatorespuestas.8 Aprendizaje sobre asercin GrficosMtodos de inferencia como los descritos en el anteriorseccin depende de los puntos fuertes de los bordes creados a partir delas respuestas a las preguntas secundarias.WatsonPaths utiliza super-VISED mquina de aprender a aprender estas fortalezas borde dedatos de entrenamiento.Hay dos tipos diferentes de formacindatos que podemos emplear: Los datos de pregunta de entrenamiento Escenario incluye completaescenarios, preguntas sobre los escenarios, y an-Swers a esas preguntas (por ejemplo, una descripcin detalladade un paciente, una pregunta pidiendo lo que est mal conel paciente y el diagnstico correcto). Los datos de la formacin de preguntas adicionales incluye ms simple, atmicapreguntas y respuestas a esas preguntas (por ejemplo,"Qu enfermedades causar dolor en las articulaciones?" Y algunos an-Swers a esa pregunta).El proceso WatsonPaths que hemos descrito hastaeste punto se supone que primero entrenamos una subpregunta an-swering modelo utilizando datos de entrenamiento de preguntas adicionales y usolas salidas de ese modelo como confidencias para la inferencia.Pero hemos encontrado que este enfoque tiene limitaciones,debido en parte a problemas con nuestra formacin de preguntas adicionales existentedatos ING (descritos en la Seccin 10).Este enfoque tambinadolece de la limitacin de que slo utiliza la informacininterna al sistema de contestador de preguntas adicionales.Algunos in-mtodos Ference tienen parmetros que no se basan ensubpreguntas.Por ejemplo, algunos enfoques desarrollan unamodelo para el grado que dos nodos coinciden o la im-portancia de un nodo dado.Una lnea de base sencilla para el nodoimportancia es dar a todos los nodos, ya sea el mismo peso o unabasado en una sola estadstica simple como IDF peso (inversadocumento de frecuencia).Un modelo simple para la coincidencia puedetener la confianza de un pensamiento matcher solo trminopara ser generalmente eficaz.Caractersticas grficas basadas como estospuede ser til en combinacin con contestador subpreguntacaractersticas de aprendizaje modelo inferencia.Por lo tanto, hemos aadido un ltimo paso en el procesoque hace uso de los datos de pregunta de entrenamiento escenario.Nosotros-ing las grficas afirmacin de que WatsonPaths ha construido paracada pregunta escenario, nuestro objetivo es aprender un modelo queproduce una distribucin de probabilidad sobre respuestas con ASgran parte de la masa como sea posible concentrado en la correctaresponder.Este aprendizaje es un reto porque cada asercingrfico de la contiene muy diferentes nodos y los bordes delos otros, incluso diferentes nmeros de nodos y los bordes.Afortunadamente, los bordes de estos grficos comparten un com-conjunto comn de caractersticas, tales como caractersticas de Respuestas,caractersticas a juego, y las caractersticas del tipo de nodo.Una complicacin es que Watson tiene una gran cantidadde las caractersticas de Respuestas, y muchos de ellos tienenefectos similares;por ejemplo, muchas caractersticas AS- independientesess si la respuesta tiene el tipo deseado (Murdocket al., 2012b).Hay una conexin sutil e indirectaentre el comportamiento de la ma subpregunta respondersistema y las respuestas definitivas a pregunta de entrenamiento escenariodatos;esto hace que sea muy difcil para un sistema de aprendizaje nosotros-ing slo los datos de entrenamiento cuestin de escenarios para encontrar un EF-modelo efi- sobre tantas caractersticas.En consecuencia,emplear un enfoque hbrido.Nos dividimos caractersticas en unpequeo nmero de grupos con propsitos y nos similaresutilizar datos de entrenamiento de preguntas adicionales para construir un modelo separadopara cada grupo.Las salidas de estos modelos representanun conjunto consolidado de caractersticas pregunta de respuesta (conun puntaje para cada grupo).A continuacin, utilizamos esta consolidadaconjunto de caractersticas de Respuestas de funciones para el aprendizajemodelos de inferencia (junto con el basado en grficos adicional-caractersticas).8.1 Aprendizaje directoHemos explorado varios mtodos para la transformacin de unaafirmacin de una grfica en una funcin de mapeo de los valoresde los pesos a la confianza en la hiptesis correctaun:RnR.Los mtodos en la Seccin 7.2 proporcionanrpido, la inferencia exacta.Estos enfoques permiten Express-

Pgina 12

ing la confianza en la respuesta correcta como una forma cerradaexpresin.Resumiendo el registro de la confianza en elhiptesis correcta a travs del conjunto de entrenamiento T, construimosun problema de aprendizaje con la log-verosimilitud en la final correctoresponder como nuestra funcin objetivo.El resultado es una funcinesto es no convexo, y en algunos casos (debido a max) nodiferenciable en los parmetros.Para limitar sobreajuste y fomentar una escasa, inter-parmetro de ponderacin pretable utilizamos L1-regularizacin.El valor absoluto de todos los pesos aprendidas se restaa partir de la funcin objetivo.w*= ArgmaxwRn-w1+tTlog (t(W))Para conocer los parmetros de los modelos de inferenciaaplicamos un mtodo de optimizacin "recuadro negro": greedy-estocstico de bsqueda local.Este es un mtodo de bsqueda directa(Kolda et al., 2003) que considera un punto actual enp Rny una correlacin de funciones barrio apunta asubconjuntos deRn, N:Rn P (Rn).Adems, la opcinprocedimiento timizacin mantiene p*, El punto ms conocido.Desde el punto actual un nuevo punto p es SE- azarseleccionada a partir de N (p).Si el cambio mejora el objetivofuncin, entonces se mantiene;si el cambio empeora la objetividadfuncin tiva, a continuacin, se acepta con cierta probabilidad.De esta manera, el aprendizaje explora el espacio de parmetros,tendiendo a buscar en las regiones de alto valor mientras que nuncaquedar atrapado en un mximo local.Utilizamos una funcin de vecindad N relacionada con brjulaBsqueda.Un solo parmetro o un par de parmetros es se-seleccionada para cambiar por algn .Adems, debido a la L1regularizacin, los permisos de barrio ajuste cualquier pecadogle parmetro a cero, el fomento de soluciones dispersas.No hay criterio de parada sencilla para estebsqueda, por lo que nos limitamos por el tiempo.Empricamente, se encontr queoptimizacin de ms de dos horas rara vez mejor lafuncin objetivo sustancialmente.No todos tdepende de cada elemento de w.Aunque Seaen los casos en que un tdepende de wyo, Muchas piezas delfuncin no puede.Para habilitar reclculo eficiente, unapreprocesador construye para cada peso wyouna indicacin DAGcando que se necesitan piezas de funciones para ser reco-computari-, y en qu orden, si se cambia ese peso.Des-partes de funcin modificados devuelven su valor almacenado en cach si se usaen el clculo de una parte que hace el cambio.Tambin experiment con la simple Nelder-Meadmtodo (Nelder y Mead, 1965) y el multidireccionalmtodo cional busca de Torczon (1989), pero encontr ms dbilel rendimiento de estos mtodos.8.2 Conjunto de AprendizajeTenemos mltiples mtodos de inferencia, cada uno se acercael problema de combinar las confidencias de preguntas adicionalesa partir de una intuicin diferente y formalizarlo en una diferenciacamino ent.Para combinar todos estos diferentes enfoques queentrenar a un conjunto.Esta es una final, convexa, la confianza es-Timation sobre las respuestas de opcin mltiple utilizando el pre-dicciones de los modelos de inferencia como caractersticas.El ensem-aprendizaje ble utiliza el mismo conjunto de entrenamiento que el indivi-ual modelos de forma cerrada de inferencia utilizan.Para evitar darel exceso de peso a la inferencia modelos que han overfit laconjunto de entrenamiento, utilizamos una tcnica comn de apilamientoconjuntos (Breiman, 1996).El conjunto de entrenamiento se divide encinco pliegues, cada uno dejando de 20% de los datos de entrenamiento, como seaunque para la validacin cruzada.Cada modelo de inferencia a partir deSeccin 7.2 est capacitado en cada pliegue.Cuando el conjuntorene la confianza de un modelo de inferencia como una caracterstica parauna instancia, el modelo de inferencia utiliza el parmetro aprendidotros desde el pliegue que excluye a esa instancia.De este modo,el rendimiento de cada modelo de inferencia es-test similares, y elmodelo conjunto no demasiado confiar modelos overfit.El conjunto es una regresin logstica binaria por an-hiptesis ponder mediante tres caractersticas de cada inferenciamodelo.Las caractersticas utilizadas son: la probabilidad de que la hi-hipte-, el logit de la probabilidad, y el rango de laresponder entre las respuestas de opcin mltiple.Usando ellogit de la probabilidad asegura que la seleccin de un solomodelo de inferencia es en el espacio hiptesis del conjunto,logrado, simplemente definiendo el peso para que el modelo defuncin logit a uno y todos los otros pesos a cero.Cada modelo de inferencia de forma cerrada tambin est capacitadoel conjunto de entrenamiento completo.Estas versiones se aplican en la pruebatiempo para generar las caractersticas para el conjunto.9 Colaboracin aplicacin EntrenamientoLa aplicacin de una herramienta de preguntas y respuestas como Watson para com-plex, problemas escenario impulsado era un reto que nosno resolvi hasta que se observ cmo los seres humanos hacen esto.Como se explica en la introduccin, una inspiracin para nuestraenfoque de vino de ver estudiantes de medicina explicansus razonamientos sobre cuestiones de preparacin de exmenes mdicos.Su proceso fue uno de identificar detalles significativos,inferencias y evaluar hiptesis.De esta manerade atacar un problema es reconocible en el Watson-Trayectorias de flujo de ejecucin.As que cuando lleg el momento de crear unaaplicacin interactiva, era obvio que la conclusindebera facilitar un cierto modo de razonar acerca de com-escenarios complejos.A esto le llamamos el Aprendizaje ColaborativoLa Solicitud.9.1 Una aplicacin EntrenamientoLa Aplicacin de Aprendizaje Colaborativo crea un trabajoflujo en el que el usuario y Watson trabajan juntos para ana-lisar un problema.Creemos que resultar este enfoqueen mejores soluciones que si el usuario o Watson eran de trabajoing solo.Tambin se piensa que esto crear oportunidadespara el usuario y Watson para aprender.

Pgina 13

Para el usuario, "aprender" se entiende en el tradicionalsentido.En primer lugar, se propone que la aplicacin ayuda ala enseanza del pensamiento crtico a travs de su labor de promocin de un cer-proceso de razonamiento Tain.En segundo lugar, proponemos que exploratoriaing anlisis de Watson ofrece valor educativo por cesionistasing un ndice nico y relevante en el enorme cuerpo deconocimiento no estructurada que se examin para producirestos resultados.Para Watson, el aprendizaje es principalmente en el sentido de ma-aprendizaje mquina.Es decir, el aprendizaje implica derivar de obrabeled datos de datos de uso y el uso de esos datos para mejorarprobar nuestros modelos estadsticos.Lo que nos parece interesantesobre la aplicacin WatsonPaths son los muchos tunidaddades para reunir esos datos a travs tanto implcita y ex-medios explcitos.Llamamos a estos "anotaciones oportunistas"porque estn reunidos en el curso de la utilizacin de la matem.Existe una sinergia entre la imitacin de la forma en que unahumano piensa acerca de un problema y la forma en la mquinaanlisis de un problema en el desarrollo de formas de reunir tildatos.Si la Aplicacin Aprendizaje Colaborativo puede con xitoproducir plenamente valor educativo para el usuario o Watson,a continuacin, sostenemos que el sistema (incluyendo la aplicacincin y el usuario) aprende y mejora.Es decir, podemosesperar que el sistema para proporcionar mejores resultados en el tiempo.DePor supuesto, sabemos que los seres humanos son capaces de esta propiedady as a lo largo de esa dimensin queremos mostrar que la AP-plicatura se asocia con una tasa ms rpida de aprendizaje que,por ejemplo, el uso de un motor de bsqueda sobre los corpus similar.Y a lo largo de la dimensin de la mejora de la mquina,queremos mostrar resultados estadsticamente significativos.Como lacapacidad para lograr esto es una funcin de la cantidad ycalidad de los datos de uso se reunieron, ser interesanteexplorar cules son los requisitos que esto implica.9.2 Una aplicacin de ColaboracinLas interacciones que los soportes de aplicacin son los mejores ex-explicado en el nivel lgico.En este nivel se encuentra elgrfico de la afirmacin y los procesos utilizados para WatsonPathspoblarlo.Nuestro estado inicial es un grfico afirmacin vaca, ynuestra primera operacin es para describir el escenario del problemaa travs de las declaraciones de hechos y afirmaciones de la verdad acerca deesas declaraciones.WatsonPaths hace a travs de la esce-proceso de anlisis nario en el que la entrada es gua naturalestexto de calibre y la salida es una serie de declaracin afirmadomentos.A travs de la aplicacin de Aprendizaje Colectivo,el usuario puede optar por aceptar el resultado de este proceso,alterarlo a travs del juicio, o de derivacin por completo y creacincomi sus propias declaraciones afirmadas.Cada uno de estos interaccinciones produce datos que esperamos es valiosa para mejo-ing el sistema.Al aceptar el resultado del proceso, hay una im-anotacin explcita de que el resultado tiene valor positivo en elEl juicio de usuario.Alterar el proceso a travs del juicio produce ex-anotaciones explcitas por parte del usuario.Tenga en cuenta que se trata de una ms generalinteraccin eral de lo que podra deducirse de este contextoya que se hace en el nivel grfico afirmacin y as es AP-plicable a todos los procesos que operan WatsonPathsen esta estructura de datos.Un juicio es, de hecho, el usuario ex-pulsando una opinin sobre una declaracin de que el matem tambin ha expresado una opinin.Expresando un similaresopinin es un ejemplo de retroalimentacin positiva.Expresandouna opinin diferente es un ejemplo de retroalimentacin negativa.Si podemos asociar la opinin del sistema con un especialProceso WatsonPaths, entonces podemos utilizar estos juicioscomo retroalimentacin con respecto a ese proceso.(Entendiendo lasesgo de este mecanismo de retroalimentacin es una preocupacin para nosotros.)Mediante la creacin de sus propias declaraciones afirmadas, el usuario esgenerando su opinin de la realidad sobre el terreno para el Wat-proceso sonPaths.Conociendo la entrada el usuario estaba operacinAting a producir este terreno la verdad nos permite derivarlos datos etiquetados para el proceso.En este paso se podra inferir que hay un pro- cerradaproceso en el que los veteranos de usuarios y aumenta la mquina deResultados Antes de seguir adelante con el anlisis.Nuestra actualnfasis en las cuestiones de preparacin de exmenes mdicos es susceptiblea este enfoque, pero para las entradas muy complejas (tales comocientos de pginas de la historia clnica de un paciente) prcticasticalities pueden requerir un modo diferente, automtica deoperacin.Tal modo podra ser permitir WatsonPathstrabajar a travs de todo el escenario solo y luego invitar ael ser humano para juzgar o aumentar los resultados como mejor les parezca.De hecho estamos explorando ambos enfoques como cada uno tiene de-caractersticas deseables (comprensibilidad principalmente en elcaso del proceso cerrada y la facilitacin decisin en elcaso automtico).La siguiente operacin es dar prioridad a las declaraciones en el ASgrfico de insercin para su posterior consulta.Es decir, que estadosmentos sobre el escenario tienen la mayor promesa de pro-ducing inferencias pertinentes?Una vez ms, hay una Watson-Caminos procesan para hacer esto, y el usuario puede optar por ac-excepto el resultado de este proceso, alterar, o de derivacin que Alto-juntos.Al igual que en el caso anterior, las anotaciones ylos datos marcados se pueden derivar de estas interacciones.A continuacin en el proceso WatsonPaths es aplicar una semnticaplantilla a los estados prioritarios para generar inferenciacias.Esta plantilla semntica puede incluir informacincomo "enfermedades causan hallazgos" de la que podemos de-rive una consulta para inferir una enfermedad de un hallazgo o un hallazgode una enfermedad.Cuando se utiliza la pregunta de Watson respuesta-funcin ing para hacer esto, la forma de esta consulta es una turalcuestin lingstica ural.Por ejemplo, imagine que eldeclaracin temblor de reposo (se lee como "el paciente ha descansandotemblor ") ha sido priorizada.La aplicacin de la se- descritoplantilla mntico entonces producira la pregunta "Quenfermedad causa temblor de reposo? "Las respuestas a esta pregunta

Pgina 14

cin son nuevos factores inferidos.Hay muchas oportunidades para la retroalimentacin de los usuarios en esteproceso, pero tal vez el ms interesante es el de induciruna plantilla semntica de las interacciones del usuario.Imaginamoshacer esto permitiendo a los usuarios hacer preguntas de declaracinmismos requisitos y luego extraer informacin deellos.Por ejemplo, si el usuario pide de "temblor en reposo,""Cul es la causa?" Entonces podramos extraer una semnticainstancia de plantilla de las "cosas causan temblor de reposo."valor de esta plantilla se podra mejorar conociendo latipo de casos, por lo que podemos pedir al usuario: "Qutipo de cosas causan temblor de reposo? "a lo que nos re-cibir una respuesta de "enfermedad" o "trastorno neurolgico"entre otras cosas.Y a travs de la tipificacin (una funcionalidadde WatsonPaths), podemos suponer que "temblor en reposo"es un hallazgo.Esto puede llevarnos a preguntar del usuario, "Doenfermedades causan hallazgos? "o" Do trastorno neurolgicoDers causan hallazgos? "La respuesta del usuario puede avanzarrefinar la plantilla semntica.Qu tan lejos para refinar la se-plantilla mntica y si debe hacerse con re-SPECT a una ontologa anterior son cuestiones abiertas a experimentarmentacin.Un aspecto adicional es que la personalizacin de lasistema podra aprender plantillas semnticas especficas del usuario, al-Lowing cada usuario utilizar su propia metodologa parala resolucin de problemas.La ejecucin de las consultas que se producen en la operacin anteriorlos resultados cin en nueva afirmaron declaraciones.Como se ha mencionado BE-tanto, la funcin de bsqueda de respuestas de Watson se puede utilizarpara responder a estas preguntas intermedias.Aqu tambin, in- usuariopuesto puede ayudar a mejorar los resultados de Watson.El usuario puede ac-resultados del concepto Watson, alteran a travs de juicio, oproducir sus propios.Por ejemplo, el usuario puede sugerir al-nombres ternativas y fraseos de entidades y relacionesen la cuestin para su uso en la expansin de consultas.Y como BE-tanto, estas interacciones producen datos que se pueden utilizarpara mejorar el sistema.En este caso, estos resultados encajanmuy bien en AdaptWatson (Ferrucci y Brown, 2012), unmetodologa para mejorar pregunta contestando mientopares de pregunta-respuesta Mance basado en el ejemplo, ciencia de datoscia y aprendizaje automtico.Una ventaja de utilizar la pregunta de respuesta de Watsoncapacidad para la inferencia es que los resultados son compatibles con evi-pasajes denciales.Estos pasajes son tpicamente de unos pocos sen-tencias extrados de un documento que Watson utiliza duranteing generacin caracterstica de una respuesta a una pregunta candidatocin y tan a menudo conllevan las altas respuestas de confianza.Al Igualtal, la exposicin de esta evidencia para el usuario puede ser muy bene-be- como una herramienta explicativa y as es algo que em-phasize en la Solicitud de Aprendizaje Colaborativo.Al-Lowing el usuario para juzgar esta evidencia puede proporcionar datosque se puede utilizar para mejorar los componentes de bsqueda de lacuestin proceso respondiendo, as como entrenar a un justificandopasaje ing modelo de un modelo que clasifica los pasajes comojustificando la respuesta a una pregunta o no.Evaluacin de la grfica afirmacin ampliado con respectopara la determinacin de la creencia en los estados es el papel de lamotor de la creencia.Aqu, los juicios por el usuario acerca de la sealsignifica- o irrelevancia de las declaraciones al caso generalpuede ayudar en la forma en que se realiza la evaluacin.Un paso final en el proceso global es WatsonPathsidentificacin de hiptesis.Para la preparacin de examen mdicopreguntas, hiptesis se proporcionan, pero para el Collaborationorative aplicacin Entrenamiento en que no lo son.Para una parti-escenario ular, la lista de hiptesis cambiar a medida que laanlisis progresa.Lo que podra haber comenzado con generacintrastornos va- pueden terminar con enfermedades especficas.Y qupodra haber comenzado con el diagnstico podra transicin atratamiento.Mediante la observacin de los patrones de uso, esperamospara automatizar este mayor nivel de razonamiento impuesta a lasistema.El grfico afirmacin definitiva segn lo confirmado por el usuarioSe pueden almacenar en la base de conocimiento interno de Watson.Los Lasbase de conocimientos puede almacenar afirmaciones junto con con-la confianza y la informacin de procedencia (con adecuadafusin y estrategias de resolucin de conflictos), y crecea medida que ms usuarios interactan con el sistema.Este crecimientoconjunto de conocimientos fondo mejora an Wat-capacidad de respuesta a preguntas del hijo.Las anotaciones que esperan obtener de la aplicacincacin son muy especficas a los procesos WatsonPaths.Esta es una ventaja de elegir los procesos que imitan hu-razonamiento hombre y as tener algn grado de familiaridady el rendimiento intuitiva para el usuario.Esto tambin conduce aanotaciones oportunistas o preguntas especficas planteadas ael usuario que pueden generar datos tiles.Por ejemplo, siel usuario tuviera que despedir a un paso probatorio que Wat-hijo haba anotado altamente, surge una oportunidad para preguntar por qu.Tal vez un componente pregunta contestador particular tenagenerado una alta puntuacin para el paso.Determinar siNo debe tener puede ser til para mejorar que com-Ponent.Otras preguntas pueden proporcionar informacin axiomticamacin (tales como la existencia de una parfrasis) que puede sertil en el contexto especfico.9.3 Un Computacin Cognitiva AplicacinLos valores que siguen en el desarrollo de la Collaborationorative aplicacin Entrenamiento se describen en taquigrafacomo computacin cognitiva.Esa nocin abarca trescaractersticas principales: facilitar el razonamiento humano, com-comunicarse de una manera natural, y aprender y mejorar (Kellyy Hamm, 2013).Cmo estamos abordando la primera yltima de estas caractersticas debe ser claro en este punto,pero la segunda merece mayor mencin.Ser capaz de expresar la afirmacin grfico para el usuariode una forma intuitiva es un reto que estamos trabajando,pero que ha generado comentarios positivos.Dibujar enel valor de los mapas conceptuales (Daley y Torre, 2010), nuestrobasada en la visualizacin grfica proporciona una pre accesible

Pgina 15

sentacin que los usuarios entiendan rpidamente.Por ejemplo, la Figura 6 muestra la aplicacin duranteanlisis de un escenario en el que los sntomas del paciente conducena un diagnstico de la enfermedad de Parkinson que en las derivaciones de giroa la respuesta Sustancia negra.(La pregunta finalser contestada es: "Qu parte de la paciente nerviososistema est muy probablemente afectados? ") La grfica representacincin permite al usuario navegar visualmente el resultado deenunciados verdaderos afirmados (nodos dispuestos en la parte superior de lapantalla), a travs de inferencias (nodos blancos en el mediode la pantalla), y a hiptesis (nodos dispuestos en elparte inferior de la pantalla).Decoraciones en el grfico como de lneaanchura y opacidad dan al usuario un sentido de cmo la creenciaest fluyendo mientras que los indicadores de significacin (lneas discontinuas Be-bajo factores) muestran que los factores del motor creencia favorecidaen la eleccin de una respuesta.Algo a destacar es que laresultado completo tiene 333 nodos y 444 bordes y as Editar-Se necesita ING de la grfica.9.4 Estado actualLa Aplicacin de Aprendizaje Colaborativo es un trabajo enprogreso y estamos refinando y explorar en el con-texto de nuestra colaboracin con la Cleveland Clinic LernerFacultad de Medicina.En esa escuela de medicina, crticopensamiento se ensea a travs de una corriente de aprendizaje basado en problemasriculum en el que los estudiantes trabajan a travs narios mdicaios como grupo.La forma en que los estudiantes hacer esto tienesimilitudes con el proceso WatsonPaths, y por lo que esperamosque la aplicacin que estamos construyendo en esa funcionalidadser capaz de facilitar su pensamiento mientras que proporcionaeducativo valor-algo que esperamos para medir en unprximo piloto.10 EvaluacinComo se ilustra en la seccin anterior, una forma interactiva, co-cola- herramienta de apoyo a la decisin clnica pueden beneficiarse delos mismos componentes y tecnologas necesarias para un au-pregunta mdica contestar ma basado en escenarios tomatictem.As pues, desarrollar y probar el sistema automticoen la forma estndar en juegos de preguntas mdicas tiene labeneficios de (1) conducir el desarrollo de la tecnolo- ncleologa, (2) proporcionar una evaluacin de la ma automticatem, y (3) la mejora de los componentes de la interactivosistema;tal evaluacin es el tema de esta seccin.Tenga en cuenta que una evaluacin del propio sistema interactivo esun ejercicio separado y sern reportados en un artculo futuro.10.1 Conjuntos de DatosPara la evaluacin automtica de WatsonPaths, se utilizun conjunto de preguntas mdicas de preparacin prueba de examenMaestro y McGraw-Hill, que son anlogas a lasejemplos que se han utilizado a lo largo de este trabajo.Estospreguntas consisten en un lenguaje natural de prrafosdescripcin del escenario de un caso de un paciente, opcionalmente acom-acompaada de una estructura semi-estructurada tabular.El prrafoDescripcin grfica normalmente termina con una frase de remate preguntacin y un conjunto de respuestas de opcin mltiple (promedio 5.2las opciones de respuesta por pregunta).Se excluyeron de consideracinpreguntas coo- que requieren anlisis de imagen o cuyarespuestas no son segmentos de texto.Las preguntas punchline pueden simplemente estar buscando lams probable enfermedad que caus los sntomas del paciente(Por ejemplo, "Cul es el diagnstico ms probable en este pa-pa-? "), en cuyo caso la pregunta se clasifica como una di-diag- pregunta.El conjunto de preguntas diagnstico reportado enesta evaluacin fue identificado por los anotadores independientes.Preguntas punchline no diagnstico pueden incluir de Crditostratamientos apropiados, el organismo causante de la enfermedad, yetc. (por ejemplo, "Cul es el tratamiento ms adecuado?"y "Qu organismo es la causa ms probable de sumeningitis? ", respectivamente).Dividimos nuestro conjunto de datos de 2.190 preguntas en un entrenamientoconjunto de 1.000 preguntas, un conjunto de desarrollo de 690 preguntasciones, y un conjunto de pruebas a ciegas de 500 preguntas.El desarrolloconjunto cin se utiliz para conducir de forma iterativa el desarrollo deel anlisis de escenarios, la generacin de relacin, y en- creenciagine componentes, y para el ajuste de parmetros.El entrenamientoconjunto se utiliz para construir modelos por el componente de aprendizajese describe en la Seccin 8.Como se seal anteriormente, nuestro proceso de aprendizaje requiere sub-datos de entrenamiento pregunta para consolidar grupos de preguntarespondiendo a las caractersticas en conjuntos ms pequeos y manejablesde caractersticas.No tenemos slida y completaverdad terreno para un suficientemente amplio conjunto de nuestra automtica-camente generada subpreguntas.En su lugar, se utiliza un preconjunto existente de preguntas mdicas factoid simples como sub-datos de entrenamiento pregunta: Dilema del Doctor (DD) preguntaconjunto cin (American College of Physicians, 2014).DD esun punto de referencia establecido utilizado para evaluar el desempeo enfactoide contestador pregunta mdica.Utilizamos 1039 DDpreguntas (con una clave de respuestas conocido) como nuestra subpreguntadatos de entrenamiento.Aunque las preguntas dilema del doctors tienen cierta similitud bsica de las subpreguntas que pedimosen grficos afirmacin, hay algunas diferencias importantes: En una subpregunta grfico afirmacin, por lo general hayuna entidad conocida y una relacin que est siendopreguntado.Para DD, la pregunta puede constreirla respuesta de mltiples entidades y relaciones. Una afirmacin grfica de preguntas adicionales como "Qu causahipertensin? "tiene muchas respuestas correctas, mientras queDD preguntas tienen una sola respuesta correcta. Puede haber un desajuste entre la forma en la confianzapara DD est entrenado y cmo la confianza de preguntas adicionalesse utiliza en un mtodo de inferencia.La confianza DDmodelo est entrenado para maximizar la probabilidad logartmica en un

Pgina 16

Figura 6: WatsonPaths interfaz de usuariotarea correcta / incorrecta binario clasificacin.En con-contraste, muchos mtodos de inferencia probabilstica utilizan con-confianza como algo parecido a la fuerza de indicacin orelevancia.Por todas estas razones, los datos DD es poco adecuado para entrenamientoing un modelo completo para juzgar borde resistencia para sub-pregunta bordes en WatsonPaths.Pero hemos encontrado queDatos DD es til como datos de entrenamiento de preguntas adicionales1en el hi-brid enfoque de aprendizaje se describe en la Seccin 8;usamos1.039 preguntas DD para consolidar pregunta contestadorcaractersticas y luego usan el, conjunto consolidado menor de caractersticaturas como insumos para los modelos de inferencia que se entrenan enlas 1.000 preguntas de preparacin de exmenes mdicos.10.2 Configuracin ExperimentalPara fines de comparacin, se utiliz nuestra pregunta Watsonsistema adaptado para el mbito mdico responder (Fer-Rucci et al., 2013) como un sistema de lnea de base.Este sistema tomatodo el escenario como entrada y evala cada mltiplorespuesta eleccin en funcin de su probabilidad de ser el correspondienterect respuesta a la pregunta remate.Este AP one-shot1Tambin estamos investigando el uso de sub-preguntas realesgenerada por WatsonPaths como datos de entrenamiento.La construccin de un gralclave de responder de la forma de tales preguntas es mucho tiempo,y una clave de respuesta incompleta puede ser menos eficaz.Pese Aeste enfoque no ha logrado todava, todava puede tener xito si nosinvertir mucho ms en la construccin de una clave mejor respuesta mayor paraWatsonPaths reales subpreguntas.enfoque para responder a preguntas mdicas escenario contrastescon el enfoque WatsonPaths de descomponer el esce-nario, haciendo preguntas de los factores atmicos y rendimientoing inferencia probabilstica sobre la grfica resultantemodelo.Nos sintonizamos diversos parmetros en los sistemas WatsonPathstem en el set de desarrollo para equilibrar la velocidad y mientoMance.El sistema realiza una iteracin cada uno de for-barrio y de la generacin de relacin hacia atrs.El mnimoumbral de confianza para la expansin de un nodo es 0,25, yel nmero mximo de nodos expandidos por iteracines 40. En el componente de generacin de relacin, el Watsonsistema mdico contestador pregunta devuelve todas las respuestascon una confianza de por encima de 0,01.Evaluamos el rendimiento del sistema, tanto en la prueba completaestablecer, as como en slo el subconjunto diagnstico.La razn porevaluar el subconjunto diagnstico separado es porque, enla gran mayora de estas preguntas, ya sea el rematecuestin tiene por objeto el diagnstico o depende de una correcta di-diag- lo largo del camino.Utilizamos las 1.000 preguntas plenos enel conjunto de entrenamiento para aprender los modelos tanto para la lnea de basesistema y el sistema WatsonPaths.Como se seal anteriormente,Datos de entrenamiento dilema del doctor se utiliza para consolidarpregunta contestando caractersticas en el sistema WatsonPaths.No hicimos uso de datos de entrenamiento dilema del doctor para cualquierpropsito en el sistema de lnea de base.

Pgina 17

CompletoDiagnsticoPrecisinBase42,0%53,8%WatsonPaths48,0%64,1%ConfianzaBase59,8%75,3%Puntaje PonderadoWatsonPaths67,5%81,8%Tabla 1: Resultados WatsonPaths Rendimiento10.3 Resultados y DiscusinLa Tabla 1 muestra los resultados de nuestra evaluacin en un conjunto de 500preguntas ciegos de los cuales un subconjunto de 156 preguntas fueronidentificado como preguntas de diagnstico de anotadores.Presentamos los resultados utilizando dos mtricas.Precisin sim-ply mide el porcentaje de preguntas para las cuales unasistema clasifica la respuesta correcta en la posicin superior.Con-confianza puntaje ponderado es una medida que toma en accincontar tanto la precisin del sistema y su confianzaen la produccin de la respuesta superior (Voorhees, 2003).Tenemos suertetodos pares en una evaluacin establecido enorden de la confianza del sistema decreciente en la parte superiorresponder y calcular la puntuacin ponderada de confianza comoCWS =1nni = 1nmero correcto en primera filas iyodonde n es el nmero de preguntas de la evaluacinel conjunto.Esta mtrica sistemas de recompensas para ms activos precisinla firma de altos confidencias a las respuestas correctas, una importanciaconsideracin tante para el mundo real pregunta de respuesta ysistemas de diagnstico mdico.Nuestros resultados muestran mejoras estadsticamente significativasa p