Comparing the Management Recommendations of Large Language Model and Colorectal Cancer Multidisciplinary Team: A Pilot Study

BACKGROUND: Management of anorectal cancers requires a multidisciplinary team approach. Recently, large language models have been suggested as potential tools for various applications in health care. OBJECTIVE: Assess suggested management recommendations provided by a generative artificial intelligence chatbot with those of a colorectal cancer multidisciplinary team to evaluate applicability in clinical settings. DESIGN: Comparative pilot study where management recommendations from a generative artificial intelligence chatbot for patients with anal or colorectal cancers were compared against historical consensus decisions from multidisciplinary team meetings. SETTING: Single referral tertiary center. PATIENTS: Fifteen patients (mean age of 66.5 years; 53.5% woman) were included; 80% were primarily diagnosed with rectal cancer, predominantly stage II and III disease (46.6%). The mean tumor height from the anal verge was 4 cm. INTERVENTIONS: From a generative artificial intelligence chatbot, we generated management recommendations for each patient, which were subsequently compared to historical decisions from a multidisciplinary team to gauge concordance. MAIN OUTCOME MEASURES: Primary outcomes included a degree of concordance between generative artificial intelligence chatbot recommendations and the multidisciplinary team decisions, assessed on a scale from 1 (complete disagreement) to 5 (complete agreement), and justification was evaluated by 3 experienced colorectal surgeons. RESULTS: A generative artificial intelligence chatbot achieved a high concordance rate with multidisciplinary team decisions, with an average concordance rating of 4.08. Multidisciplinary team treatment strategies included neoadjuvant therapy for 33.3% of patients, upfront surgery for 26.6%, and further diagnostic assessment for 20%. Interrater agreement on concordance was found to be moderate (κ coefficient range, 0.333–0.577), whereas agreement on decision justification was slight (κ coefficient range, 0.047–0.094). LIMITATIONS: Retrospective study with small sample size. CONCLUSIONS: The findings indicate a high level of concordance between generative artificial intelligence chatbot recommendations and the decisions from a colorectal cancer multidisciplinary team, suggesting the potential of large language models to support clinical decision-making in the management of anal and colorectal cancers. See Video Abstract . COMPARACIÓN ENTRE RECOMENDACIONES DE MANEJO DEL MODELO EXTENSO DE LENGUAJE Y EL EQUIPO MULTIDISCIPLINARIO DE CÁNCER COLORRECTAL: UN ESTUDIO PILOTO ANTECEDENTES: El manejo de los cánceres anorrectales requiere un enfoque de equipo multidisciplinario. Recientemente, se han sugerido modelos extensos de lenguaje como herramientas potenciales para diversas aplicaciones en la asistencia sanitaria. OBJETIVO: Evaluar las recomendaciones de gestión sugeridos por un chatbot de inteligencia artificial generativa con las de un equipo multidisciplinario de cáncer colorrectal para evaluar la aplicabilidad en entornos clínicos. DISEÑO: Estudio piloto comparativo entre las recomendaciones de gestión de un chatbot de inteligencia artificial generativa con pacientes de cáncer anal o colorrectal y con las decisiones consensuadas históricas de reuniones de equipos multidisciplinarios. LUGAR: Un único centro terciario de referencia. PACIENTES: Se incluyeron 15 pacientes (edad media de 66,5 años; 53,5% mujeres); el 80% fueron diagnosticados principalmente de cáncer de recto, con predominio de la enfermedad en estadio II-III (46,6%). La altura media del tumor desde el borde anal fue de 4 cm. INTERVENCIONES Utilizando de un chatbot de inteligencia artificial generativa, producimos recomendaciones de manejo para cada paciente, que posteriormente se compararon con las decisiones del equipo multidisciplinario histórico para medir la concordancia. PRINCIPALES MEDIDAS DE RESULTADO: Los resultados primarios incluyeron el grado de concordancia entre las recomendaciones de un chatbot de inteligencia artificial generativa y las decisiones del equipo multidisciplinario, evaluadas en una escala de 1 (desacuerdo total) a 5 (acuerdo total), y la justificación evaluada por tres cirujanos colorrectales experimentados. RESULTADOS: Un chatbot de inteligencia artificial generativa logró una alta tasa de concordancia con las decisiones del equipo multidisciplinario, con una calificación media de concordancia de 4,08. Las estrategias de tratamiento del equipo multidisciplinario incluyeron terapia neoadyuvante para el 33,3% de los pacientes, cirugía inicial para el 26,6% y evaluación diagnóstica adicional para el 20%. La concordancia entre los evaluadores fue moderada (rango del coeficiente kappa: 0,333 a 0,577), mientras que la concordancia en la justificación de las decisiones fue leve (rango del coeficiente kappa: 0,047 a 0,094). LIMITACIONES: Estudio retrospectivo con pequeño tamaño muestral. CONCLUSIONES: Los hallazgos indican un alto nivel de concordancia entre las recomendaciones de un chatbot de inteligencia artificial generativa y las decisiones de un equipo multidisciplinario de cáncer colorrectal, lo que sugiere el potencial de los modelos extensos de lenguaje en apoyar la toma de decisiones clínicas en el manejo del cáncer anal y colorrectal. (Traducción: Dr. Fidel Ruiz Healy).