Assessment of the Non-Technical Skills for Surgeons (NOTSS) framework in the USA

Surgeons' non-technical skills are important for patient safety. The Non-Technical Skills for Surgeons assessment tool was developed in the UK and recently adapted to the US surgical context (NOTSS-US). The aim of this study was to evaluate the reliability and distribution of non-technical skill ratings given by attending (consultant) surgeons who underwent brief online training.Attending surgeons across six specialties at a large US academic medical centre underwent a 10-min online training, then rated 60-s standardized videos of simulated operations. Intraclass correlation coefficient (ICC), and mean(s.d.) values for NOTSS-US ratings were determined for each non-technical skill category (score range 1-5, where 1 indicates poor, 3 average and 5 excellent) and for total NOTSS-US score (range 4-20; sum of 4 category scores). Outcomes were adjusted for rater characteristics including sex, specialty and clinical experience.A total of 8889 ratings were submitted by 81 surgeon raters on 30 simulated intraoperative videos. The mean(s.d.) total NOTSS-US score for all videos was 9·5(4·8) of 20. The within-video ICC for total NOTSS-US score was 0·64 (95 per cent c.i. 0·57 to 0·70). For individual non-technical skill categories, the ICC was highest for social skills (communication/teamwork: 0·63, 95 per cent c.i. 0·56 to 0·71; leadership: 0·64, 0·55 to 0·72) and lowest for cognitive skills (situation awareness: 0·54, 0·45 to 0·62; decision-making: 0·50, 0·41 to 0·59). Women gave higher total NOTSS-US scores than men (adjusted mean difference 0·93, 95 per cent c.i. 0·44 to 1·43; P = 0·001).After brief online training, the inter-rater reliability of the NOTSS-US assessment tool achieved moderate strength among trained surgeons rating simulated intraoperative videos.Las habilidades no técnicas de los cirujanos (Non-Technical Skills for Surgeons, NOTSS) son importantes para la seguridad del paciente. La herramienta de evaluación de habilidades no técnicas para cirujanos se desarrolló en el Reino Unido y se adaptó recientemente al contexto quirúrgico de los Estados Unidos (NOTSS-US.). El objetivo de este estudio fue evaluar la fiabilidad y distribución de las calificaciones de habilidades no técnicas obtenidas por cirujanos adjuntos de cirugía (consultores) que recibieron una breve formación online. MÉTODOS: Cirujanos adjuntos de 6 especialidades en un gran centro universitario de Estados Unidos recibieron una formación online de 10 minutos de duración y seguidamente puntuaron vídeos estandarizados de operaciones simuladas de 60 minutos de duración. Se calcularon el coeficiente de correlación intraclase (intraclass correlation coefficient, ICC), la media y la desviación estándar (standard deviation, SD) para la puntuación de cada categoría de habilidad no técnica del NOTSS-US (rango 1-5, siendo 1 = pobre, 3 = promedio, 5 = excelente) y para la puntuación global de NOTSS-US (rango 4-20, suma de las puntuaciones de las cuatro categorías). Los resultados se ajustaron de acuerdo con las características del evaluador, incluyendo sexo, especialidad, experiencia clínica.En 30 videos intraoperatorios simulados, 81 cirujanos evaluadores proporcionaron 8.889 puntaciones. La puntuación media global de NOTSS-US para todos los vídeos fue de 9,5 sobre 20 (SD 4,8). El ICC de los vídeos para la puntuación global de NOTSS-US fue 0,64 (i.c. del 95% 0,57-0,70). Para las categorías individuales de habilidades no técnicas, el ICC más alto fue para las habilidades sociales (comunicación / trabajo en equipo: 0,63, (i.c. del 95% 0,56-0,71); liderazgo, 0,64 (i.c. del 95% 0,55-0,72)) y el más bajo para las habilidades cognitivas (conciencia de la situación 0,54 (i.c. del 95% 0,45-0,62); toma de decisiones 0,50 (i.c. del 95% 0,41-0,59)). Las evaluadoras femeninas presentaron puntuaciones globales de NOTSS-US más altas que los evaluadores masculinos (diferencia 0,93, i.c. del 95% 0,44-1,43; P = 0,001)). CONCLUSIÓN: Después de una breve formación online, la fiabilidad de la herramienta de evaluación NOTSS-US mostró una correlación moderada entre los cirujanos que puntuaron vídeos de simulaciones de intervenciones quirúrgicas.