의료영상은 현대 의료의 핵심 요소입니다. X-ray, CT, MRI, 초음파 등 다양한 기술은 인체 내부를 비침습적으로 확인하고 생명을 구하는 진단을 가능하게 합니다. 이러한 영상은 질병을 발견하고, 치료 계획을 세우며, 환자의 경과를 모니터링하는 데 기반이 됩니다. 그러나 의료영상을 해석하는 작업은 높은 전문성과 정밀함이 요구되며, 복잡하고 시간 소요적입니다. 의료 데이터의 양과 복잡성이 점점 증가함에 따라 임상의가 이를 효율적으로 처리할 수 있도록 지원하는 고도화된 도구가 필요해지고 있습니다.인공지능(AI)은 이 분야에서 중요한 전환점을 만들고 있습니다. AI는 영상 분석을 자동화하고 고도화함으로써 진단 오류를 줄이고, 업무 흐름을 가속화하며, 의료 자원이 제한된 환경에서도 높은 수준의 진료를 제공하는 데 도움을 줍니다. 많은 AI 모델이 정확성을 제공하지만, Meta의 Segment Anything Model(SAM)과 이를 의료 환경에 맞게 적용한 SwiftMedSAM과 같은 오픈소스 기반 솔루션은 유연성, 확장성, 적응성 측면에서 현저히 돋보입니다. 독점형 모델과 달리 오픈소스 AI는 연구자와 임상의가 각자의 환경과 요구에 맞도록 솔루션을 커스터마이징, 개선, 배포할 수 있어 혁신을 가속화하고 첨단 기술에 대한 접근성을 확대합니다.
서울대학교병원 융합의학기술원 의료영상정보학연구실(MediSC)
서울대학교병원 융합의학기술원의 의료영상정보학연구실(Medical Spatial Computing Laboratory, MediSC)은 공현중 교수의 리드 아래 의료 연구 및 임상 분야에서 글로벌 선도 기관으로 평가받고 있습니다. MediSC는 첨단 기술을 의료 환경에 통합하려는 연구를 지속해 왔으며, 이를 통해 AI 기반 의료영상 분야에서도 중요한 역할을 수행하고 있습니다.
MediSC 팀의 핵심 연구 분야는 의료 공간 컴퓨팅으로, 확장현실(XR), 메타버스 기술, AI 및 영상 정보학을 의료영상과 결합하는 기술입니다. 이러한 기술은 의학 교육 및 훈련, 진단 및 시술 전 계획, 시술 중 활용, 환자 모니터링, 디지털 치료제 등 다양한 의료 응용 분야에서 사용됩니다. 서울대병원 연구진은 학술적 혁신을 실제 임상 효과로 이어지게 하기 위해 지속적으로 노력해 왔으며, 이러한 연구 방향은 SwiftMedSAM과 같은 고도화된 AI 솔루션을 시험 적용하는 데 최적의 파트너로 자리매김하게 했습니다.
기반 기술: Meta Segment Anything Model (SAM)
SAM은 최소한의 입력만으로 이미지 내 어떤 객체든 식별하고 윤곽을 지정할 수 있도록 설계된 오픈소스의 컴퓨터 비전 모델입니다. 말그대로 “모든 걸 분할하는(Segment Anything)” 모델이죠. 높은 범용성과 정확도를 바탕으로 다양한 분야에서 활용되고 있으며, 특히 해부학적 구조의 정밀한 분할이 진단과 치료 계획에 매우 중요한 의료 분야에서 기본적인 도구로 자리 잡고 있습니다.
SwiftMedSAM
SAM의 성능을 의료영상 분야에 적용하기 위해 MedSAM은 110만 개 이상의 의료 이미지-마스크 쌍(medical image-mask pairs)을 기반으로 학습되어 효율성을 향상시켰으며, 이를 통해 LiteMedSAM이라는 적응형 모델이 개발되었습니다. MediSC 팀은 LiteMedSAM을 기반으로, 매우 제한된 환경에서도 활용할 수 있도록 설계된 초경량 프롬프트 기반 범용 의료영상 분할 모델인 SwiftMedSAM을 개발했습니다.
SwiftMedSAM은 LiteMedSAM의 이미지 인코더와 마스크 디코더에 하이퍼파라미터 최적화를 적용하여 모델 크기와 연산 복잡도를 줄였습니다. 그 결과, SwiftMedSAM은 590만 개의 파라미터를 갖게 되었으며, 이는 LiteMedSAM 대비 40% 감소한 수치입니다. 이러한 파라미터 감소는 더 빠른 모델 성능과 낮은 리소스 사용, 보다 용이한 배포, 그리고 비용 절감의 효과를 낳습니다.

SwiftMedSAM의 의의
- 자원이 제한된 환경에서의 활용: SwiftMedSAM의 큰 강점 중 하나는 낮은 연산 비용으로도 고품질 분할을 구현할 수 있다는 점입니다. 이는 고성능 장비 접근이 어려운 농촌 의료시설이나 개발도상국 등 자원이 제한된 환경에서 특히 중요합니다. 연구진은 효율성을 위해 모델을 최적화함으로써, 노트북이나 엣지 디바이스만 보유한 의료기관에서도 고도화된 AI를 활용할 수 있도록 접근성을 확대했습니다. 또한 통제된 연구 환경에서는 잘 작동하지만 실제 임상에서는 성능이 떨어지는 기존 AI 모델들과 달리, SwiftMedSAM은 일상적인 의료 환경에서도 안정적이고 신뢰성 있게 작동하도록 설계되었습니다.
- 오픈소스 및 커스터마이징 가능성: Meta의 오픈소스 접근 방식을 기반으로 MediSC 팀은 모델을 자체 요구에 맞게 조정하고 파인튜닝할 수 있었으며, 이를 통해 투명성과 통제력을 확보했습니다. 이는 지역별 요구에 맞춰 조정되기 어렵고 내부 구조가 드러나지 않는 ‘블랙박스’ 형태의 독점형 AI 솔루션과 대비됩니다. 또한 SwiftMedSAM은 투명하고 조정 가능한 형태로 제공되기 때문에, 현장의 연구자와 개발자들이 직접 모델을 개선 및 발전시킬 수 있어 지속적인 혁신과 협업 문화를 촉진합니다.
- 정밀 의료 및 원격 의료 발전에 기여: SwiftMedSAM의 정확성과 효율성은 ‘적시에, 적절한 치료를, 적합한 환자에게 제공한다’는 정밀 의료의 핵심 목표를 뒷받침하며, 의료 영상의 원격 분석 수요가 커지고 있는 원격 의료 환경에서도 중요한 역할을 합니다. SwiftMedSAM은 PET, CT 및 MRI 영상의 분할 정확도를 향상시키며, 특히 PET에서 가장 큰 개선을 보였습니다. 다이스 유사도 계수(Dice Similarity Coefficient, DSC)는 AI가 예측한 분할 결과와 전문가가 라벨링한 분할 결과가 얼마나 겹치는지를 측정하는 지표로, 0은 불일치, 1은 완전 일치를 의미합니다. PET의 DSC는 55.10%에서 68.87%로 상승해 PET 분할 정확도가 크게 향상된 것으로 나타났습니다.
- 멀티 모달리티(Multi-Modality) 의료 영상 지원: SwiftMedSAM은 CT, MRI, PET, X-ray, 초음파, 유방촬영술, OCT, 내시경, 안저(fundus), 피부확대경(dermoscopy), 현미경 이미지까지 총 11가지 의료 영상 모달리티에서 분할 작업을 수행할 수 있습니다. 아래 이미지는 초음파 영상의 신장 분할(a), CT에서의 폐 종양 영역 분할(b), 그리고 대비가 낮고 경계가 불명확한 까다로운 X-ray 영상(c, d) 등 다양한 영상 모달리티에서의 분할 성능을 보여줍니다.

실제 임상 적용

서울대학교병원에서는 SwiftMedSAM을 이미 수술 전, 수술 중, 수술 후 전 과정에 걸쳐 활용하고 있습니다. 이러한 실제 임상 활용 사례는 모델의 폭넓은 범용성과 환자 관리의 모든 단계에서 의료진을 지원할 수 있는 역량을 보여줍니다.
결정적으로, SwiftMedSAM의 개발과 서울대학교병원 내 도입은 이규언 교수와의 임상 파트너십을 통해 더욱 강화되고 있습니다. 이규언 교수는 <SwiftMedSAM: An Ultra-lightweight Prompt-Based Universal Medical Image Segmentation Model for Highly Constrained Environments>의 공동 저자로도 참여했습니다. 이러한 협업은 모델이 실제 임상 현장의 요구와 상황에 긴밀히 부합하도록 해주며, 기술적 혁신과 환자 진료 사이의 간극을 줄이는 역할을 하고 있습니다.
미래 전망: 의료영상 분야에서의 AI 혁신
서울대병원에서 SwiftMedSAM이 보여준 성과는 시작점에 불과합니다. Meta의 Segment Anything과 같은 오픈소스 AI 모델이 지속적으로 발전함에 따라, 의료영상 분야에서는 더 큰 진전이 이어질 것으로 기대됩니다.
- 멀티모달 데이터 통합: 향후 모델들은 의료영상뿐 아니라 전자의무기록, 유전체 정보 등 다양한 데이터를 함께 분석해, 환자를 보다 종합적으로 이해할 수 있는 인사이트를 제공하게 될 것입니다.
- 실시간 온디바이스 분석: 효율성이 더욱 개선된다면 휴대용 기기에서도 실시간 분석이 가능해져, 고도화된 진단 기술을 환자 진료 현장에서 바로 제공할 수 있게 될 것입니다.
- 글로벌 공동 연구: 오픈소스 모델은 전 세계 연구자들의 진입 장벽을 낮춰 혁신 속도를 높이고, AI 발전의 혜택이 풍부한 자원을 가진 소수만 아니라 모든 커뮤니티에 고르게 돌아가도록 합니다.
SwiftMedSAM은 의료 분야에서 개방적이고 적응 가능한 AI 모델이 지닌 변혁적 잠재력을 잘 보여줍니다. Segment Anything을 기반으로 구축된 이 도구는 의료영상 분할 기술의 수준을 한 단계 끌어올렸을 뿐 아니라, 전 세계 임상의가 고품질 AI에 더 쉽게 접근할 수 있도록 활용 기반을 넓혔습니다. 앞으로 기술 기업, 의료 기관, 그리고 오픈소스 커뮤니티 간의 지속적인 협업은 환자 치료와 의료 연구의 새로운 가능성을 열어갈 것입니다.