quantum wave

• 탐방연구실 연세대학교 융합과학기술원 양자사업단 양자컴퓨팅센터
• 글 작성 퀀텀웨이브 학생 기자단 : 김도겸(한양대학교) / 이성빈(서울대학교) / 백원준(연세대학교) / 김성은(연세대학교) / 박연수(연세대학교)

연세대 방정호 교수, NISQ 시대의 질문을 재설계하다

2026년 2월 10일, QISK 학생기자단은 인천 송도에 위치한 연세대학교 국제캠퍼스를 방문해 방정호 교수 연구실 소속 조경호 박사와 한지수 연구원을 인터뷰했다. 겨울 공기가 감도는 연구동 복도는 조용했지만, 연구실 안에서는 양자컴퓨팅의 가장 현실적인 문제들을 향한 고민이 치열하게 진행되고 있었다.

대부분의 연구실은 한 분야에 정통한 전공자들을 모아서 이론이나 시뮬레이션, 실험 중 하나에 집중하는 구조를 취한다. 하지만 방정호 교수의 연구실은 이 세 영역을 병렬적으로 진행한다. 이는 단순히 다학제성을 지향하기 때문이 아니다.

조경호 박사는 “양자컴퓨팅이라는 분야 자체가 다양한 분야의 인재들을 요구하는 융합적인 학문이다”고 말한다. 양자 알고리즘은 수학적 구조 위에 세워지고, 실제 구현은 물리적 노이즈와 디코히런스에 의해 제한되며, 하드웨어 차원에서는 공학적 설계와 분석이 필수적이다. 따라서 해당 연구실은 어느 한 축만을 극단적으로 정교화하는 방식으로는 실질적인 혁신을 이뤄내기가 어렵다는 믿음 하에 연구가 이루어진다.

이미지 확대보기

고전 컴퓨터의 한계를 넘어선 양자 자원의 활용

방정호 교수가 이끄는 연구실은 고전 컴퓨팅을 넘어선 양자 자원을 설계하기 위해 QML(양자 머신러닝)부터 QEC(양자 오류 수정), 알고리즘 개발, 양자통신과 네트워크에 이르기까지 폭넓은 연구를 전개하고 있다. 특정 기술 한 축에 머무르기보다, 양자컴퓨팅을 구성하는 이론적·알고리즘적·물리적 토대를 동시에 탐구하는 통합형 연구실인 것이다.

그래서인지 연구 내용의 한 축은 QML이다. 단순히 기존 머신러닝을 양자 장치 위에 올려 실행하는 수준을 넘어, 실제로 양자적 자원이 학습 성능에 어떠한 이득을 제공하는지를 이론적으로 규명하는 데까지 관심을 둔다. 양자머신러닝 이득 증명은 증명의 이름 그대로 “양자적 접근이 정말 더 효율적인가?”라는 근본적인 질문에 대한 답을 요구하기에, 이를 위해 양자 데이터 인코딩 방식, 상태 공간 표현력, 샘플 복잡도 등에 대한 체계적 분석이 이루어진다. 특히 NISQ(Noisy Intermediate-Scale Quantum) 환경에 적합한 변분 기반 접근과 QNN(양자인공신경망)을 연구하며, 제한된 큐비트와 노이즈 조건 속에서도 구현 가능한 학습 구조를 설계한다. 더 나아가 적대적 공격이나 데이터 노출 위험에 대응하기 위해 보안성과 학습 효율을 동시에 고려하는 QSML(양자보안머신러닝) 연구도 병행한다.

연구의 또 다른 축은 양자컴퓨팅 알고리즘과 소프트웨어 개발이다. 범용 양자컴퓨팅 알고리즘을 설계하고, VQA(변분 양자 알고리즘)과 같은 NISQ 친화적 구조를 개발한다. 양자 시뮬레이션 역시 주요 연구 분야로, 고전적으로 계산이 어려운 양자 시스템을 양자 장치로 모사하는 방법을 탐구한다. 이 과정에서 알고리즘 설계와 하드웨어 제약을 동시에 고려하는 접근이 필수적이다. 이와 함께, 연구실은 양자 오류 정정 및 fault-tolerant 양자 컴퓨팅이라는 보다 장기적인 과제에도 참여하고 있다. 양자 컴퓨터는 환경 소음에 극도로 민감하기 때문에, 오류를 감지하고 수정하는 체계 없이는 확장성이 제한된다. 연구팀은 오류 정정 코드와 성능 평가 지표를 개선하는 연구를 통해, 실제로 확장 가능한 양자 시스템의 이론적 기반을 다지고 있다.  

이처럼 방정호 교수 연구실은 양자 머신러닝, 알고리즘 개발, 오류 정정, 비고전성 이론, 양자 네트워크까지 아우르며, 양자 기술의 기초와 응용을 동시에 확장하고 있다. 이는 특정 장치나 단일 응용 분야에 집중하려는 것보다는, 양자컴퓨팅을 구성하는 수학적 구조와 물리적 자원, 알고리즘적 전략을 통합적으로 이해하려는 접근으로 이해할 수 있다.

NISQ라는 현실

현재의 양자 컴퓨터는 노이즈가 존재하는 중간 규모 장치, 즉 NISQ 단계에 머물러 있다. 이러한 한계를 극복하기 위해 현재 프로세서 구조를 계속 개편하고 있는 IBM과 칩 레이어 및 오류 정정 구조를 고도화하고 있는 Google처럼 학계와 산업계는 함께 이 단계를 넘어서 FTQC(fault-tolerant quantum computing)를 향해 나아가고 있다. 하지만 완전한 fault tolerance는 아직 실험적·공학적 난제를 다수 안고 있기에 방정호 교수 연구팀은 여기서 “완전한 fault tolerance를 향해 가는 것도 좋지만, NISQ 안에서 우리가 해결할 수 있는 문제들의 폭을 어떻게 넓힐 수 있을까?” 로 질문의 핵심을 바꾸고자 한다.

그리고 이 질문에 대해 방정호 교수가 내놓은 답은 양자-고전 하이브리드 알고리즘이다. 이는 양자 회로를 단독으로 깊게 실행하는 대신, 고전적 최적화 루프와 결합하여 반복적으로 파라미터를 조정하는 구조를 갖는다. 특히 variational hybrid approach는 NISQ 환경에서 현실적으로 구현 가능한 구조로 평가된다. 파라미터화된 양자 회로를 기반으로 하는 QNN은 클래식 모델이 잡아내지 못하는 분포적 구조를 양자 상태/측정 확률로 표현한다.

해당 모델의 성능 검증을 위해 현재 연구팀은 의료 데이터셋을 활용한 시뮬레이션 실험을 진행하고 있다. 당뇨병 및 파킨슨병 관련 데이터셋을 기반으로 고전적 모델과의 비교를 통해 성능을 검증하는 단계다. 물론 이는 아직 하드웨어 수준의 대규모 실행이 아니라 시뮬레이션 기반 접근이지만, 실제 적용 가능성을 탐색하는 초기 연구로서 의미를 가진다.

이미지 확대보기

“얼마나 좋은지”를 어떻게 정의할 것인가

뿐만 아니라 기존 모델과의 더욱 엄밀한 비교를 위해 연구팀은 diamond norm의 계산 비용이 매우 높고, 실제 하드웨어 환경에서 직접 추정하기 어렵다는 한계를 인식하고 average fidelity/infidelity뿐만 아니라 fidelity deviation을 도입하는 방법을 함께 활용하고 있다.

기존의 랜덤 서킷 기반 벤치마킹은 평균적인 오류율 추정에는 효과적이지만, 이러한 상태·회로 의존적 편차나 worst-case 성능을 충분히 반영하지 못한다는 한계가 있다. 연구팀은 이러한 문제의식을 공유하기에 평균 fidelity뿐 아니라 성능 분산까지 함께 고려할 수 있는 새로운 평가 방법론을 준비하고 있다. 양자 회로의 성능 평가는 자연스럽게 worst-case 동작에 대한 고려로 이어질 수밖에 없기에, 하나의 유니터리 연산이 가해졌을 때 두 게이트 사이에 유도되는 채널 차이를 분석하고자 하는 것이다. 이는 알고리즘 실행 환경에서는 특정 입력 상태나 회로 구조에 따라 오류의 영향이 비균등하게 나타날 수 있기 때문이다.

실생활에서의 응용

연세대학교 퀀텀 이니셔티브(YQI)의 연구는 컴퓨터 설계와 알고리즘 개발에만 머물지 않는다. YQI는 작년 9월 킥오프 이후 연세대학교 의과대학과 협력하여 ARPA-H 기반 신약 개발 플랫폼 사업을 수행 중이다. 양자 머신러닝과 AI 플랫폼을 결합해 분자 설계 및 신약 개발 문제를 다루는 것이 핵심이다. 현재는 고전 상태벡터 시뮬레이션의 메모리 요구량이 지수적으로 증가하기 때문에 메모리 제한으로 인해서 13~14 큐비트만 넘어도 계산이 어려울 때가 있어서 IBM Quantum 자원을 활용해 용량을 늘리는 방법과 알고리즘을 개선하는 방법 두 가지를 전부 고려해보고 있다고 조경호 박사는 말한다. 전 세계적으로 머신러닝 기반 신약 개발은 최근 수년간 빠르게 성장해 왔다. 양자 계산을 결합한 접근은 아직 초기 시뮬레이션 단계지만, 가능성을 탐색하는 시도가 점차 확대되고 있다는 점은 주목해 볼 만하다.

양자 시대를 이끌어갈 이들이 가져야 할 태도

방정호 교수는 평소 연구를 떠받치는 사람의 태도 역시 중요하다고 입버릇처럼 말하곤 한다. 조경호 박사는 교수님께서는 차세대 인재에게 필요한 역량으로 “얼마나 배우고 싶은가”를 가장 먼저 꼽는다고 강조한다. 양자역학을 얼마나 많이 알고 있는지보다, 새로운 개념을 끝까지 붙들고 이해하려는 태도가 더 중요하다는 것이다.

연구실에는 다양한 전공 배경을 가진 구성원들이 모여 있으니만큼 선형대수학과 자연과학대 학부 수준의 기초가 갖춰져 있다면, 출신 전공 자체는 크게 문제가 되지 않는다. 단순히 Python 코드로 Qiskit이나 PennyLane을 다룰 줄 안다고 해서 양자 전문가가 되는 것은 아니다 보니, 도구를 사용하는 능력뿐만 아니라 개념을 이해하는 능력을 중시해야 한다고 말한다. 기초적인 수학·물리적 이해 위에서 스스로 질문을 확장해 나갈 수 있다면, 전문성은 연구 과정 속에서 충분히 쌓아갈 수 있다는 설명이다.

완전한 오류 정정이 구현되지 않은 NISQ 시대, 양자컴퓨팅은 여전히 과도기의 기술로 평가된다. 그러나 방정호 교수 연구실은 이 과도기 자체를 연구의 출발점으로 삼아, 현재 가능한 전략과 평가 방법을 모색하고 있다. 끊임없는 열정의 샘을 기반 삼아 새로운 질문을 던지고, 평가 방식을 재구성하며, 다양한 분야에 대한 응용 가능성과 한정된 자원으로 가능한 영역을 확장하려는 시도는 분명 진행 중이다. 이러한 연구의 축적은 한국 양자정보학계를 비롯한 국내 연구 공동체의 지속적인 관심과 논의 속에서 더욱 구체적인 방향성을 갖춰갈 것으로 기대된다.