[5편] 자율주행 자동차로 보는 피지컬 AI의 실시간 판단 매커니즘

[적용 편]의 첫 문을 열 주제는 피지컬 AI 기술의 가장 치열한 전장이자, 집약체라고 할 수 있는 '자율주행 자동차'입니다. 우리가 매일 뉴스에서 접하는 자율주행 차량은 사실 거대한 바퀴가 달린 고성능 피지컬 AI 컴퓨터와 같습니다.

일반적인 AI라면 운전 시뮬레이션 게임 안에서 수천 번 사고가 나도 버튼 하나로 재시작하면 그만입니다. 하지만 현실 도로 위의 자율주행차는 단 한 번의 판단 착오나 0.1초의 지연만으로도 인명 사고라는 돌이킬 수 없는 결과를 초래합니다. 시속 60km, 혹은 100km로 달리는 거대한 쇳덩어리 속에서 피지컬 AI는 과연 어떤 단계를 거쳐 도로 위의 수많은 변수를 실시간으로 판단하고 제어하는 걸까요? 운전석에 앉은 인공지능의 두뇌 속으로 함께 들어가 보겠습니다.

## 1. 인지(Perception): 360도 주변 환경의 실시간 디지털화

자율주행 피지컬 AI의 첫 번째 단계는 '인지'입니다. 앞서 3편과 4편에서 다루었던 센서와 컴퓨터 비전 기술이 총동원되는 단계입니다. 차량에 장착된 수많은 카메라, 라이다(LiDAR), 레이더(Radar)는 인간 운전자가 고개를 돌려 보는 것보다 훨씬 빠르고 정밀하게 사방 360도의 환경을 감시합니다.

이 단계에서 AI는 단순히 "앞에 물체가 있다"를 넘어, 그 물체의 정체를 정확히 분류해야 합니다. '무단횡단을 하려는 보행자', '바람에 날리는 비닐봉지', '공사 현장의 안전 고깔(라바콘)', '주차된 차량' 등을 명확히 구별하는 것입니다.

과거 초창기 자율주행 테스트 차량을 타보았을 때, 도로 옆에 세워진 사람 크기의 입간판을 실제 사람으로 오인해 갑자기 급브레이크를 밟는 '유령 제동(Phantom Braking)' 현상을 경험한 적이 있습니다. 가상 세계에서는 발생하지 않는 현실 데이터의 변수 때문이었습니다. 현재의 피지컬 AI는 이러한 인지 오류를 줄이기 위해, 여러 센서의 데이터를 하나로 합성하여 신뢰도를 높이는 '센서 퓨전(Sensor Fusion)' 기술을 극한으로 끌어올려 주변 환경을 완벽한 3D 디지털 공간으로 복원해 냅니다.

## 2. 예측 및 판단(Prediction & Planning): 인간의 마음과 물리 법칙을 읽는 단계

주변 상황을 인지했다면, 다음은 가장 어려운 영역인 '예측'과 '판단'입니다. 자율주행차가 도로에서 마주치는 생명체들은 가만히 서 있지 않습니다. 움직이는 사물들의 '다음 행동'을 예측해야만 안전한 경로를 짤 수 있습니다.

예를 들어, 자율주행 AI는 전방 우측에서 달리는 자전거를 인지하면, 그 자전거가 도로 패인 곳을 피하기 위해 갑자기 안쪽으로 진로를 변경할 가능성까지 확률적으로 계산합니다. 또한 앞에 가는 버스가 비상등을 켜고 멈추면, 버스 앞 가려진 시야에서 보행자가 튀어나올 수 있다는 맥락적 예측까지 수행합니다.

이 예측을 바탕으로 AI는 '경로 기획(Trajectory Planning)'을 합니다. 초당 수십 번씩 "오른쪽 차선으로 변경할 것인가?", "속도를 줄이고 버스 뒤에 대기할 것인가?" 같은 최적의 주행 궤적을 수학적으로 계산하는 것입니다. 이 과정에서 승차감을 위한 가속도 제약, 도로의 곡률, 노면의 마찰력 같은 물리적 한계 조건들이 실시간 방정식으로 계산됩니다.

## 3. 제어(Control): 아날로그 하드웨어로의 완벽한 명령 하달

판단이 끝났다면 마지막 단계는 '제어'입니다. 계산된 최적의 주행 궤적을 차량의 실제 근육, 즉 조향 장치(핸들)와 구동/제동 장치(액추에이터)의 움직임으로 변환하는 과정입니다.

"우측으로 15도 조향하고, 브레이크 압력을 20% 주어라"라는 디지털 명령이 내려오면, 차량의 모터와 유압 시스템이 물리적인 힘을 만들어냅니다. 여기서 피지컬 AI의 무서움이 드러납니다. 마른 아스팔트 도로에서 브레이크를 20% 밟는 것과, 비가 오거나 눈이 내린 미끄러운 도로에서 20% 밟는 것은 완전히 다른 결과를 낳기 때문입니다.

따라서 자율주행 제어 AI는 명령을 내리는 동시에, 바퀴가 미끄러지는지(슬립 현상), 차량이 원하는 궤적에서 벗어나는지를 센서로 실시간 모니터링하며 모터의 토크를 미세하게 조절합니다. 이러한 '인지-예측-판단-제어'의 전 과정이 단 0.01초에서 0.1초 사이에 끊임없이 반복되면서, 비로소 부드럽고 안전한 자율주행이 완성되는 것입니다.

## 핵심 요약

자율주행 피지컬 AI는 '인지 -> 예측 및 판단 -> 제어'의 3단계 폐루프 메커니즘을 통해 실시간으로 작동한다.
인지 단계에서는 센서 퓨전을 통해 주변의 날것(Raw) 데이터를 정밀한 3D 디지털 공간 정보로 변환한다.
예측/판단 단계에서는 주변 사물의 미래 행동 확률과 현실의 물리 법칙을 고려해 최적의 주행 궤적을 계산하며, 제어 단계에서 이를 차량 하드웨어의 물리적 힘으로 출력한다.