안녕하세요? 오늘은 AI 자율 주행에 대해서 공부를 해보겠습니다.
구현과 실험을 하기 보다는 자율 주행에 대해서 최신 트렌드 분석과 개념에 대해서 정리를 해볼까 합니다.
정리해보니, 오늘 블로그는 글이 살짝 깁니다...!
전체 흐름은
"개요 → 작동 원리 → 최신 동향 → 센서 → 인지 알고리즘 → 위치 인식 → 판단/계획 → 난제 → SAE 레벨 → 시뮬레이션" 순서로 진행합니다.
그럼 시작해볼게요!
1. 개념 정리 요약
AI 자율주행은 차량의 카메라 및 센서 데이터를 인공지능이 실시간으로 수집·학습하여, 인간의 개입 없이 스스로 주변 환경을 인식, 판단, 제어해 목적지까지 안전하게 주행하는 핵심 모빌리티 기술입니다.
핵심 작동 원리
자율주행 인공지능은 크게 세 가지 단계를 거쳐 작동하며, 최근에는 이 과정을 하나로 통합한 모델로 진화하고 있다.
- 인지 (Sense): 카메라, 라이다(LiDAR), 레이더 등 다양한 센서를 통해 주변 환경, 보행자, 도로 표지판 등의 데이터를 실시간으로 수집한다.
- 판단 (Think): 수집된 방대한 데이터를 AI가 분석하여 전방 상황을 예측하고, 주행 경로와 속도를 결정한다.
- 제어 (Act): 판단한 결과를 바탕으로 조향 장치(핸들), 가속, 제동 장치를 정밀하게 조작하여 차량을 움직인다.
최신 기술 동향 및 특징
- E2E(End-to-End) AI 모델 도입: 기존에는 인지와 판단을 각각의 규칙으로 처리했으나, 최근에는 카메라 영상 입력부터 차량 제어까지 AI가 사람처럼 한 번에 스스로 학습하고 행동하는 End-to-End 방식이 대세로 자리 잡고 있다.
- 추론 근거 제공: 자율주행 AI의 블랙박스(의사결정 과정 불투명) 문제를 해결하기 위해, AI가 왜 그런 주행 경로를 선택했는지 근거를 설명해주는 리즈닝(Reasoning) 모델 기술도 발전하고 있다.
- 모빌리티 융합: 단순한 자가용을 넘어 자율주행 셔틀, 배송 로봇, 중장비 등 다양한 산업으로 활용 범위가 넓어지고 있으며, 운전자의 졸음 감지 및 차량 제어를 돕는 AI 비서 기능이 결합되고 있다.
여기까지가 일반 검색으로 나오는 간단한 개념입니다. 저는 더 딥하게 들어가보겠습니다.
2. 센서 기술 상세
자율주행의 인지단계는 결국 센서의 성능과 조합에 의해 결정된다. 각 센서는 고유한 강점과 한계를 가지고 있기 때문에, 단일 센서만으로는 안전한 자율주행이 불가능하다.
- 카메라(Camera): RGB 이미지를 통해 색상, 텍스처, 차선, 표지판, 신호등 등 시각 정보를 인식한다. 해상도가 높고 비용이 저렴하지만, 깊이(거리) 정보를 직접 측정할 수 없고, 역광·야간·악천후에 취약하다.
- 라이다(LiDAR): 레이저 펄스를 발사해 반사되어 돌아오는 시간(Time of Flight)을 측정하여 3D 포인트 클라우드를 생성한다. 정밀한 거리·형상 정보를 제공하지만, 비용이 높고 비·안개에 산란이 발생한다.
- 레이더(Radar): 전파를 이용해 물체의 거리와 속도(도플러 효과)를 동시에 측정한다. 악천후에도 안정적이지만 해상도가 낮아 물체의 형태를 구분하기 어렵다.
- 초음파(Ultrasonic): 근거리(수 미터 이내) 장애물 감지에 사용된다. 주차 보조 등 저속 상황에 적합하지만 감지 범위가 매우 짧다.
센서 퓨전 (Sensor Fusion)
각 센서의 약점을 상호 보완하기 위해, 여러 센서 데이터를 통합하는 것을 센서 퓨전이라 한다. 퓨전 방식은 크게 세 가지로 나뉜다.
- Early Fusion: 원시 데이터(raw data) 단계에서 합친다. 예를 들어 카메라 이미지와 라이다 포인트 클라우드를 하나의 입력으로 결합한다. 정보 손실이 적지만 데이터 정렬(calibration)이 까다롭다.
- Late Fusion: 각 센서가 독립적으로 인식 결과(바운딩 박스, 분류 등)를 내놓은 뒤, 그 결과를 통합한다. 구현이 단순하지만 센서 간 상호 보완 효과가 제한적이다.
- Mid-level Fusion: 각 센서에서 추출한 특징(feature)을 중간 단계에서 결합한다. 정보 보존과 구현 복잡도 사이의 균형을 잡는 방식으로, 최근 연구에서 가장 활발히 쓰이고 있다.
여기서 흥미로운 점은, 테슬라는 라이다 없이 카메라만으로 자율주행을 구현하겠다는 "Vision-Only" 전략을 고수하고 있다는 것이다. 이는 비용 절감과 양산성 측면에서 장점이 있지만, 깊이 추정을 전적으로 AI에 의존해야 하므로 기술적 난이도가 높다. 반면 웨이모는 6세대 시스템에서도 라이다+카메라+레이더 다중 센서 퓨전 방식을 유지하고 있다. 다만 흐름이 바뀌고 있는데, 현대차가 2025년부터 라이다 기반 프로젝트를 중단하고 카메라 중심으로 전환하는 등, 업계 전반적으로 Vision-Only 쪽에 무게가 실리는 추세다. 어떤 접근이 최종 정답이 될지는 아직 결론나지 않았지만, 비용과 양산성 측면에서 카메라 중심 접근이 점점 설득력을 얻고 있다.
2026년 현재 상황 요약:
- 테슬라: 2026년 현재까지도 카메라 비전(Vision) 중심의 자율주행 시스템을 고수하고 있다. 라이다나 고가의 센서 대신 8개의 카메라를 통해 주변 환경을 인식하는 방식이다. Getcha
- 웨이모: 여전히 라이다를 유지하고 있다. 6세대 로보택시는 카메라 13대, 라이다 4대, 레이더 6대, 외부 오디오 수신기(EAR)로 구성된 센서 스위트를 탑재하고 있다. 다만 5세대 대비 센서를 대폭 축소하면서도 성능을 향상시켰는데, 카메라는 29개에서 13개로, 라이다는 5개에서 4개로 줄이면서 원가 절감에 집중했다. DaumLeadeconomy
- 현대차 (새로운 변화): 현대자동차가 자율주행 개발 전략을 '라이다 방식'에서 '카메라 방식'으로 전환했다. 2024년 말부터 자율주행 사업부 내 라이다 기반 프로젝트를 사실상 중단하고, 카메라 기반 자율주행 개발에 역량을 집중하고 있는 것으로 확인됐다. Thelec
3. 인지(Perception) 핵심 알고리즘
센서가 수집한 데이터에서 의미 있는 정보를 추출하는 것이 인지 단계의 핵심이다.
참고로 컴퓨터 비전(CV)과 OCR을 공부할 때 많이 마주쳤던 내용들이 많았다. 객체 탐지, 시맨틱 분할, 깊이 추정 등은 결국 CV의 핵심 태스크들이고, 자율주행은 이것들을 실시간·고정밀도로 요구하는 응용 분야라는 점에서 연결된다.
객체 탐지 (Object Detection)
이미지나 포인트 클라우드에서 차량, 보행자, 자전거 등의 위치(바운딩 박스)와 클래스를 식별한다.
- 2D 객체 탐지: 이미지 상에서 2D 바운딩 박스를 예측한다. YOLO 계열, SSD 등이 대표적이며, 실시간 처리 속도가 중요한 자율주행에서는 경량화된 모델이 선호된다.
- 3D 객체 탐지: 물체의 3D 위치, 크기, 방향(heading)까지 추정한다. 라이다 기반(PointPillars, CenterPoint)과 카메라 기반(BEVFormer, DETR3D) 방식이 있다.
여기서 주목할 것은 BEV(Bird's Eye View) 표현이다. 카메라 이미지를 위에서 내려다본 시점으로 변환하여 3D 공간을 2D 평면에 표현하는 방식인데, 이렇게 하면 여러 카메라의 정보를 하나의 통합된 공간에서 처리할 수 있어 최근 인지 모델의 핵심 표현 방식으로 자리 잡았다.
시맨틱 분할 (Semantic Segmentation)
이미지의 모든 픽셀에 클래스 라벨(도로, 보행자, 건물 등)을 부여한다. 실습 폴더의 segmentation 데이터가 바로 이 결과물이다. 대표 모델로는 U-Net, DeepLab 시리즈, SegFormer 등이 있다.
- 인스턴스 분할(Instance Segmentation): 시맨틱 분할에서 한 걸음 더 나아가, 같은 클래스 내에서도 개별 객체를 구분한다. 예를 들어 "차량" 클래스 안에서 차량 A, 차량 B를 분리한다.
- 파노라마 분할(Panoptic Segmentation): 시맨틱 분할 + 인스턴스 분할을 통합한 것이다. 도로, 하늘 같은 배경(stuff)은 시맨틱으로, 차량, 보행자 같은 객체(thing)는 인스턴스로 동시에 처리한다.
깊이 추정 (Depth Estimation)
카메라 이미지로부터 각 픽셀의 깊이(거리)를 추정하는 기술이다. 실습에서는 이미 주어진 depth 데이터를 사용하지만, 실제 자율주행에서는 이 깊이 정보를 어떻게 얻느냐가 중요한 문제다.
- 스테레오 매칭: 두 대의 카메라(좌·우)로 촬영한 이미지의 시차(disparity)를 이용해 깊이를 계산한다. 인간의 양안 시각과 같은 원리다.
- 단안(Monocular) 깊이 추정: 카메라 한 대의 이미지만으로 깊이를 추정한다. 물리적 단서가 부족하므로 딥러닝이 필수적이며, MiDaS, Depth Anything 등의 모델이 있다.
4. 위치 인식과 지도 (Localization & Mapping)
차량이 "지금 내가 어디에 있는가"를 아는 것은 자율주행의 전제 조건이다.
- GPS/GNSS: 위성 기반 위치 측정. 일반 GPS는 수 미터의 오차가 있어 자율주행에는 부족하다. RTK-GPS를 사용하면 센티미터 수준의 정밀도를 달성할 수 있다.
- HD Map (고정밀 지도): 차선 위치, 도로 경계, 신호등 좌표 등이 센티미터 단위로 기록된 지도다. 차량의 센서 인식 결과를 HD Map과 대조하면 정밀한 위치 보정이 가능하다. 다만 지도 구축·유지 비용이 매우 높다는 문제가 있다.
- SLAM (Simultaneous Localization and Mapping): 지도를 미리 갖고 있지 않은 상태에서, 센서 데이터를 이용해 지도를 만들면서 동시에 자신의 위치를 추정하는 기술이다. Visual SLAM(카메라 기반)과 LiDAR SLAM이 있다.
최근 E2E 자율주행에서는 HD Map 의존도를 줄이려는 "Mapless" 접근도 연구되고 있다. 지도 없이도 실시간 센서 데이터만으로 주행하겠다는 방향인데, 지도 업데이트 비용 문제를 근본적으로 해결할 수 있는 반면 인지 모델의 부담이 크게 증가한다.
5. 판단과 계획 (Planning & Decision Making)
인지가 "무엇이 있는가"라면, 판단은 "어떻게 움직일 것인가"에 해당한다.
- 경로 계획 (Path Planning): 출발지에서 목적지까지의 전체 경로를 결정한다. A* 알고리즘, RRT(Rapidly-exploring Random Tree) 등 그래프 탐색 기반 방법이 전통적으로 쓰인다.
- 행동 계획 (Behavior Planning): 차선 변경, 좌회전, 양보 등 상황별 행동 전략을 결정한다. 규칙 기반(Rule-based)에서 점차 학습 기반(강화학습, 모방학습)으로 전환되고 있다.
- 모션 계획 (Motion Planning): 결정된 행동을 실제 차량의 운동학적 제약(최소 회전반경, 가감속 한계 등)에 맞춰 구체적인 궤적(trajectory)으로 변환한다.
이 세 단계가 순차적으로 보이지만, 실제 시스템에서는 서로 밀접하게 연결되어 있다. 예를 들어 옆 차선의 차량이 끼어들려는 상황에서는, 인지 결과가 바뀌는 순간 행동 계획과 모션 계획이 즉시 재계산되어야 한다.
6. 핵심 기술적 난제
엣지 케이스 (Edge Case)
학습 데이터에 거의 등장하지 않는 희귀한 상황을 의미한다. 도로 위의 낙하물, 역주행 차량, 공사 구간의 임시 차선 등이 대표적이다. 자율주행 AI가 일반적인 상황에서 99%의 정확도를 달성하더라도, 이 1%의 엣지 케이스에서 사고가 발생할 수 있다는 점이 상용화의 가장 큰 장벽이다.
적대적 공격 (Adversarial Attack)
인간의 눈에는 보이지 않는 미세한 노이즈를 이미지에 추가하여 AI의 판단을 교란하는 공격이다. 예를 들어 정지 표지판에 특정 스티커를 붙이면 AI가 속도 제한 표지판으로 오인식하는 사례가 연구로 보고된 바 있다. 자율주행 시스템의 보안 측면에서 반드시 고려해야 할 문제다.
날씨 및 환경 변수
폭우, 폭설, 안개, 강한 역광 등은 카메라와 라이다 모두에 성능 저하를 일으킨다. 특히 라이다는 비와 안개에 의한 레이저 산란으로 노이즈가 급증하고, 카메라는 물방울·눈에 의해 시야가 가려진다. 이런 악조건에서도 안정적으로 동작하는 강건한(Robust) 인지 시스템을 만드는 것이 중요한 과제다.
7. 자율주행 레벨 (SAE 기준)
자율주행 기술의 수준을 구분하는 국제 표준으로, SAE(미국자동차공학회)가 정의한 6단계가 있다.
- Level 0 (비자동화): 모든 주행을 인간이 담당한다. 자동화 기능 없음.
- Level 1 (운전자 보조): 조향 또는 가감속 중 하나를 시스템이 보조한다. 크루즈 컨트롤, 차선 유지 보조 등.
- Level 2 (부분 자동화): 조향과 가감속을 동시에 시스템이 수행하지만, 운전자가 항상 주시하고 있어야 한다. 테슬라 오토파일럿, 현대 HDA2 등이 여기에 해당한다.
- Level 3 (조건부 자동화): 특정 조건(고속도로, 저속 정체 등)에서 시스템이 모든 주행을 담당하며, 운전자는 시스템 요청 시에만 개입한다. 메르세데스-벤츠 Drive Pilot이 세계 최초로 Level 3 인증을 받았다.
- Level 4 (고도 자동화): 정해진 운행 범위(ODD) 내에서 인간 개입 없이 완전 자율주행이 가능하다. 웨이모의 로보택시가 특정 지역에서 이 수준으로 운영되고 있다.
- Level 5 (완전 자동화): 모든 도로, 모든 조건에서 인간 개입이 전혀 필요 없다. 아직 실현된 사례가 없다.
현재 상용화의 주력은 Level 2~3이며, Level 4는 제한된 지역에서 시범 운영 중이다. Level 2와 3 사이의 간극이 기술적으로 매우 크다. Level 2까지는 "인간이 책임지고 시스템이 보조"하지만, Level 3부터는 "시스템이 책임지고 인간은 대기"로 책임 주체가 뒤바뀌기 때문이다.
8. 시뮬레이션과 데이터셋
자율주행 AI를 학습시키려면 방대한 양의 주행 데이터가 필요한데, 실제 도로에서 모든 상황을 수집하는 것은 비용과 안전 측면에서 비현실적이다. 그래서 시뮬레이션 환경이 핵심적인 역할을 한다.
- CARLA: 오픈소스 자율주행 시뮬레이터. 실습 폴더의 데이터가 이 환경에서 생성된 것으로 추정된다. 다양한 날씨, 교통 상황을 설정할 수 있고 센서 데이터(RGB, depth, segmentation)를 자동 생성한다.
- 주요 공개 데이터셋: nuScenes(라이다+카메라 360° 통합), KITTI(스테레오 카메라+라이다, 벤치마크의 고전), Waymo Open Dataset(대규모, 다양한 도시 환경) 등이 연구에 널리 쓰인다.
시뮬레이션의 핵심 한계는 "Sim-to-Real Gap"이다. 시뮬레이션에서 학습한 모델이 실제 도로에서 동일한 성능을 보장하지 못하는 문제로, 도메인 적응(Domain Adaptation), 도메인 랜덤화(Domain Randomization) 등의 기법으로 이 격차를 줄이려는 연구가 활발하다고 한다.
9. 마무리
오늘 자율주행 AI의 개념과 최신 트렌드를 쭉 정리해봤다. 솔직히 글로만 정리해봤자 감이 잘 안 잡힌다. "아~ 그렇구나" 정도였다.
그래서 다음 블로그에서는 직접 실습 코드를 작성하면서 센서 데이터가 어떻게 처리되는지, 점유격자나 차선 추정이 실제로 어떤 느낌인지 확인해보려고 한다.
오늘 느낀 점은 딱 한 가지다. "와 재밌겠는데?"