일반적인 비디오 출력의 경우에는 GPU에서 처리된 비디오 데이터를 HDMI나 DP같은 비디오전송용 프로토콜로 모니터로 바로 보내는 식으로 이루어진다.

그래서 해상도가 높아질수록 당연히 요구되는 인터페이스의 대역폭도 커짐.

근데 SideCar의 경우엔 다르다. 일단 기본적으로 맥에서 처리된 비디오 데이터를 아이패드로 보내서 아이패드를 모니터삼는건 똑같다. 하지만 다른 점이 하나 있으니, 아이패드는 비디오input이 안된다는거다. 즉 아이패드는 기본적으로 외부모니터로 사용이 불가능함.

그렇다면 어떻게 SideCar을 쓸 것인가? 애플 플랫폼에는 AirPlay라는 독자적인 무선 스트리밍 프로토콜이 존재한다. 그리고 이 AirPlay는 기본적으로 무손실 방식이다. 오케이, 그러면 일단 맥에서 아이패드로 비디오 데이터를 쏴줄 방법 자체는 이미 존재했던 것이다.

그렇다면 두번째 문제, 어떻게 아이패드의 고해상도에 맞는 영상데이터를 지연없이 무선으로 쏠 것인가? 그것도 비디오 소스 스트리밍도 아닌 실시간 미러링을?  

패드프로3세대 기준으로 계산해보면 패드프로3세대를 맥의 보조모니터로 사용하기 위해선 초당 335,708,160픽셀 가량의 영상데이터를 실시간으로 전송해줘야 한다. 이정도면 307,200,000픽셀 가량의 영상데이터를 보낼 수 있는 HDMI 1.3으로도 버거운 수준이다. SideCar가 오디오출력은 안되고 비디오출력만 되니 영상데이터 기준으로만 환산해도 최소 초당3기가비트 단위로 처먹고 들어가는 수준이다. 물론 이건 단순 픽셀수x프레임으로 대충 계산한거고 색심도까지 계산하면 뭐....

번들케이블이라 해봐야 usb2.0정도고 이론상 속도는 450mbps, 실제 속도는 280mbps수준이다. 즉 영상용으론 씨알도 안먹히는 수준이다. usb3.0정도는 되야 hdmi 1.0의 이론속도에 겨우 비비는 수준이다. 게다가 무선으로 가면 더더욱 힘들다. 

그럼 어떻게 네이티브 해상도로 펜슬신호 입출력까지 받아가며 비디오출력을 할 수 있을것인가? 뭐 어쩌긴 어째 그냥 맥에서 압축한 다음 아이패드로 쏴버리면 그만이지.

그래서 SideCar는 HEVC를 이용한다. 280mbps로도 어느정도 소화가 가능한 수준으로 영상데이터를 실시간으로 압축해서 아이패드로 쏴주는 셈이다.

여기서 SideCar가 스카이레이크 이후의 맥부터 지원하는 이유가 밝혀진다. SideCar를 온전히 쓰려면 hevc전용 가속기가 필요하거든. ㅇㅇ 

즉 SideCar는 하드웨어가속기로 영상데이터 압축 -> 무선 혹은 유선으로 아이패드로 전송 -> 압축된 영상데이터 풀기 -> 출력 순으로 이 과정을 초당 60번씩 실시간으로 끊임없이 처리해주는 식으로 작동되는 셈이다.