苹果随航：明明没有插线，为什么 iPad 当副屏还能这么丝滑？

用过 Mac 加 iPad 组合的朋友，多半听说过随航（Sidecar） 这个功能。不用买新显示器，无线就能把 iPad 变成 Mac 的第二块屏幕，还能用 Apple Pencil 直接在 iPad 上画画、标记文档。很多人第一次体验都会感慨：明明没有数据线直连，滑动窗口、拖动光标几乎感受不到延迟，这种 “无感” 流畅到底是怎么做到的？

把 iPad 当副屏，早在苹果之前就有人做过

很多人以为 iPad 充当 Mac 副屏是苹果首创，其实早在 2010 年第一代 iPad 刚发售的时候，就已经有第三方 App 尝试实现这个想法。

早期的 iDisplay、Air Display，思路很简单：在 Mac 装驱动虚拟出一块屏幕，再通过 Wi‑Fi 把画面传给 iPad。但当年体验堪称灾难：设置繁琐、连接容易断开，操作之后要等好几秒画面才会动，只适合当做新奇玩具，根本没法拿来干活。

后来又出现了 Duet Display，改用数据线传输，号称 “零延迟 60 帧”。可它并不是真正把 iPad 当成显示器，依旧是软件虚拟画面再传输，会大量占用电脑 CPU，老 Mac 依旧会卡顿、画面出现花屏伪影。

这些第三方工具都踩了同一个大坑：无线传输带宽有限，原始屏幕画面的数据量实在太大了。一块 iPad Pro 屏幕，60 帧每秒刷新，原始画面一秒的数据量接近 1GB，普通 Wi‑Fi 根本扛不住这么庞大的数据洪流。

直到 2019 年 WWDC，苹果正式推出系统原生的随航功能，把这项能力直接写进 macOS 和 iPadOS 里，体验才真正实现质的飞跃。

一帧画面，从 Mac 跑到 iPad 要经历四步

随航的画面流转，一共分为四步：虚拟屏幕渲染、画面编码压缩、网络传输、iPad 解码显示。第三方软件也能做到虚拟屏幕渲染，但苹果的厉害之处，在于后面三步软硬件全套打通优化。

简单理解：Mac 先虚拟一块 iPad 大小的屏幕，电脑照常绘制窗口界面；但画面不发给真实显示器，而是压缩变小，通过 Wi‑Fi 传给 iPad；iPad 收到之后解压还原，显示出来。

关键难题就在压缩环节。 如果直接把原始画面往外送，无线直接就堵死。随航的解决办法，就是把屏幕画面当成实时直播视频流，使用 HEVC（又叫 H.265）编码做压缩，肉眼几乎看不出画质损失，数据体积却能压缩到原来的 2% 左右。

接近 99% 的体积被压缩掉，这就是「猜」的价值（示意图）

HEVC 编码，它的核心就是 “学会猜画面”

HEVC 的逻辑，通俗来讲就是：不把每一个像素完整记录下来，尽量利用画面里重复的内容，只记录变化的部分。

画面分块处理 把一整张屏幕画面切成许许多多大小可变的小方块。墙面、纯色菜单栏这种简单区域，就用大块；文字、图标、物体边缘细节多，就切成更小的方块精细处理。不搞一刀切，哪里简单哪里复杂区别对待。
帧内预测：一张画面内部找相似 同一帧画面里，天空渐变、纯色背景，相邻区域颜色差不多。编码器直接参考旁边已经处理完的色块，推算出这一块该是什么颜色，不用把每一个像素全部写下来。
帧间预测：前后帧之间找重复 电脑桌面绝大多数时候，画面不会翻天覆地。只是光标移动、窗口拖动，大部分背景纹丝不动。编码器会对比上一帧画面：这块画面只是挪了一点点位置，那就只记录 “它移动了多少”，不用重新把整块画面再传一遍。这就是运动估计。
记录 “猜错” 的部分：残差 预测不可能百分百准确。编码器会对比 “猜出来的画面” 和真实画面，把两者之间不一样的差值（残差）单独记录。最后只需要传输预测规则 + 少量差值数据，就可以复原完整画面。

原画面减去预测画面，剩下的残差才是真正要传送的信息（示意图）

根据参考方式不同，画面还分成 I 帧、P 帧、B 帧：

I 帧：完整独立画面，不需要参考别的画面，数据最大，相当于视频的快照；
P 帧：参考前面已经出现过的画面；
B 帧：同时参考前后画面，压缩效率最高。

一整套组合起来，就做到：画质几乎不变，传输的数据量大幅缩水，Wi‑Fi 才能跟得上实时画面输出。

第三方软件同样可以调用 HEVC 编码，但大多只是软件层面跑算法。苹果随航直接调用芯片内置硬件编解码单元，CPU 负担更低，延迟控制会好很多。

光靠编码还不够，整套链路都要配合

编码压缩只是第一步，真正做到 “无感”，还需要软硬件深度协同。

硬件编解码加速：Mac 的芯片硬件做编码，iPad 芯片硬件做解码，不靠 CPU 硬算，保证高帧率同时不会把电脑跑满。
蓝牙 + 点对点 Wi‑Fi 配合：蓝牙负责设备发现配对，再开启设备之间直连 Wi‑Fi，不经过家里路由器，减少网络干扰。
操作反向回传：Apple Pencil、新版系统支持的手指触控，点击滑动信号，要从 iPad 快速传回 Mac，再触发窗口移动、点击，整套来回链路都要压低延迟。

也正是这套全栈优化，很多用户用过随航之后，就放弃了 Duet Display 这类付费第三方工具。