过去两年，我们服务过的制造、零售、金融类客户中，超过六成在首次搭建大数据平台时低估了存算协同的复杂度。集群上线三个月后，查询延迟从秒级劣化到分钟级的案例并不罕见。

为什么"能跑通"和"跑得好"是两回事

许多团队选型时只看基准测试的峰值吞吐，却忽略了自身数据管道的真实形态——批量ETL占比多少、即席查询并发多高、数据倾斜是否严重。这些因素直接决定架构在存算分离与存算一体之间的取舍。

部署阶段最容易踩的三个坑

• 资源调度与业务峰谷错配：YARN或K8s的队列配置未按业务优先级隔离，导致报表任务挤占实时链路。
• 元数据管理失控：Hive Metastore单点压力过大，分区数量膨胀后DDL操作阻塞。
• 冷热数据未分层：全部数据放在SSD上，成本翻倍但命中率不足30%。

智迈腾基（上海）信息技术有限公司：企业管理软件开发，大数据分析服务，IT外包运维，云平台搭建部署——在这些能力矩阵中，我们更倾向于把大数据平台视为企业IT基础设施的一部分来规划，而非孤立的技术项目。

选型对比：三条主流路线的适用边界

Lambda架构适合已有稳定批处理体系、逐步引入流计算的团队；Kappa架构对消息中间件的运维能力要求极高；而Data Mesh更适用于组织架构已经分布化的中大型企业。没有银弹，只有匹配度。

建议在POC阶段用真实业务SQL回放至少两周，重点观察 shuffle spill 和GC停顿指标，而非只看TPC-DS跑分。平台的价值最终体现在业务迭代速度上，不在跑分榜上。