支持 8 亿+月活跃用户的 Instagram,是如何优化 Python 内存的

所属专题:编程语言实战

嘉宾 : 李泽昆 | Instagram 基础架构部门工程师

会议室 : 宴会厅1

讲师介绍

专题演讲嘉宾:李泽昆

Instagram 基础架构部门工程师

2016 年加入 Instagram efficiency and reliability 组,专注于服务器性能优化、瓶颈分析及可扩展性,多个项目累计实现服务器端 >50% CPU 优化。 感兴趣领域广泛,包括 Python VM,异步框架,内存优化等。

议题介绍

演讲:支持 8 亿+月活跃用户的 Instagram,是如何优化 Python 内存的

Instagram 的服务器使用 Python 语言开发,支持 8 亿多月活跃用户,是世界上规模最大的 Python 部署之一。在 Instagram,并发计算基于多进程,而非多线程。在这种模型下,内存的利用率至关重要。也就是说,每个进程使用的内存越少,并行度越高,进而系统的整体容量就更高。

在本次演讲中,我们先来了解 Instagram 是如何分析 Python 内存使用情况的,从分析数据能得到哪些有用的洞察,这些洞察又是如何帮助提升 Instagram 服务器性能的。我们将分享优化和改进 Python 垃圾回收过程中积累的经验。

 

Instagram server is one of the biggest Python deployments in the world to support more than 800M active users. At Instagram, the computing parallelism is based on multi-processing instead of threading. Memory utilization becomes critical in such model, i.e., with less memory per process, we are able to improve the parallelism hence overall capacity. In this talk, we will start with how Python memory profiling is done at Instagram, what useful insights we got from memory profiling data, and how such insights turned into efficiency wins for Instagram servers. We are also going to share our learnings from tuning and improving Python memory garbage collection.

交通指南

© 2020 Baidu - GS(2019)5218号 - 甲测资字1100930 - 京ICP证030173号 - Data © 长地万方