今日头条User Profile系统架构实践
user profile数据需要从大量历史行为中分析和挖掘各种维度的特征,来刻画用户的兴趣偏好。今日头条架构师丁海峰介绍了今日头条user profile系统的现状、面临的问题、系统演进,以及技术架构中的关键问题。
了解更多技术专栏
user profile数据需要从大量历史行为中分析和挖掘各种维度的特征,来刻画用户的兴趣偏好。今日头条架构师丁海峰介绍了今日头条user profile系统的现状、面临的问题、系统演进,以及技术架构中的关键问题。
了解更多Poseidon系统是一个日志搜索平台,可以在百万亿条、100PB大小的日志数据中找出我们需要的数据,只需要花费几秒钟时间;同时,数据不需要额外存储,节省了大量存储和计算资源。该系统现已开源。
了解更多本话题分享自身转型过程中所经历的各阶段职场心得,从初入职场的白纸,逐渐转型成为了技术管理者的“传奇”经历,希望对正处于或即将处于转型的小伙伴们,能够起到推动、引领、借鉴的参考作用。
了解更多原有系统架构已无法满足业务快速发展及峰值应对,本次分享涉及了大规模峰值流量下高可用架构、混合云容器平台建设、多机房部署、应用性能跟踪及分析、业务技术保障等方面实践经验。
了解更多开发工具云端化已经成为提高企业开发团队开发效率的重要手段。本次演讲以Google为主要范例,讨论单根代码树,云端构建与测试,代码智能等技术与实践,分析技术挑战并讨论对其他公司的工具建设有什么启发。
了解更多不管是传统还是新兴欺诈用例的模型都可以使用该系统自动化构建,同时还提供其他一站式功能。利用该系统大大缩短PayPal离线风控模型的开发周期,已经成功将以前一周的工作周期减少为一天的时间。
了解更多Twitter对外宣布了新的分布式流计算系统Heron时,我们第一时间联系了Heron的核心开发者符茂松,深入分享了Heron的设计思路与架构之道。
了解更多在生产环境大规模使用Go语言开发服务的过程中,我们体验到了Go语言带来的在性能和开发效率上的平衡,同时也碰到了许多问题。在这里和大家分享一些最佳实践,知道了这些,或许可以构建出更加优秀的服务。
了解更多Git时代来临,百度作为一个长期使用SVN,有着数TB历史代码、过万工程师的公司,如何建设Git工具链和切换到Git时代?百度在这个历程中遇到的困难,产品建设的思考与探索,技术上挑战,架构的演进。
了解更多演讲嘉宾亲身经历过一家互联网公司从十人规模成长为千人规模的全过程,并在公司担任技术学院院长。演讲重点分享了如何打造成长型团队,帮助各位加入初创公司的技术管理者少走弯路。
了解更多京东分类列表采用Golang+Lua的全新架构,保证分类列表的稳定&快速响应。内容包括:分类列表的架构,Golang在分类列表中的检索应用,Lua在页面模板渲染使用,在使用Golang和Lua中遇到的坑。
了解更多LinkedIn从使用Splunk到建立基于ES和kafka的日志分发、索引系统,为SRE提供了近似实时的搜索平台来检索超过400多个子系统的日志。LinkedIn SRE团队高级技术经理李虓分享了这套系统从无到有的一些技术架构经验。
了解更多作为一个已经有10年历史的网站,豆瓣的服务化体系改造显得更加困难。本演讲和大家分享了豆瓣在服务化改造实践中的决策历程、经验、教训,希望可以给大家一个可供参考的案例。
了解更多现在的NewMonkey,覆盖腾讯的多个产品线,有让人信服的界面覆盖率,能做性能监控更能提出直接让开发修改的性能缺陷。这次的分享,希望告诉大家,团队是如何思考,如何做到NewMonkey测试的。
了解更多演讲主要介绍了DAL在大型综合网站中以最小侵入代价对产研开发的支持、为数据库提供主动防护的特性、对网站线上排障的支持,以及在实际应用中遇到的问题和应对措施。
了解更多本演讲分享了美团云分布式存储系统的现状,运维与测试经验,下一代万亿级分布式存储系统架构,成本控制和技术选型的思考。包括各种关键模块设计思路,以及对统一存储系统的展望。
了解更多本演讲围绕Spark在360的实践,介绍了Spark平台及发展,Spark平台在360的应用(包括搜索、安全、数据分析等业务的使用案例),以及Spark实践过程中的经验分享。
了解更多本演讲介绍了外卖商家排序在机器学习应用的演化道路上遇到的各种算法挑战。重点介绍了外卖业务下用户行为特征,构建过程中各种任务的优先取舍,业务挑战以及建模经验,技术应用方向的展望。
了解更多随着微服务化在AliExpress的全面推进,我们的服务数量在不断上升,在这个发展过程中我们逐渐总结出一些治理手段,以确保技术架构的必要一致性和研发效率的可靠性。
了解更多为大家介绍了过去三年半里主页推荐模型和特征构造的发展及收效。包括:Pinterest产品机器学习介绍;线性-迭代树-深度学习模型在主页推荐里的应用和对用户活跃度提高的效果;构造特征向量的经验和教训。
了解更多QQ空间团队在实现class替换热补丁包技术的基础上,更进一步在业内首创超级补丁包技术,实现了App上Dex和资源替换覆盖,在开发人员和用户都完全透明无感知的情况下,可把任意App直接升级到最新版本。
了解更多以Istio为代表的新兴力量正在开启微服务开发的伟大变革,有望彻底摆脱框架和语言的束缚,大幅降低企业转型微服务架构的门槛,助力微服务的大规模普及,成为下一代主流的微服务开发技术。
了解更多阿里运维团队经过多次转型,在转型过程中,如何重构组织,重新确定团队职责,定义团队能力模型?如何利用技术手段,工程化思维解决运维中的痛点?以及如何以更少的运维同学支持双11大促,沉淀运维实践、规范到平台?
了解更多在演讲中,除了向大家介绍TensorFlow on Yarn外,同时也介绍了我们更早设计的SparkFlow(TenrsorFlow与Spark的结合),以及整合更多计算框架到Yarn的思考。
了解更多演讲首先介绍了Mesos核心的资源管理接口,并结合实例来阐述其简洁但强大的功能。包括Mesos对于网络和存储方面的支持。最后介绍了Mesos最新版本中新加入的一些新功能,比如容器嵌套以及远程调试的支持。
了解更多微信PaxosStore是一个分布式存储系统,广泛支撑微信在线应用,峰值过亿TPS,运行在数千台服务器上。该系统在2017年除夕夜实践中,平稳应对百亿级每分钟的挑战。
了解更多本演讲介绍了最近Apache Kafka添加的一些系统架构,包括Kafka Connect和Kafka Streams,并且描述一些如何使用它们的实际应用体验。
了解更多10年之前我是一名程序员,10年之后我是一家互联网公司的CTO,在这期间,我走了无数的弯路,碰了无数的钉子。我总结了自己面临的3大挑战,犯下的10大错误以及从中获得的经验,逐一和大家分享。
了解更多究竟什么才是微服务?微服务架构的优、缺点及其本质是什么?这款不仅可以适应大中型公司的业务变化,还能满足中小型公司的快速增长的“轻量级微服务架构”是如何搭建的?
了解更多回顾了该交易平台发展过程中,面对的技术问题和解决方案,包括高并发流量的挑战,国内外平台标准的不统一,网络延迟的优化,实时日志分析处理的优化,优雅的使用Redis等。
了解更多为什么LinkedIn敢于在没有任何手工测试的情况下发布App?LinkedIn如何大规模使用UI测试并解决UI测试中的不稳定因素?LinkedIn如何在15分钟内跑完上千个UI测试?用Swift写App的一些坑。
了解更多Google内部如何选取各种前端技术,以及使用各种工具保证前端的开发质量。以及这些类似的技术的开源版本在创业项目“一起写”上的一些实践。
了解更多越来越多的年轻人,开始承担了企业或公司重要的管理角色。此次分享重点想跟大家谈谈互联网最好的时代里,年轻管理者的技术管理涅槃重生之路,希望能够帮助正在经历同样职业阶段的技术/管理人员。
了解更多