【2024W37】肖恩技术周刊(第 15 期):中秋节快乐

Administrator
Administrator
发布于 2024-09-17 / 14 阅读
0
0

【2024W37】肖恩技术周刊(第 15 期):中秋节快乐

周刊内容: 对一周内阅读的资讯或技术内容精品(个人向)进行总结,分类大致包含“业界资讯”、“技术博客”、“开源项目”和“工具分享”等。为减少阅读负担提高记忆留存率,每类下内容数一般不超过3条。
更新时间: 星期天
历史收录: shawn-weekly
订阅方式: 微信公众号“肖恩聊技术”,除周刊外还有更多原创技术博文~
公众号二维码

开篇图

青城山民宿

大家中秋快乐!抱歉周刊延迟了,去青城山躺平了两天。先报个喜,公众号粉丝破百了!虽然好友占比高达50%,但也是值得纪念的里程碑,感谢大家的支持。这两周也对公众号的定位和内容规划有了更多的思考和探索,之后就是慢慢逐步实施了。另外写本期的时候发现很多其他周刊也没发,大家看来都挺懒的,假期只想摆烂😂。

业界资讯

OpenAI最近发布了一款名为o1的新型AI大模型,这是该公司在大语言模型领域的又一重大突破。o1模型具备强大的复杂推理能力,能够在科学、代码和数学等领域解决比以往模型更为复杂的问题。o1模型的发布,标志着大模型领域的技术发展进入了一个新的阶段。

o1模型是OpenAI在ChatGPT和大模型API中新发布的第一款模型,目前还处于预览版阶段,被称为o1-preview。o1模型在多个高难度基准测试中展现出了卓越的性能,其推理能力甚至在某些方面超越了人类专家。例如,在国际数学奥林匹克(IMO)资格考试中,o1模型正确解答了83%的问题,而在Codeforces编程比赛中,其表现也优于93%的竞争对手。

o1模型的工作原理是通过强化学习训练来执行复杂推理任务,它在回答问题前会进行深入思考,类似于人类的思维过程。这种能力使得o1在处理代码和科学问题时表现出色。此外,o1模型还展示了其在编程领域的潜力,经过专门训练的o1模型在国际信息学奥林匹克竞赛(IOI)中的表现达到了排名前49%的水平。

除了o1模型,OpenAI还发布了一个更小、更便宜的版本——o1-mini,它在STEM领域的推理任务上表现良好,同时成本效率更高。o1-mini在高中AIME数学竞赛中的表现与o1相近,但成本更低。

OpenAI表示,o1模型系列的发布只是开始,公司计划在未来不断迭代和改进这些模型。同时,OpenAI也在探索如何将模型与人类价值观和原则更好地结合,以提高模型的安全性和可靠性。目前,o1模型的使用受到一定的限制,但OpenAI正在努力提升用户的可使用次数,并计划在未来增加更多功能,如网络浏览、文件和图像上传等,以提升模型的实用性。

总的来说,o1模型的发布为AI社区带来了震撼,展示了AI在复杂推理和编程等领域的巨大潜力,预示着人工智能能力的新水平。

NGINX项目宣布将其开源代码仓库从Mercurial迁移到GitHub,以便于更好地接受社区的贡献和反馈。迁移后,NGINX将通过GitHub的Pull Requests接受代码贡献,并通过GitHub问题页接受bug报告和功能请求。为了帮助开发者适应新流程,NGINX将提供过渡期,直到2024年12月31日,期间仍然通过邮件列表接受补丁和社区支持。NGINX是一款高性能的HTTP服务器,以其内存占用少和高稳定性而闻名。文章还提供了NGINX的详细介绍和下载链接,以及Gitee上的NGINX镜像链接,方便用户获取和使用。社区对这一迁移消息反应积极,认为这将有助于NGINX项目的进一步发展和社区的参与。

京东集团在2024年9月13日宣布了新一轮的加薪计划。从2024年10月1日开始,京东零售集团和职能体系将在两年内逐步实现20薪制。这一加薪计划是继2024年初和年中连续三轮加薪之后的又一次动作。在过去三年中,京东已经逐步将员工的平均年薪从14薪提高到16薪,并在2024年对一线业务人员和客服员工的薪酬进行了显著提升。此外,京东还在2024年8月启动了2025校园招聘,开放了1.8万个岗位,并提高了校招生的薪酬。

PS:有找工作诉求的朋友可以使用我的内推码: 校招内推码, 社招内推码

技术博客

文章主要讨论了可观测性与监控的区别,并强调了可观测性在现代软件开发中的重要性。可观测性是一种系统设计哲学,它通过日志、指标和链路追踪等手段,让开发者能够理解和推断系统内部的状态和行为。与传统监控相比,可观测性更加全面,不依赖于预设的警报规则,而是提供了更深入的系统内部视角。

文章指出,随着互联网的快速发展,监控工具也经历了三个发展阶段:早期的简单监控工具,如Cacti和Nagios;随后的一体化监控系统,如Zabbix和Open-Falcon;以及现在的云原生监控工具,如Prometheus和Nightingale。每个阶段的监控工具都在适应技术的发展和用户需求的变化。

文章还强调了可观测性的技术趋势,如Continuous Profiling和eBPF技术,这些技术提供了更全面的性能分析和内核级别的监控能力。此外,一体化监控平台如Flashcat的出现,使得运维人员能够更高效地管理Metrics、Logging、Tracing和Event,从而提升了整体的运维效率。

总的来说,文章强调了在现代软件开发和运维中,可观测性比传统监控更为重要,它提供了更全面和深入的系统理解,帮助开发者和运维人员更好地管理和优化系统性能。

文章对Java虚拟线程进行了深入的案例研究,这是JDK 21中引入的一项新特性,旨在提供一种轻量级且可扩展的并发模型。Java虚拟线程允许开发者在单个JVM中高效地处理数以百万计的线程,而不会像传统OS线程那样消耗大量资源。

研究中,作者将Java虚拟线程与Open Liberty应用程序运行时中使用的线程池技术进行了比较。Open Liberty的线程池技术通过共享线程池来执行应用程序的业务逻辑,并为I/O操作分配单独的线程,具有自适应性和自动调整大小的能力。

通过一系列性能测试,作者评估了Liberty线程池与虚拟线程在CPU吞吐量、加速时间和内存占用方面的表现。测试结果显示,在某些配置下,虚拟线程的吞吐量比Liberty线程池低10-40%。然而,在突然增加负载的情况下,虚拟线程能够更快地达到最大吞吐量。在内存占用方面,虚拟线程虽然每线程的内存占用较小,但在需要几百个线程的配置中,这种优势可能并不明显。

研究中还发现了一个意外的问题,即在某些情况下,虚拟线程的性能表现不佳,这与Linux内核调度程序和Java的ForkJoinPool线程管理之间的交互有关。

综合考虑,作者得出结论,尽管虚拟线程在理论上具有优势,但在中等高并发级别下,Liberty的现有线程池通常提供更好的性能。因此,作者建议Java开发者在考虑使用虚拟线程时应该谨慎,并充分了解其在特定应用程序中的潜在问题。文章最后指出,虽然虚拟线程在某些情况下可能有其用途,但作者决定不将Liberty线程池替换为虚拟线程,并鼓励开发者基于对性能影响的深入了解来决定是否在自己的应用程序中实现虚拟线程。

这篇文章介绍了水印技术的发展和应用,特别是暗水印技术在提升生产排障效率方面的作用。文章首先解释了水印技术的演进,从最初的易被删除和修改的版本,发展到具备防删除、防隐身、防覆盖和防感知能力的高级版本。接着,文章探讨了暗水印技术与OCR(光学字符识别)技术的结合,如何通过在网页中嵌入暗水印来帮助快速定位问题。文章详细讨论了暗水印显隐术的功能设计和架构,以及如何通过选择不同的解码方案来提升OCR识别的准确率。

文章还介绍了如何通过优化暗水印解析模块和OCR光学字符识别模块来提升识别准确率。对于暗水印解析模块,作者提出了更换解码方案、调整原图色调选择和自定义调节暗水印对比度等方法。对于OCR模块,作者探讨了减少图片背景噪音和选择适当的OCR识别方案的重要性,并提出了使用公司内部算法中心提供的OCR服务作为主要识别工具。

最后,作者强调了即使是看似简单的功能,如水印,只要深入研究和应用得当,也能在不同的业务场景中发挥巨大价值。文章鼓励开发者在开发过程中多思考技术的可能性,并反思如何更好地服务于业务需求。

开源项目

HyperLPR是一个高性能的车牌识别框架,支持多种操作系统和平台,包括Windows、Mac、Linux、Raspberry Pi和Android。它能够实现720p分辨率下的实时车牌识别,平均识别时间少于100毫秒。该框架支持跨平台编译和快速部署,并且提供了WebAPI服务支持。HyperLPR3的识别准确率在95%-97%之间,无需字符分割即可实现端到端的车牌识别。

Markmap是一个用纯文本创建思维导图的项目,支持Markdown格式,由dundalek的markmap启发。

学习资源

"Oh My Git!" 是一个开源游戏,旨在通过互动方式教授Git版本控制。游戏特点包括实时仓库可视化、为初学者设计的卡牌界面和为高级用户准备的集成终端。它不仅教授Git命令,还强调团队协作和远程仓库交互。

其他周刊

Replit公司推出了Replit Agent,一个AI编程工具,它能够根据用户的自然语言描述生成应用程序,极大地降低了编程的门槛。在社会模拟方面,Project Sid展示了一个由1000个Agent组成的社会,这些Agent能在《我的世界》游戏中自主发展,模拟不同的社会政策和策略。

Meta AI的研究人员探讨了如何通过精细的数据集来提高大型语言模型的性能,比较了全参数微调和参数高效微调的方法,并指出了高质量数据集的重要性。谷歌AI Edge的MediaPipe团队展示了在浏览器中运行超过70亿参数的大型语言模型的能力,而DeepMind的AlphaProteo系统则在设计新型蛋白质结合体方面取得了进展。

此外,报告还介绍了几个AI工具和产品,包括Fluxgym,一个简化的FLUX Lora模型训练工具;AdvancedLivePortrait,一个允许用户自定义面部表情动画的工具;Polymet,一个前端代码生成项目,支持从Figma设计稿生成代码;以及PackPack,一个浏览器扩展插件,帮助用户快速保存和管理网页内容。

在研究方面,报告提到了Loopy,一个音频驱动的肖像头像生成工具;RB-Modulation,谷歌的风格转移模型;OP-RAG,一种新型的RAG方法;SCoT,一种提升大模型推理能力的方法;以及AI在软件开发中的应用,这些研究展示了AI如何提高开发效率。最后,AlphaProteo在生物学和健康研究中的应用也被提及,显示了AI在多个领域的潜力。


评论