
新增了一些文字。(2025.02.04改)
本以为今年的年终总结会是在海边沐浴着阳光写下的,没想到最后竟然是在出差酒店里写的(笑)。
新增
(这一段是在出租屋的小窝里修改的。)
这是在我看完博友的年终总结后新加的一段。
今年是我写技术博客的第十年。
和认识多年的博友不同,他们大多已经成为了行业里的佼佼者、管理者或者创业者,实现了财富自由和技术理想,而我这十年里从工作到读研到工作,从C++开发转到算法,从推荐算法转到NLP算法,又从NLP算法转到大模型算法,换了太多次方向,离曾经构想中的技术型大佬还相距甚远,经常有一种归来仍是新人的自嘲感。
这一年我取得了很多进步,但是这些更多是个人成长与生活方面的。在事业上我必须得承认自己的成长是掉队的,这是一件危险的事情,所以说新的一年我必须要做些改变让自己的事业脑跟上来。
写博这些年,从一开始的想什么就写什么的肆意玩耍,到后来写文用词考虑良多,有些有悖于以前只是想找个地方抒发感受和记录的初心。也许,害怕被认识的人看到原来我这么菜,不如先承认这一点,回归到当初什么都不懂只是一心想学的状态,保持简单和纯粹,享受技术之美就好了。
第十年,恰逢我的三十岁,正好适合重新出发。(插个小故事,过年时,别家都是催婚什么的,而我爸天天只说:你赶紧把DeepSeek的代码学一下!哈哈哈夸一句我家真是清新脱俗啊!)
以下是之前写的老版总结。
心态
之前写的那一版有点矫情了,删除。
经历一些事情然后成长,人皆如此。
工作
24年最大的工作变化就是,我终于挤进大模型的赛道了!
回看2023年的年终总结,我挺想揪起去年的我的衣领疯狂摇晃,“你要不看看你在说些什么呢!”希望大家原谅去年那个脑子里太多浆糊的我。
24年上半年时,我还处在大模型时代前的传统算法优化工作里,那时候我还没有机会接触组里的大模型项目,只能做一些大模型相关的边缘任务。虽不能至,心向往之,虽然人不在相关项目,但是基础总归是要学的,正好利用那段时间看了很多书、很多文献和大佬们的文章,默默做了一些小小的积累。24年下半年,被调入了大模型项目,积累到一些大模型微调、SFT数据的技术方案,也能去思考具体项目落地中遇到的实际问题了。(当我第一次在工作项目中遇到自己调的大模型出现幻觉/复读的问题,第一反应竟然是兴奋,有一种我也是碰到这种经典问题的人了我可要好好修理一下的爽感……)
24年有幸跟着组里的大佬做了一段时间,学习到了一些算法研究员应该具备的特质,比如对数据的敏感、对效果的质疑、对问题的察觉、对方案的灵活调整等,感受到大佬对技术的热爱和认真!也正是这段时间,让我对诸如大模型复杂推理(类o1)、强化学习等的技术栈更感兴趣了,越发觉得,诶嘿,好玩!
截至目前,带过的三名实习生实习时长都超过了最开始约定的三个月,也挺感谢他们在我这边实习时团队几乎只有我自己(团队其他人都在异地)的情况下依然愿意跟着我(没有嫌弃我菜),大家合作起来都比较愉快。虽然我能力有限,但是也竭尽全力让他们在这段实习中能够有所收获。他们靠自己的能力全部收到了校招offer,转正率100%。大家相互学习,共同进步!
在今年的工作中,多了不少对工作的复盘思考,也积极请教了同事们的一些经验,发现了一些自己在工作中的不足之处。明年的工作也许会遇到更大的挑战,希望自己能在实践中把短板补齐,收获一个工作能力更强的自己。
技术
24年看了很多基础的书籍,希望把NLP基础打牢。现在主要都围绕大模型了,也看了不少相关的书籍和文献。对扩散模型相关的多模态大模型方向、大模型复杂推理(类o1)都挺感兴趣。23年计划的了解机器人算法,并没来得及详细了解,只能说具身智能相关的资讯偶尔关注。
一晃已经在算法岗工作三年了,不过目前仍是一个大模型新人,还在孜孜不倦地疯狂学习中。
突然想写几个今年在优化模型中的经验记录:
- 数据格式很重要
训练数据输入输出格式是json还是markdown,不同格式的效果简直是天差地别,要选择和底座模型保持一致的性能效果好的那种格式。 - 指令模板要动态组合
训练数据里的指令要结合正负样本进行动态调整,不能一成不变,否则模型难以学会正确的模式。 - 数据质检可以按字符检查
在清洗掉特殊字符后,可以按字符级检测输出是否在输入内,防止无中生有的情况(比如一些需要遵照原文的解析问题)。 - 考虑性能和扩展性
模型最终要上线的话,要看清楚token限制和速度如何,在保证效果的情况下,选择最优的格式输出,比如markdown格式在很多场景下比json要快且容易解析。
每当我习得了一项技术,我会先有一种魔术揭秘后的浅浅失落感,然后又惊叹于这样的思路与算法就能实现这样的效果来,最后感叹一句,有点意思。这一年这种感觉还挺强烈的。
健身
我终于把对自己身体的关爱提上日程。以前我非常不了解它,做了很多伤害它的事情。
这一年,我开始认真感受身体的每一种状态和变化,开始关注我的呼吸,开始学会日常养生,知道要吃早餐、多吃红枣、及时表达情绪、早点睡觉、觉得有问题就去医院检查。
当我结束了之前昏昏沉沉的眩晕状态,我的精神逐渐恢复正常,然后开始向上。
甚至在进行了一段时间的增肌训练后,我在出租车上玩一路手机一点都不晕了!在发烧同事的围攻中,我依然生龙活虎!
延伸爱好
数码
24年对折叠屏的喜爱程度拉满,对经常出差人士简直太友好了。等一个oppo Find N5上市!
NAS
24年折腾了一会儿NAS,秉持着能不花钱绝不花钱的初心,折腾了一个免费版的路线能用了,还给爸妈手机都装上了,让他们能随时查看以前的海量照片。可惜的是,家里出门连路由器都关,更不用说需要一台电脑开着当服务器了……
博客
24年博客折腾地不多,除非是它又双叒叕挂了(比如评论系统又挂了一次)。换了一个主题,其实是不得已换的,我还是更喜欢以前indigo的简洁,奈何它很久不更新有些组件已经更不上了。目前这个主题我尽量按照之前indigo的样子布局了,不过相比还是花哨了一些。
博客更新地太少,导致朋友们都不来看我了,ε=(´ο`*))),我反省。
读书
每年的读书目标是100小时,今年提前了两个月完成。
有一阵子热衷于看排行榜里自己的阅读时长,慢慢地发现自己有些过于在意它了,于是我关闭了排行榜,关闭之后的确能够更聚焦阅读本身,反而更快地达成了目标。
展望
新的一年,
希望自己能够沉到技术细节和难点里学习,真正学懂学成,内化为自己的知识;
希望能从单打独斗的学习方式中跳脱出来,从团队中汲取更多的力量,也帮助团队更好发展;
希望从工作和爱好中能继续感受到快乐!
新的一年,新的折腾!啊哈哈哈我又有劲了!
25年会遇到新的挑战和困难,但是,我没在怕的!
如果看到了不足,就去改变它!