2024是一个令我难忘的年份。
本以为今年的年终总结会是在海边沐浴着阳光写下的,没想到最后竟然是在出差酒店里写的(笑)。
心态
之所以把它放在最前面说,是因为这一年在爱的教育和生死教育下,经历痛苦迎来了心态上的巨大转变,终于结束了长达数年的低谷期,打败了曾经盘踞的消极状态,这对我各方面影响都是巨大的。
写这篇年终总结时,我简单翻阅了过往的年终总结。有趣的是,从之前的年终总结里,我很快回忆起哪年开始我的状态是往下的。虽然每年年终总结都带着对新一年的期许,但是也能看出当时挣扎着努力想提振精神的样子。在很长的时间里(大于五年),我总觉得自己的状态不对,做事情总是差一口气的感觉,想调整却总无法击中核心。这个写起来又太长了,放在生活的年终总结里写吧。技术博客只谈技术。
总之,24年属于痛苦蜕变的一年,我成熟了一些,找回了积极乐观的状态,甚至感受到了十年前那股不服输的斗志,突然对一切好玩的事情都感兴趣了,那种爱折腾的感觉又回来了!人活着,就是要有斗志和生命力,才有激情!(朋友说,你这一年变化也太大了吧,我说,嘿嘿我真是太棒了!)
工作
24年最大的工作变化就是,我终于挤进大模型的赛道了!
回看2023年的年终总结,我挺想揪起去年的我的衣领疯狂摇晃,“你要不看看你在说些什么呢!”希望大家原谅去年那个脑子里太多浆糊的我。
24年上半年时,我还处在大模型时代前的传统算法优化工作里,那时候我还没有机会接触组里的大模型项目,只能做一些大模型相关的边缘任务。虽不能至,心向往之,虽然人不在相关项目,但是基础总归是要学的,正好利用那段时间看了很多书、很多文献和大佬们的文章,默默做了一些小小的积累。24年下半年,被调入了大模型项目,积累到一些大模型微调、SFT数据的技术方案,也能去思考具体项目落地中遇到的实际问题了。(当我第一次在工作项目中遇到自己调的大模型出现幻觉/复读的问题,第一反应竟然是兴奋,有一种我也是碰到这种经典问题的人了我可要好好修理一下的爽感……)
24年有幸跟着组里的大佬做了一段时间,学习到了一些算法研究员应该具备的特质,比如对数据的敏感、对效果的质疑、对问题的察觉、对方案的灵活调整等,感受到大佬对技术的热爱和认真!也正是这段时间,让我对诸如大模型复杂推理(类o1)、强化学习等的技术栈更感兴趣了,越发觉得,诶嘿,好玩!
截至目前,带过的三名实习生实习时长都超过了最开始约定的三个月,也挺感谢他们在我这边实习时团队几乎只有我自己(团队其他人都在异地)的情况下依然愿意跟着我(没有嫌弃我菜),大家合作起来都比较愉快。虽然我能力有限,但是也竭尽全力让他们在这段实习中能够有所收获。他们靠自己的能力全部收到了校招offer,转正率100%。大家相互学习,共同进步!
在今年的工作中,多了不少对工作的复盘思考,也积极请教了同事们的一些经验,发现了一些自己在工作中还有很多不足之处。明年的工作也许会遇到更大的挑战,希望自己能在实践中把短板补齐,收获一个工作能力更强的自己。
技术
24年看了很多基础的书籍,希望把NLP基础打牢。现在主要都围绕大模型了,也看了不少相关的书籍和文献。对扩散模型相关的多模态大模型方向、大模型复杂推理(类o1)都挺感兴趣。23年计划的了解机器人算法,并没来得及详细了解,只能说具身智能相关的资讯偶尔关注。
一晃已经在算法岗工作三年了,不过目前仍是一个大模型新人,还在孜孜不倦地疯狂学习中。
突然想写几个今年在优化模型中的经验记录:
- 数据格式很重要
训练数据输入输出格式是json还是markdown,不同格式的效果简直是天差地别,要选择和底座模型保持一致的性能效果好的那种格式。 - 指令模板要动态组合
训练数据里的指令要结合正负样本进行动态调整,不能一成不变,否则模型难以学会正确的模式。 - 数据质检可以按字符检查
在清洗掉特殊字符后,可以按字符级检测输出是否在输入内,防止无中生有的情况(比如一些需要遵照原文的解析问题)。 - 考虑性能和扩展性
模型最终要上线的话,要看清楚token限制和速度如何,在保证效果的情况下,选择最优的格式输出,比如markdown格式在很多场景下比json要快且容易解析。
每当我习得了一项技术,我会先有一种魔术揭秘后的浅浅失落感,然后又惊叹于这样的思路与算法就能实现这样的效果来,最后感叹一句,有点意思。这一年这种感觉还挺强烈的。
健身
我终于把对自己身体的关爱提上日程。以前我非常不了解它,做了很多伤害它的事情。
这一年,我开始认真感受身体的每一种状态和变化,开始关注我的呼吸,开始学会日常养生,知道要吃早餐、多吃红枣、及时表达情绪、早点睡觉、觉得有问题就去医院检查。
当我结束了之前昏昏沉沉的眩晕状态,我的精神逐渐恢复正常,然后开始向上。
甚至在进行了一段时间的增肌训练后,我在出租车上玩一路手机一点都不晕了!在发烧同事的围攻中,我依然生龙活虎!
延伸爱好
数码
24年对折叠屏的喜爱程度拉满,对经常出差人士简直太友好了。等一个oppo Find N5上市!
NAS
24年折腾了一会儿NAS,秉持着能不花钱绝不花钱的初心,折腾了一个免费版的路线能用了,还给爸妈手机都装上了,让他们能随时查看以前的海量照片。可惜的是,家里出门连路由器都关,更不用说需要一台电脑开着当服务器了……
博客
24年博客折腾地不多,除非是它又双叒叕挂了(比如评论系统又挂了一次)。换了一个主题,其实是不得已换的,我还是更喜欢以前indigo的简洁,奈何它很久不更新有些组件已经更不上了。目前这个主题我尽量按照之前indigo的样子布局了,不过相比还是花哨了一些。
博客更新地太少,导致朋友们都不来看我了,ε=(´ο`*))),我反省。
读书
每年的读书目标是100小时,今年提前了两个月完成。
有一阵子热衷于看排行榜里自己的阅读时长,慢慢地发现自己有些过于在意它了,于是我关闭了排行榜,关闭之后的确能够更聚焦阅读本身,反而更快地达成了目标。
展望
新的一年,
希望自己能够沉到技术细节和难点里学习,真正学懂学成,内化为自己的知识;
希望能从单打独斗的学习方式中跳脱出来,从团队中汲取更多的力量,也帮助团队更好发展;
希望从工作和爱好中能继续感受到快乐!
新的一年,新的折腾!啊哈哈哈我又有劲了!
25年会遇到新的挑战和困难,但是,我没在怕的!
如果看到了不足,就去改变它!