下面是一份大语言模型工程师的求职简历 帮助我润色改造成 自然语言处理工程师的简历 要求在项目中体现这自然语言处理工程师的专业技能 要求不能减少表达内容 模仿下文的结构 个人优势…
- User
下面是一份大语言模型工程师的求职简历 帮助我润色改造成 自然语言处理工程师的简历 要求在项目中体现这自然语言处理工程师的专业技能 要求不能减少表达内容 模仿下文的结构
个人优势 本人诚实、沉稳,乐观、上进。统计学硕士研究生毕业。从事过算法工程师、自然语言处理工程师等职位,有一定文本大模型、自 然语言处理项目工作经验,关注技术前沿。 熟悉文本大模型的各种训练方法如SFT、DPO等和部署、加速推理方法(llama-cpp vLLM)等,有Ai Agent、大模型数据自动标 注、模型训练推理相关经验,对 文本大模型 问答系统 搜索 机器翻译 有浓厚兴趣和实践。 github: https://github.com/svjack 作品及上传的模型和数据集在线展示链接:https://huggingface.co/svjack 链接需要科学上网访问
工作经历 杭州铭师智生科技有限公司
大模型算法工程师
2024.04-2024.05
内容: 智能作文批改工程: 1、 使用 OCR (光学字符识别)技术识别和提取作文图片中的文本信息。 2、比较、选取不同 OCR 商业接口,使其能够识别各种字体、字号、排版和背景,提高识别准确性。 3、应用大模型 prompt 工程技术对识别后的作文进行修改和优化,包括语法检查、措辞改进和结构调整等。 4、 设计和开发结构化输出功能,确保修改后的作文在段落、排版、标点和逻辑关系等方面符合规范。 智能作文批改工程项目充分利用了 OCR、prompt 工程和结构化输出等技术,实现了智能、高效的作文批改功能。 业绩: 1、 成功开发了智能作文批改系统,能够高准确率地识别和修改中英文作文,帮助学生提高写作能力。 2、 将 prompt 工程技术应用于作文修改,实现了根据题材、主题或关键词智能生成修改意见和建议的功能。 3、 优化了 OCR 模型对特殊字体和复杂背景图像的识别能力,提高了整体识别准确率。
斑头雁智能科技公司
大模型算法
内容: 一、根据业务需求调研大模型的基本训练方法,根据客户需求进行数据标注和模型训练: 1、调研多种文本大模型,了解大模型的基本使用方法。 2、根据客户需求标注文本提示数据,并在ChatGLM和Llama上进行文本Lora微调。 二、不同基础模型测试及微调后不同版本模型测试: 1、根据EleutherAI/lm-evaluation-harness等benchmark工具测试不同的基础文本大模型的通用能力。 2、借助其他大模型对基础模型和微调后模型的回复能力进行比较、评估、选取。 3、根据评估信息修正标注数据中的常见错误。 三、建立并改善基于大模型的检索增强生成(RAG)的知识库问答能力。 1、根据场景问答需求微调检索系统的文本召回能力,微调Embedding。 2、微调精排模型对于召回内容进行质量过滤及排序,重新组织召回知识。 3、测试完善不同大模型在知识库问答上的能力,并进行择优选取。 四、为平台Stable Diffusion基本功能和ControlNet特征预处理提供代码支持:
2023.05-2023.10
1、搭建Stable Diffusion基本功能和代码开发,实现基本的文生图和对于固定类别的样本微调。 2、对于具有ControlNet应用的场景,搭建并利用Segment Anything等工具进行前部特征提取。 业绩: 1、帮助公司实现了自训练开源AI从0到1的过程,在文本大模型上的诸多实践实现了基本的功能目的。 2、完成相应原型调研、接口搭建、模型训练与测试、及各种工程化、流程化任务。 3、帮助公司后期转向图像相关的AI生成业务。
慧博云通科技股份有限公司
算法工程师
2022.09-2023.05
内容: 1、运用自然语言处理技术,对用户反馈数据进行情感分析,提取有价值的信息,辅助团队针对客户需求进行改进。 2、研究不同终端设备类型和操作系统信息,利用自然语言处理相关算法进行分类和识别,为优化网络性能提供数据支持; 3、基于家庭宽带网络数据,设计并开发一套高效准确的机器学习模型,识别出网络问题,并进行针对性的处理; 4、利用机器学习算法,对客户反馈数据进行挖掘和分析,研究客户满意度的变化规律,面向客户需求,提高客户满意度; 业绩: 1、成功建立了一个高精确度(95%以上)终端设备分类和识别模型,并将其部署到实际的生产环境中。 2、成功建立了一个基于规则和算法模型的网络问题识别模型,并将其部署到实际的生产环境中。 提高了客户满意度,提高了团队的效率和服务质量,降低了客户投诉率。 3、与市场团队紧密合作,及时更新产品和服务策略,提升了客户满意度和忠诚度。
杭州北冥星眸科技有限公司
算法工程师
2021.05-2022.03
内容: 1、政务服务聊天机器人: 针对政务领域的聊天机器人,需要进行分类、分词、实体识别、意图识别等自然语言处理功能的开发。 同时,根据政务服务的特点,还需要考虑到一些隐私数据的保护和安全性问题。 2、网络搜索服务: 网络搜索服务需要自然语言处理算法对用户的搜索问句及关键词进行解析和理解,提高搜索结果的精准度和相关性。 3、政务知识问答: 知识问答系统需要进行自然语言理解和推理。使用文本分类、文本聚类、语义匹配等自然语言处理技术,提供更加智能化的回答。 业绩: 1、开发了政务领域聊天机器人所需的自然语言处理模型,为政务服务提供便利。 实现了敏感数据的安全保护,避免数据泄露和滥用。 2、基于自然语言处理技术,进行了关键词解析和理解,优化了搜索结果的准确性和相关性。 提高了用户的搜索体验,增强了客户满意度和忠诚度。 3、利用自然语言处理算法,实现了智能化的知识问答系统,提高了效率和准确性。 提升了公司形象和品牌价值,增强了市场竞争力。
项目经历 原神角色对话模型(包含日常对话及剧情对话)
项目作者
2024.05-至今
内容: 根据游戏《原神》中角色的互动信息和游戏剧情脚本,使用大模型标注了游戏角色在日常对话和剧情对话两个场景下对话数据, 根据这些数据训练了在上述两个场景下的角色对话模型及剧情推动模型,在日常对话场景加强对角色的性格和身份背景的了解, 在剧情对话场景更好地了解故事情节及角色在故事情节中的作用。 1、这个工程基于Qwen1.5-7B-Chat和Mistral-v3.0训练了两类大模型,包括游戏场景下的日常聊天和剧情聊天两种场景。
2、所有本工程涉及到的模型训练所使用的数据集全部由大模型自动标注生成。 3、日常聊天场景功能由基于角色身份信息的对话能力及角色间日常故事引擎(用于生成基本故事背景和推进故事背景)两部分构 成。 4、剧情聊天场景功能由基于角色身份信息的对话能力、全局剧情信息、全局剧情到当前对话剧情到推理引擎(根据全局背景生成 二角色对话子背景,可以选取使用全局背景或子背景进行对话,选取全局背景一般是对话者为旅行者和派蒙时,可以快速在更大故 事范围体验剧情;选取当前对话剧情一般是旅行者或派蒙和其他NPC对话时,用于了解该NPC在剧情中的局部剧情推进作用)三部 分组成。 5、除了使用了常见的SFT微调方法外,对于剧情聊天场景下全局故事背景到当前故事背景到的推理引擎训练也测试了DPO (ORPO)方法,在一定程度上减少重复推理和推理链条顺序颠倒问题。 6、测试了transformers、llama-cpp-python、vLLM三种推理框架在这两个对话场景下的使用,在transformers场景下使用lora switch的方法给出低显存占用条件下的功能实现,在llama-cpp-python、vLLM场景下通过模型分别合并部署和加速给出高推理 速度需求下的功能实现,可根据需求灵活选取。 7、提供了webui进行调用,并可通过此webui进行日常聊天或剧情聊天的DIY设定编辑,作为使用者可以根据自己的喜好撰写更 优质的日常聊天或剧情剧本,并在剧本中扮演角色。(下面:使用AI润色背景信息的生成例子 中讲展示在剧情聊天场景中使用AI 润色后的文案进行角色扮演的例子) 业绩: 完成数据收集、大模型数据自动标注、数据检查、模型选取、模型训练、推理性能优化、生成纠错等诸多目的, 并提供 UI 方便使用。 项目链接: https://github.com/svjack/Genshin-Impact-Character-Chat
Code AI Agent (CodeAct LLM可执行代码代理)
项目作者
2024.04-2024.05
内容: 项目简介: 利用可执行代码来增强 LLM 代理与代码执行环境的交互能力。与 Python 解释器集成,旨在通过动态代码执行和修改来实现 LLM 代理与用户之间的流畅互动。 项目特点: 代码执行和修改:CodeAct 能够执行代码操作,并根据需要动态修改之前的操作。这使 LLM 代理能够实时学习和适应,从而提高 他们的响应能力。 与用户的动态交互:通过 CodeAct,LLM 代理可以与用户进行动态交互。例如,代理可以教用户编写代码、纠正错误或执行代码 以获取结果。 Python 集成:与 Python 解释器的集成使 CodeAct 能够利用 Python 的强大功能和灵活性。这为 LLM 代理提供了广泛的工具和 库,使其能够处理各种任务。 程序执行:该项目不仅限于静态代码分析。CodeAct 可以实际执行代码,从而提供有关代码行为的实时见解。 预期结果: 通过将可执行代码与 LLM 代理相结合,该项目旨在实现更智能、更具适应性的代理,能够动态地与用户和代码环境交互。 CodeAct 有望改善 LLM 代理与代码相关的任务,使其能够提供更准确、更具针对性的响应,并促进用户与代码之间的无缝协作。 业绩: 项目通过 CodeAct 成功实现了 LLM 代理与代码执行环境的革命性集成。与 Python 解释器集成,CodeAct 使 LLM 能够执行和修 改代码。 该项目的关键成就包括改进的 LLM 响应、动态交互和协作以及代码教学和纠错能力。 LLM 代理提供有针对性的解决方案,并根据 用户输入实时修改操作。 CodeAct 还能够执行代码并获得结果,从而提供有关代码行为的实时见解。 项目链接:https://github.com/svjack/CodeActAgent-Gradio
文本大模型 微调的 原神角色指令模型 内容:
工程作者
2024.02-2024.05
收集互联网上有关游戏《原神》的角色公开数据,微调一个不同角色(75个)在不同场景下的故事表现和 对话的指令大模型。 1、模型基于 ChatGLM3-6B-base及 Chinese-llama2-13B在75个角色上进行微调。 2、该模型包含角色在 “介绍”、“故事”、“信”、“聊天”、“时间”、“关于”和“了解” 7种场景下的故事或对话生成。 3、模型支持两个角色之间的对话、评价与看法。 4、模型支持比较灵活方便的提示词编辑,根据对提示词的改写与修正可使得模型适用于多种被游戏包含及不被游戏包含的场景反 应。 5、模型支持未被数据集包含的新建角色,并给出新建42个角色的一些提示生成结果。 6、包含一些处理生成错误的自然语言处理模块。 7、项目在操作方便性上提供了方便更改修正提示词的 webui ,并且通过点按角色头像自动加载该角色需要的提示词信息,方便 使用者进行信息编辑。 8、项目基于合并量化加速后的 CPP 文件形式,保证例子可以在12GB 显存下的计算环境下相对高效地稳定运行。 9、在对上面两个模型给出SFT微调模型的同时,给出基于Qwen1.5-7B-Chat的ORPO微调版本,在相同体量实现更好结果。 业绩: 完成数据收集、数据标注、模型训练、数据检查、模型选取、性能优化、生成纠错等诸多目的, 并提供 UI 方便使用。 项目链接: https://github.com/svjack/Genshin-Impact-Character-Instruction 在线查看 WebUI 界面的链接(要得到结果需要本地运行,在线链接只支持查看页面基本元素和功能): https://huggingface.co/spaces/svjack/genshin-impact-character-chatglm3-instruction
基于量化大模型的 原神书目 知识库问答工程
工程作者
2024.02-2024.05
内容: 收集互联网上有关游戏《原神》中的66个与背景设定相关的书目,构建基于开源大模型的检索增强生成(RAG)的知识库问答工 程。 1、该项目中测试了包含 Mistral-7B、chatglm3-6b、Qwen-7B 三种开源大模型在原神书目中的检索问答能力。 2、标注了一些问题数据用于微调检索系统的文本召回能力,微调Embedding,得到微调后的模型。 3、标注了一些文本分类数据,微调分类模型对于召回内容进行质量过滤及排序,重新组织召回知识。 4、嵌入实体识别功能得到问题主要实体。 5、工程在知识搜索主体结构和提示词相对同一的前提下,兼具对Hugginhgface开源Api、chatglm.cpp、llama.cpp、ollama 四种主流LLM支持端框架的通用性,使得模型在大模型端的插入与扩展相对方便。 6、比较了不同大模型在执行此任务时的优势,并给出一些对于相同问题的结果,便于查找比较。 7、提供了webui进行调用。 8、项目基于量化加速后的CPP文件形式,保证例子可以在10GB显存下的计算环境下相对高效地稳定运行。 业绩: 完成数据收集、知识组织、召回模型训练、精排模型训练、性能优化、不同模型结果比较等诸多目的, 并提供UI方便使用。 项目链接1: https://github.com/svjack/Genshin-Impact-BookQA-LLM 项目链接2: https://github.com/svjack/Genshin-Impact-RAG 在线查看WebUI界面的链接(作为基于Hugginhgface开源Api的Mistral-7B非中文模型例子,可以在线尝试): https://huggingface.co/spaces/svjack/genshin-impact-bookqa-haystack
Stable Diffusion与计算机视觉工程项目 内容:
项目参与者
2023.07-2023.10
辅助公司向文生图方向探索、转型。 1、搭建 Stable Diffusion 基本功能和代码开发,实现基本的文生图和对于固定类别的样本微调。 2、对于具有 ControlNet 应用的场景,搭建并利用 Segment Anything 等工具进行前部特征提取。 3、批量化样本生成,利用 Segment Anything 的特征提取 结合 IP Adapter 批量化生成杯子样本,并利用 Pick-Score 等模型 进行样本生成质量控制。 4、根据虚拟穿搭需求,使用 HR VITON 实现不同姿态的人体穿衣功能。 业绩: 1、配合研发团队实现了基本的文生图功能。并可自行根据标注数据进行文生图训练。 2、嵌入 ControlNet 需要数据预处理的部分,如从前端传入的点按位置得到 Segment Anything 分割结果。 3、实现从自行上传衣料到虚拟穿搭的功能。
大模型 聊天机器人工程项目
项目作者
2023.05-2023.10
内容:
- 调研各种文本大模型,熟悉它们的基本使用方法,根据客户需求进行数据标注和模型训练,使用ChatGLM和Llama进行微调。
- 使用benchmark工具EleutherAI/lm-evaluation-harness和其他开源大模型, 测试不同基础文本大模型的通用能力,比较和评估基础模型和微调后模型的回复能力,修正标注数据中的常见错误。
- 根据场景问答需求微调检索系统的文本召回能力和Embedding,使用精排模型进行质量过滤和排序, 测试并选择最优的大模型来提升知识库问答能力。 业绩: 1、通过调研过程使得公司能够分不同场景下,对不同的开源大模型进行选取使用。 2、微调部分,收集各通用及垂直场景下的文本提示数据,进行lora微调,实现了低资源微调的基本功能。 3、通过开源大模型评估工具及其他大模型的评价能力,对于模型微调后的知识学习能力及回复的通顺及逻辑合理程度进行检查, 实现了择优选取。 4、在使用开源已有检索系统的同时,基于问题数据对于检索系统的精确性进行检索向量微调及精排、重排,大幅增强了RAG系统 知识召回的相关性和精度。
基于英语和中文文档视觉的问答数据集生成器
工程作者
2022.09-2022.11
内容: 从中英文文本及文本图像为出发点,生成文本或文本图像上下文对应的问答对,并对于生成结果进行修正过滤。 技术内容涉及:实体识别、文本生成、抽取式问答、OCR、智能文档问答、数据表实体抽取等诸多内容。 业绩: 完成架构涉及、模块开发、模块拼接与整合性测试、并部署有在线示例。 项目链接: https://github.com/svjack/docvqa-gen 示例在线展示链接:https://huggingface.co/spaces/svjack/Question-Generator https://huggingface.co/spaces/svjack/Question-Generator-on-Chinese-Doc https://huggingface.co/spaces/svjack/Question-Generator-on-English-Doc
政务问答机器人
项目参与者
2021.04-2022.03
内容: 在政务问询场景下,参与文本智能辅助及其人的基本开发。 1、政务服务聊天机器人: 从问询个体的意图分类及实体标的的识别出发,如办证、办事流程、准备材料、具体规定。匹配到 知识库中对应的信息,作为对用户的反馈。主要涉及分类、分词、实体识别、意图识别等自然语言处理功能的开发。 同时,根据政务服务的特点,还需要考虑到一些隐私数据的保护和安全性问题。
2、网络搜索服务: 对于大量的政策新闻、文件,构造文本搜索及向量搜索功能,实现用户的信息搜索匹配功能,同时识别搜索中的 关键字,进行高亮匹配。 涉及自然语言处理算法对用户的搜索问句及关键词进行解析和理解,提高搜索结果的精准度和相关性。 3、政务知识问答: 对于形成的人物画像,进行实体识别、属性提取等基本功能,根据提取内容匹配知识库中的相关结果。 涉及文本分类、文本聚类、语义匹配等自然语言处理技术。 业绩: 1、通过训练孪生神经网络的方式,提高了向量匹配的相关性。 2、搭建并优化了文本搜索、向量搜索服务,改造原本仅基于Bert Embedding的搜索,优化了搜索结果的准确性和相关性。 提高了用户的搜索体验,增强了客户满意度和忠诚度。 3、改造原有的仅仅依赖于分类器的匹配逻辑,插入实体及属性识别,实现了更智能化的知识问答系统,提高了效率和准确性。 提升了公司形象和品牌价值,增强了市场竞争力。
中文数据表问答(tableQA)
工程作者
2021.02-2021.03
对于中文数据表问答问题的非监督方案给出实现。在功能架构上类比项目原型工程。但利用交易系统算法细节和信息抽取工具替换 与提升了其各个算法模块,并在实现细节上实现完全重写,规避与解决项目原型工程的若干问题。 结构类比 细节改进 嵌入其它算法框架知识。 结合金融策略回测与自然语言处理知识提升与优化模型效果。 详见: https://github.com/svjack/tableQA-Chinese/blob/main/tableQA_construction.md 项目链接: https://github.com/svjack/tableQA-Chinese 示例在线展示链接:https://huggingface.co/spaces/svjack/TableQA-Chinese
Sentence-Transformers 中文范例
工程作者
2020.12-2021.01
根据Sentence-Transformers 官方实现在中文数据集上进行语义搜索训练,使用Elasticsearch的Pandas简化接口和Faiss简化工 程化搜索的使用方式。并实现一些原框架未实现的小功能。 在使用中文数据训练Sentence-Transformers的基础上,通过使用和重载ElasticSearch的Pandas简化模块类型存储接口,实现 更加方便的Elasticsearch交互,对于重排模块, 掌握使用多种hard negative召回方式( 基于Faiss及Elasticsearch的方法) 为在中文语境下Sentence-Transformers工程级使用进行了模块化整理。
- Assistant
个人优势 本人诚实、沉稳,乐观、上进。统计学硕士研究生毕业,具备自然语言处理工程师的专业技能。曾担任算法工程师、自然语言处理工程师等职位,有丰富的文本大模型、自然语言处理项目工作经验,关注技术前沿。 熟悉各种文本大模型训练方法,如SFT、DPO等,以及部署、加速推理方法(llama-cpp vLLM)等。具备Ai Agent、大模型数据自动标注、模型训练推理等相关经验,对于文本大模型、问答系统、搜索和机器翻译有浓厚兴趣和实践。 github: https://github.com/svjack 作品及上传的模型和数据集在线展示链接:https://huggingface.co/svjack 链接需要科学上网访问
工作经历 杭州铭师智生科技有限公司
自然语言处理工程师
2024.04-2024.05
内容: 智能作文批改工程: 1、 使用 OCR (光学字符识别)技术识别和提取作文图片中的文本信息。 2、比较、选取不同 OCR 商业接口,使其能够识别各种字体、字号、排版和背景,提高识别准确性。 3、应用大模型 prompt 工程技术对识别后的作文进行修改和优化,包括语法检查、措辞改进和结构调整等。 4、 设计和开发结构化输出功能,确保修改后的作文在段落、排版、标点和逻辑关系等方面符合规范。 智能作文批改工程项目充分利用了 OCR、prompt 工程和结构化输出等技术,实现了智能、高效的作文批改功能。 业绩: 1、 成功开发了智能作文批改系统,能够高准确率地识别和修改中英文作文,帮助学生提高写作能力。 2、 将 prompt 工程技术应用于作文修改,实现了根据题材、主题或关键词智能生成修改意见和建议的功能。 3、 优化了 OCR 模型对特殊字体和复杂背景图像的识别能力,提高了整体识别准确率。
斑头雁智能科技公司
大模型算法
内容: 一、根据业务需求调研大模型的基本训练方法,根据客户需求进行数据标注和模型训练: 1、调研多种文本大模型,了解大模型的基本使用方法。 2、根据客户需求标注文本提示数据,并在ChatGLM和Llama上进行文本Lora微调。 二、不同基础模型测试及微调后不同版本模型测试: 1、根据EleutherAI/lm-evaluation-harness等benchmark工具测试不同的基础文本大模型的通用能力。 2、借助其他大模型对基础模型和微调后模型的回复能力进行比较、评估、选取。 3、根据评估信息修正标注数据中的常见错误。 三、建立并改善基于大模型的检索增强生成(RAG)的知识库问答能力。 1、根据场景问答需求微调检索系统的文本召回能力,微调Embedding。 2、微调精排模型对于召回内容进行质量过滤及排序,重新组织召回知识。 3、测试完善不同大模型在知识库问答上的能力,并进行择优选取。 四、为平台Stable Diffusion基本功能和ControlNet特征预处理提供代码支持:
2023.05-2023.10
1、搭建Stable Diffusion基本功能和代码开发,实现基本的文生图和对于固定类别的样本微调。 2、对于具有ControlNet应用的场景,搭建并利用Segment Anything等工具进行前部特征提取。 业绩: 1、帮助公司实现了自训练开源AI从0到1的过程,在文本大模型上的诸多实践实现了基本的功能目的。 2、完成相应原型调研、接口搭建、模型训练与测试、及各种工程化、流程化任务。 3、帮助公司后期转向图像相关的AI生成业务。
慧博云通科技股份有限公司
自然语言处理工程师
2022.09-2023.05
内容: 1、运用自然语言处理技术,对用户反馈数据进行情感分析,提取有价值的信息,辅助团队针对客户需求进行改进。 2、研究不同终端设备类型和操作系统信息,利用自然语言处理相关算法进行分类和识别,为优化网络性能提供数据支持; 3、基于家庭宽带网络数据,设计并开发一套高效准确的机器学习模型,识别出网络问题,并进行针对性的处理; 4、利用机器学习算法,对客户反馈数据进行挖掘和分析,研究客户满意度的变化规律,面向客户需求,提高客户满意度; 业绩: 1、成功建立了一个高精确度(95%以上)终端设备分类和识别模型,并将其部署到实际的生产环境中。 2、成功建立了一个基于规则和算法模型的网络问题识别模型,并将其部署到实际的生产环境中。 提高了客户满意度,提高了团队的效率和服务质量,降低了客户投诉率。 3、与市场团队紧密合作,及时更新产品和服务策略,提升了客户满意度和忠诚度。