gpt-3.5-turbo-0125· OpenAI
WildChat-4.8M (AI2)
把这部分内容扩写为项目内容、项目业绩两部分, 突出作为自然语言处理工程师的职业技能和特色,要逐条优化, 突出职业技能特色和强调技能和解决方法关键词,不得减少输出条目。…
- User
把这部分内容扩写为项目内容、项目业绩两部分, 突出作为自然语言处理工程师的职业技能和特色,要逐条优化, 突出职业技能特色和强调技能和解决方法关键词,不得减少输出条目。 要进行扩写,不得减少内容
下面是内容:
大模型 聊天机器人工程项目
项目作者
2023.05-2023.10
内容:
- 调研各种文本大模型,熟悉它们的基本使用方法,根据客户需求进行数据标注和模型训练,使用ChatGLM和Llama进行微调。
- 使用benchmark工具EleutherAI/lm-evaluation-harness和其他开源大模型, 测试不同基础文本大模型的通用能力,比较和评估基础模型和微调后模型的回复能力,修正标注数据中的常见错误。
- 根据场景问答需求微调检索系统的文本召回能力和Embedding,使用精排模型进行质量过滤和排序, 测试并选择最优的大模型来提升知识库问答能力。 业绩: 1、通过调研过程使得公司能够分不同场景下,对不同的开源大模型进行选取使用。 2、微调部分,收集各通用及垂直场景下的文本提示数据,进行lora微调,实现了低资源微调的基本功能。 3、通过开源大模型评估工具及其他大模型的评价能力,对于模型微调后的知识学习能力及回复的通顺及逻辑合理程度进行检查, 实现了择优选取。 4、在使用开源已有检索系统的同时,基于问题数据对于检索系统的精确性进行检索向量微调及精排、重排,大幅增强了RAG系统 知识召回的相关性和精度。
下面是参考资料:
一、作为算法工程师,深入研究大型自然语言处理模型的训练方法,精确标注文本数据并进行模型训练:
- 熟练掌握Llama、GLM、GPT等多种文本大型语言模型的训练与推理技术和使用方法,了解并使用PT、SFT、DFO等微调技术,AWQ、GGUF、vLLM等大模型量化及加速推理技术。
- 使用大模型自动文本标注技术,根据客户需求从篇章文本和用户提供文本示例精准标注文本数据,并利用ChatGLM和Llama平台进行微调训练,使用Qlora DDP deepspeed等技术或框架进行模型微调或训练。
二、积极对不同基础自然语言处理模型进行全面测试及微调后版本的测试:
- 利用EleutherAI/lm-evaluation-harness等benchmark工具,深入测试微调前后的LLama、ChatGLM、Qwen等大语言模型的通用能力和性能。
- 结合llama-cpp server ollama vLLM FastAPI等工具进行模型部署和测试,评估模型的回答能力和生成质量的同时结合业务需求实现不同环境下的大模型服务部署和推理加速。
- 借助Zero-Shot、Few-Shot等指标评估策略,根据评估结果调整模型参数和微调策略,保障模型测试结果的准确性和稳定性。
三、专注于构建和优化基于大型自然语言处理模型的检索增强生成(RAG)的知识库问答能力:
- 利用sentence-transformers等Embedding微调技术结合传统文本搜索引擎,微调文本索引和匹配模型,优化召回和匹配效果,提高知识库问答的准确性。
- 结合文本分类器、reranking等方法,对检索到的文本进行质量筛选和排序,和知识组织,结合Milvus、Elasticsearch、Faiss Index等工具构建高效的知识向量搜索体系。
- 使用LLM自我评估、ROUGE等自然语言处理评估方法或指标,全面测试和比较不同模型在知识库问答任务的表现,选取最佳模型进行应用和优化。
业绩:
- 策划并协助公司实现自训练开源AI的全面发展,通过深入研究大型自然语言处理模型领域,取得多项实际功能性成果,推动业务进步。
- 成功完成原型调研、接口搭建、模型训练与测试等工程化任务,精准执行各项流程,建立高效工作模式,提升团队效率。
- Assistant
项目内容:
- 作为自然语言处理工程师,我负责参与大模型聊天机器人工程项目,首先进行了各种文本大模型的调研,深入了解它们的基本使用方法。根据客户需求,我进行了数据标注和模型训练,并利用ChatGLM和Llama进行微调。
- 我使用了benchmark工具EleutherAI/lm-evaluation-harness以及其他开源大模型,测试不同基础文本大模型的通用能力,比较和评估基础模型和微调后模型的回复能力,同时修正标注数据中的常见错误。
- 针对场景问答需求,我微调了检索系统的文本召回能力和Embedding,利用精排模型进行质量过滤和排序,最终测试并选择最优的大模型来提升知识库问答能力。
项目业绩:
- 通过调研工作,使公司能够根据不同场景需求选取并使用不同开源大模型,提高了项目实施的灵活性和效率。
- 在微调部分,我收集了各种通用和垂直场景下的文本提示数据,并进行了lora微调,实现了低资源微调的基本功能,为项目提供了稳定的模型基础。
- 借助开源大模型评估工具和其他大模型的评价能力,我对模型微调后的知识学习能力和回复的通顺性及逻辑合理程度进行了检查,确保选取了最适合项目需求的模型。
- 在使用开源检索系统的同时,我基于问题数据对检索系统的精确性进行了微调和精排,大大增强了RAG系统知识召回的相关性和精度,为项目提供了更优质的用户体验。
- User
扩写上面的内容
- Assistant
项目内容:
- 作为自然语言处理工程师,我在大模型聊天机器人工程项目中担任重要角色。首先,我详细调研各种文本大模型,深入了解它们的使用方法,并根据客户需求进行数据标注和模型训练。通过使用ChatGLM和Llama进行微调,我确保模型能够更好地适应实际应用场景。
- 在项目中,我使用了benchmark工具EleutherAI/lm-evaluation-harness以及其他开源大模型进行测试。我比较和评估不同基础文本大模型的通用能力,并修正标注数据中的错误,以提高模型的性能和精度。
- 针对场景问答需求,在项目中我专注于微调检索系统的文本召回能力和Embedding。通过使用精排模型进行质量过滤和排序,我为项目选择了最优的大模型,从而提升了知识库问答的能力和效果。
项目业绩:
- 通过深入的调研工作,我使公司能够在不同场景下选择并使用适合的开源大模型,为项目实现了个性化定制和高效执行。
- 在微调阶段,我收集了各种通用和垂直场景下的文本提示数据,并进行了lora微调,实现了低资源微调的基本功能。这一举措为项目奠定了坚实的技术基础。
- 借助开源大模型评估工具和其他技术手段,我对模型微调后的知识学习能力和回复的逻辑合理性进行了全面检查,确保项目选取了最具实用性和效果的模型。
- 在优化检索系统的过程中,我通过微调和精排提高了RAG系统的知识召回相关性和精度,有效提升了用户体验和服务质量,为项目带来了显著的业绩成果。
- User
扩写 强调实现效果
- Assistant
项目内容:
- 作为自然语言处理工程师,我在大模型聊天机器人工程项目中扮演关键角色。首先,我深入研究各种文本大模型,全面了解它们的使用方法,并根据客户需求进行数据标注和模型训练。通过使用ChatGLM和Llama进行微调,我努力确保模型能够实现最佳效果,与客户需求完美契合。
- 在项目中,我利用benchmark工具EleutherAI/lm-evaluation-harness以及其他开源大模型进行详尽测试。我比较和评估不同基础文本大模型的通用能力,并致力于修正标注数据中的错误,提升模型的性能和精度,以实现项目的最佳效果。
- 针对场景问答需求,在项目中我专注于微调检索系统的文本召回能力和Embedding。通过使用精排模型进行质量过滤和排序,我精心选择了最优的大模型,以确保知识库问答拥有卓越的效果和用户体验。
项目业绩:
- 通过深入调研工作,我使公司能够精准选择和应用各种开源大模型,从而在不同场景下实现项目的最佳效果,为业务发展注入新动力。
- 在微调阶段,我精心收集和处理各类通用和垂直场景下的文本提示数据,通过lora微调实现了低资源微调的重要功能。这一举措为项目打下了坚实基础,有效提升了工作效率和成果质量。
- 借助开源大模型评估工具和其他技术手段,我对模型微调后的知识学习能力和回复的逻辑合理性进行深度检查,确保选取了最具实用性和效果的模型。这种严谨的态度有效保障了项目的成功实施和顺利推进。
- 在优化检索系统的过程中,通过微调和精排策略的巧妙结合,成功提高了RAG系统的知识召回相关性和精度,从而为项目带来了显著的业绩提升和用户满意度提升。这些成果彰显了团队的专业素养和技术实力,为公司赢得了良好声誉和业务增长。