个人学习工作分享

腾讯云智能结构化OCR实战：从图片到结构化数据的高效转换

学习

本文介绍了作者使用腾讯云智能结构化OCR服务的体验过程。文章先描述了对多个理财产品的清单文章数据进行汇总的需求，然后尝试使用多模态大模型但遇到了一些问题。接着，作者了解到腾讯云的智能结构化OCR服务并决定尝试。文章详细描述了如何使用腾讯云的Python SDK进行OCR识别，包括价格、安装SDK、代码实现、验证和web部署等方面的内容。整体上，作者觉得腾讯云的智能结构化识别相较于传统OCR多了结构化数据的处理，使用起来比较简单。最后，作者欢迎大家在评论区分享对OCR应用的经验和看法。

微软开源的处理工具 - markitdown

学习

微软最近开源了一个Python工具markitdown，可以将各种格式的文件和office相关格式的文件转换为Markdown格式。该工具支持多种文件格式，包括PDF、PowerPoint、Word、Excel、图片、音频、HTML等。它还支持调用大模型处理图片、音视频等格式的文件数据。markitdown工具具有安装简便、支持多种转换器以及API集成等特点，能够满足非结构化数据转换、模型训练效率提高、复杂文档解析、知识管理和团队协作、数据源集成等方面的需求，助力在线文档与静态网站的构建，促进批量处理和自动化，是科技前沿的一种重要的处理工具。

fast-graphrag 探索（3）- insert

学习

摘要：本文介绍了fast-graphrag的插入流程，包括state_manager属性的介绍、GraphRAG类实例的state_manager是DefaultStateManagerService的介绍、以及插入文档到GraphRAG时的具体步骤。文章详细描述了插入过程中的关键步骤，如调用state_manager的insert_start方法、读取历史数据、过滤重复数据、提取实体和关系、执行upsert操作等。此外，文章还提到了模型应用的一些经验和看法，并鼓励读者在评论区分享自己的经验。

fast-graphrag 探索（2）

学习

本文探讨了fast-graphrag库的GraphRAG类及其相关概念，包括数据类、泛型、类型提示和依赖注入等。文章通过简单图类的示例来对比说明使用泛型的好处。同时，对GraphRAG类的配置、服务和策略进行了介绍。文章还讨论了如何初始化GraphRAG实例，并介绍了其内部的工作机制。最后，作者预告了下一篇文章将研究fast graphrag的insert策略，并鼓励读者在评论区分享经验和看法。

fast-graphrag 探索（1）

学习

摘要：本文主要介绍了对fast-graphrag项目的初步探索和实践。首先，简要介绍了数据准备阶段，包括使用模型生成故事以及官方demo的修改。接着，描述了测试代码的执行过程，包括环境变量的设置、GraphRAG的创建以及数据的插入和查询。然后，展示了生成的pkl文件和pklz文件的处理方式，并解释了使用这些文件的原因。最后，对fast-graphrag项目进行了拓展，包括后续的查询操作和可能的进一步应用。整体而言，这是一个有趣且富有挑战性的项目，对于理解和应用图结构数据有一定的帮助。

他会是RAG方案的王者吗？

学习

文章讨论了RAG（Retrieval Augmented Generation）方案，针对大型语言模型（LLMs）存在的知识过时、生成内容不准确、数据安全性问题、响应不可预测性、答案来源非权威性和术语混淆等问题，RAG通过从海量数据源中检索信息来辅助生成答案，提高了LLM的可靠性和可解释性。文章还介绍了RAG技术的发展，包括GraphRag和fast-graphrag等。最后提供了fast-graphrag的测试代码和安装方法，并分享了模型应用的一些经验和看法。文章关键词为python、rag方案的发展和挑战。

Lobe-Chat：你的一站式AI聊天解决方案

学习

Lobe-Chat是一个开源的高性能聊天机器人框架，提供语音合成、多模态交互和可扩展的插件系统。它支持一键部署私有ChatGPT/LLM Web应用，拥有活跃的社区和丰富的“助理”与插件。技术特点包括支持OpenAI的gpt-4-vision模型、集成文本到语音和语音到文本技术。用户体验方面，界面简洁友好，支持多平台使用，并提供个性化对话设置和角色配置。文章还介绍了私有化部署、接入模型、chat功能、发现广场等方面的详细操作，以及Lobe-Chat与千帆模型的接入问题及解决方案。总的来说，Lobe-Chat是一站式AI聊天解决方案，为本地部署提供了高效的信息服务和丰富的交互体验。