python

您将找到丰富的资源和教程,帮助您从零开始学习Python编程,掌握数据分析、人工智能、自动化脚本等实用技能。无论您是编程新手还是有一定经验的开发者,我们提供的Python学习内容都能满足您的需求。通过深入浅出的讲解和实际案例,助您快速提升编程能力,解决实际问题,提升职业竞争力。

1239.串联字符串的最大长度 关于字符串的回溯算法!

算法

1239.串联字符串的最大长度 关于字符串的回溯算法!

题目: 给定一个字符串数组 arr,字符串 s 是将 arr 某一子序列字符串连接所得的字符串, 如果 s 中的每一个字符都只出现过一次,那么它就是一个可行解。 请返回所有可行解 s 中最长长度。 提示: 1 <= arr.length <= 16 1 <= arr[i].length <= 26 arr[i] 中只含有小写英文字母 示例: 示例 1: 输入:arr = ["un","iq","ue"] 输出:4 解释:所有可能的串联组合是

二分查找算法 四种题型六道题目总结,从此二分不迷路!

大前端

二分查找算法 四种题型六道题目总结,从此二分不迷路!

前言 二分查找在算法中一般有四类题目: 1. 排序或通过排序后的数组,快速求某个值的下标 * 1. 求某个值在数组中的左右端点 * (中等) 1. 通过条件判断进行二分查找 * (中等) 1. 局部有序的二分查找 * (中等) * (中等) 今天将这四类列举六道题,让大家一次看个够,从此二分不迷路! 难度:简单 题目 给定一个排序数组和一个目标值,在数组中找到目标值,并返回其索引。如果目标值不存在于数组中, 返回它将会被按顺序插入的位置。 你可以假设数组中无重复元素。 示例 示例 1: 输入: [1,3,5,6], 5 输出: 示例 2: 输入: [1,3,5,6], 2 输出: 1 示例 3: 输入:

自然语言处理 特征提取

算法

自然语言处理 特征提取

文章目录 * * * * 1. 基本文本处理技能 1.1 分词 在语言中,语义的基本单元是单词。在英语句子中已天然就已经分割成单词(空白符和标点符号隔开),而在汉语中字和字紧紧的连在一起。所以我们需要进行分词。在英文中与分词较为相似的任务称作是tokenization,举例来说: * Mr. Smith visited Wendy’s new house. -> Mr. Smith visited Wendy 's new house . (最后的是句号,所以也要被切分开。) 分词的本质是把字符序列转换成词的序列。而分词是一个歧义性比较强的任务。分词有很多种算法:基于字符串匹配算法、基于理解的算法、基于统计的算法(如HMM和n-gram)等。下面重点介绍第一种字符串匹配算法。 1.1.1 分词的正向最大匹配 分词的正向最大匹配本质是基于分治和贪婪两种算法思想。为了便于理解,我们先讲贪婪,后讲分治+

linux系统服务器A读取远程linux系统服务器B文件(以cv读图文件为列)

linux系统服务器A读取远程linux系统服务器B文件(以cv读图文件为列)

文章目录 * * 前言 当一个服务器需要处理另一个服务器上已知图像的绝对路径时,可以使用 Paramiko 库连接到远程服务器并读取图像,然后使用 OpenCV(cv2)库在本地服务器上加载和处理图像。以下是示例代码,演示了如何使用 Paramiko 和 cv2 库来实现这一操作。本文就给出应用。 一、读取远程文件 如何使用 Paramiko 和 cv2 库来处理另一个服务器上已知图像的绝对路径。首先,我们使用 Paramiko 库连接到远程服务器,并通过 SFTP 协议从远程服务器读取图像文件。然后,我们将读取的图像数据转换为 NumPy 数组,并使用 cv2 库在本地服务器上加载图像进行处理。 这段代码的关键点在于使用 Paramiko 库建立与远程服务器的连接,通过 SFTP 协议从远程服务器读取图像文件,并将图像数据转换为适合 OpenCV 处理的格式。接着,我们使用 cv2

tensorflow get_variabe()和scope

python

tensorflow get_variabe()和scope

1. tf.Variable()和tf.get_variable()的区别 TensorFlow的文档里推荐尽量使用tf.get_variable()。tf.Variable()必须提供一个初始值,这一般通过numpy(或者Python)的随机函数来生成,初始值在传入的时候已经确定(但还没有真正初始化变量,还需要用session.run来初始化变量)。而tf.get_variable()一般通过initializer来进行初始化,这是一个函数,它可以更加灵活的根据网络的结构来初始化。比如我们调用tf.get_variable()时不提供initializer,那么默认会使用tf.glorot_uniform_initializer,它会根据输入神经元的个数和输出神经元的个数来进行合适的初始化,从而使得模型更加容易收敛。 另外一个重要的区别就是tf.Variable()总是会(成功的)创建一个变量,如果我们提供的名字重复,那么它会自动的在后面加上下划线和一个数字,比如: from __future__ import print_function from

监听进程结束并自动运行新进程与虚拟环境智能切换的sh脚本

监听进程结束并自动运行新进程与虚拟环境智能切换的sh脚本

文章目录 * 前言 在编程中,等待进程结束或许是一个很长时间,特别是深度学习。那么这种等待发生在晚上是一个不友好现象,为避免等待情况。我写了一个sh脚本,帮助监听PID,一旦PID进程结束,立即启动我们想运行程序(通常为模型训练),这样我们就不必监控此进程了。当然,深度学习也会涉及自动启动虚拟环境等状况,使其更加智能,我也会在本文中给出sh文件书写方式。 一、等待进程结束自动运行新进程 在这个修改后的Shell脚本中,我们设置了要监听的PID为29455(你可以根据实际情况更改为其他PID),然后在循环中检查该PID是否在运行。如果PID不再运行,则会打印一条消息并立即运行scripts/v1_5/finetune_lora.sh文件。需要说明,如果你执行 scripts/v1_5/finetune_lora.sh此命令需要用什么环境,可提前conda activte “你的环境”,随后类似服务器命令执行方法一样。其sh文件脚本如下: # 设置要监听的PID pid_to_monitor=29455 while true;

huggingface的self._maybe_log_save_evaluate、self.save_model、self._save源码解读(权重等内容保存)

huggingface的self._maybe_log_save_evaluate、self.save_model、self._save源码解读(权重等内容保存)

文章目录 * * * * * 前言 在 Hugging Face 中,self._maybe_log_save_evaluate是有关权重等内容相关保存函数。本文通过该函数探索huggingface内部源码对权重相关文件保存方法,以供读者了解huggingface保存权重文件原理。 一、self.state与self.control初始化 请参考huggingface专栏中的huggingface的self.state与self.control来源(TrainerState与TrainerControl)文章。 二、self._maybe_log_save_evaluate(tr_loss, model, trial, epoch, ignore_keys_for_eval)源码解读 这个函数我们也在有解读,也可以作为补充参考。我这里按照源码流程逐渐解读器内容。 1、_maybe_log_save_evaluate完整源码 def _maybe_log_save_

使用Python将xml标注文件转换为coco json格式

AI

使用Python将xml标注文件转换为coco json格式

文章目录 * 前言 在计算机视觉领域,特别是目标检测任务中,不同的数据集采用了不同的标注格式。Pascal VOC数据集使用XML文件进行目标检测的标注,而Microsoft COCO数据集则采用JSON格式。为了方便模型训练,我们经常需要将XML格式的数据转换成JSON格式。本文将详细介绍如何用Python实现这一转换,并将代码分为几个模块进行讲解。 一、读取xml文件 XML文件读取模块,该模块负责解析XML文件,并从中提取有用的信息,如类别标签、边界框坐标以及图像尺寸等。 def read_xml(xml_root): ''' :param xml_root: .xml文件 :return: dict('cat':['cat1',...],'bboxes':[[x1,y1,x2,y2],...],'whd'

强化学习 - Deep RL开源项目总结

算法

强化学习 - Deep RL开源项目总结

一. Lua 语言的程序包(运用框架:Torch 7): 1. 相关论文:Human-level control through deep reinforcement learning 另外的链接(不需要翻墙): 实现的算法名称:Deep Q-Networks(DQN) 推荐指数(★★★★★) 推荐理由:谷歌公司开源的第一个深度强化学习软件包,重要价值不用我多说了吧。 2. 软件包名称:/ 实现算法:DQN 应用场景:玩超级马里奥游戏 推荐指数(★★★) 相关论文: 3. 软件包名称:/ 实现算法: DQN, persistent advantage learning, dueling network, double DQN, A3C 推荐指数(★★★★) 4. 软件包名称:/ 实现算法:Reinforced Inter-Agent

大模型lora训练、权重保存、训练方法与完整训练代码(基于llama模型)

大模型

大模型lora训练、权重保存、训练方法与完整训练代码(基于llama模型)

文章目录 * * 前言 本篇文章介绍lora训练与huggingface训练源码构建,以及权重保存、数据格式与完整训练代码内容! 一、构建lora训练模式 1、调用代码 这步较为简单,我们构建lora,只需调用peft库,可帮忙实现。我这里也给出了lm_head是否训练方法,具体代码如下: if training_args.use_lora: # 使用lora模型梯度即使是True也会会变成False,只有lora变量为True model = load_lora_mode(model,training_args,device_map) if training_args.tune_lm_head: for name,param in model.named_parameters(): if "lm_head"