python

python并发与并行（八） ———— 用协程实现高并发的I/O

在前面几条里，我们以生命游戏为例，试着用各种方案解决I/O并行问题，这些方案在某些情况下确实可行，但如果同时需要执行的I/O任务有成千上万个，那么这些方案的效率就不太理想了 像这种在并发方面要求比较高的I/O需求，可以用Python的协程（coroutine）来解决。协程能够制造出一种效果，让我们觉得Python程序好像真的可以同时执行大量任务。这种效果需要使用async与await关键字来实现，它的基本原理与生成器（generator）类似，也就是不立刻给出所有的结果，而是等需要用到的时候再一项一项地获取 启动协程是有代价的，就是必须做一次函数调用。协程激活之后，只占用不到1KB内存，所以只要内存足够，协程稍微多一些也没关系。与线程类似，协程所要执行的任务也是用一个函数来表示的，在执行这个函数的过程中，协程可以从执行环境里面获取输入值，并把输出结果放到这个执行环境之中。协程与线程的区别在于，它不会把这个函数从头到尾执行完，而是每遇到一个await表达式，就暂停一次，下次继续执行的时候，它会先等待await所针对的那项awaitable操作有了结果（那项操作是用async函数表示的

python

python并发与并行（十） ———— 结合线程与协程，将代码顺利迁移到asyncio

在前一篇中，我们用asyncio模块把通过线程来执行阻塞式I/O的TCP服务器迁移到了协程方案上面。当时我们一下子就完成了迁移，而没有分成多个步骤，这对于大型的项目来说，并不常见。如果项目比较大，那通常需要一点一点地迁移，也就是要边改边测，确保迁移过去的这一部分代码的效果跟原来相同。 为了能够分步骤地迁移，必须让采用线程做阻塞式I/O的那些代码能够与采用协程做异步I/O的代码相互兼容。具体来说，这要求我们既能够在线程里面执行协程，又能够在协程里面启动线程并等待运行结果。好在asyncio模块已经内置了相关的机制，让线程与协程可以顺利地操作对方。 例如，现在要写一个程序，把许多份日志文件合并成一条输出流，以便我们调试程序。给定日志文件的句柄之后，我们得想办法判断有没有新数据到来，如果有，就返回下一行输入内容。为了实现这项功能，可以调用文件句柄的tell方法，并判断当前读取到的这个位置是否为文件中的最后一个位置。若是，就说明没有新数据，这时应该抛出异常。 class NoNewData(Exception): pass def readline(handle): o

python并发与并行（十一） ———— 让asyncio的事件循环保持畅通，以便进一步提升程序的响应能力

前一篇blog说明了怎样把采用线程所实现的项目逐步迁移到asyncio方案上面。迁移后的run_tasks协程，可以将多份输入文件通过tail_async协程正确地合并成一份输出文件。 import asyncio # On Windows, a ProactorEventLoop can't be created within # threads because it tries to register signal handlers. This # is a work-around to always use the SelectorEventLoop policy # instead. See: https://bugs.python.org/issue33792 policy = asyncio.get_event_loop_policy() policy._loop_

【Docker】针对开发环境、测试环境、生产环境如何编排？

目录 一、引言 在软件开发和部署的过程中，不同的环境有着不同的需求和配置。Docker 作为一种强大的容器化技术，能够帮助我们轻松地创建和管理不同环境下的应用程序。通过合理地编排 Docker 容器，我们可以确保应用在开发、测试和生产环境中的一致性和可靠性。本文将详细介绍如何针对这三种环境进行 Docker 编排，包括 docker-compose 文件的编写以及配置文件全局变量的设置。 二、Docker Compose 文件基础 Docker Compose 是一个用于定义和运行多个 Docker 容器的工具，它使用 YAML 文件来配置应用程序的服务、网络和卷等方面14. 以下是一个基本的 docker-compose.yml 文件结构： version: '3.3' services: # 服务1的配置 service1: image: image_name:tag container_name:

python

第十五次总结:面向对向，继承

1.身份运算符 身份运算符用于 比较 两个对象的 内存地址 是否一致 —— 是否是对同一个对象的引用 * 在 Python 中针对 None 比较时，建议使用 is 判断 运算符描述实例isis 是判断两个标识符是不是引用同一个对象x is y，类似 id(x) == id(y)is notis not 是判断两个标识符是不是引用不同对象x is not y，类似 id(a) != id(b) 2.is与==区别 is 用于判断 两个变量 引用对象是否为同一个 == 用于判断 引用变量的值 是否相等 >>>

Android kernel log 加上android logcat -v time 一样的时间戳

当看到其他人开始开始在kernel log前加上时间戳感觉自己一定要找到方法，在从网上找到一个python脚本并加以研究后终于可以，这对于后面分析问题有帮助，记录便于后续使用， 现在很多平台如高通，MTK会在kernel log打上android  time ,  众所周知， 启动时间一直就在，因此根据这两个时间就可以打出来，借助以下脚本可以完成： import time import datetime import sys import getopt import os   a_time = None s_second = None s_microsecone = None abs_time = 0.0 inputfile = None outputfile = None   def usage():     print('''Help Information:              -h, --help:

AI

第十八次总结：模块与包

1.模块 模块是 Python 程序架构的一个核心概念 * 每一个以扩展名 py 结尾的 Python 源代码文件都是一个 模块 * 模块名 同样也是一个 标识符，需要符合标识符的命名规则 * 在模块中定义的 全局变量 、函数、类 都是提供给外界直接使用的 工具 * 模块 就好比是 工具包，要想使用这个工具包中的工具，就需要先 导入 这个模块 2.模块的两种导入方式 1）import 导入 import 模块名1, 模块名2 提示：在导入模块时，每个导入应该独占一行 import 模块名1 import 模块名2 * 导入之后 * 通过 模块名. 使用 模块提供的工具 —— 全局变量、函数、