Python 外部函数调用库ctypes简介

2017年02月05日 13 阅读

Table of Contents1. 参考资料2. ctypes简介2.1. 数据类型2.2. 调用.so/.dll2.2.1. 加载动态链接库2.2.2. 调用加载的函数2.2.3. 设置个性化参数2.2.4. 指定函数需要参数类型和返回类型3. 题外话参考资料https://docs.python.org/2.7/library/ctypes.htmlhttp://www.linuxidc.com/Linux/2016-12/137761.htmct...

浅谈 Python 程序和 C 程序的整合

2017年02月05日 13 阅读

Python 是一种用于快速开发软件的编程语言，它的语法比较简单，易于掌握，但存在执行速度慢的问题，并且在处理某些问题时存在不足，如对计算机硬件系统的访问，对媒体文件的访问等。而作为软件开发的传统编程语言 C 语言，却能在这些问题上很好地弥补 Python 语言的不足。因此，本文通过实例研究如何在 Python 程序中整合既有的 C 语言模块，包括用 C 语言编写的源程序和动态链接库等，从而充分发挥 Python 语言和 C 语言各自的优势。概览Pytho...

Python logging 模块简介

2017年02月05日 13 阅读

Table of Contents1. Logging 模块1.1. 简介1.2. 简单输出日志1.3. 输入日志到文件1.4. 几个基本概念1.4.1. loggers1.4.2. handlers 和轮转日志1.4.3. Formatters 和 个性化输出1.5. 其它1.5.1. logger.exception1.5.2. Filter Object1.5.3. 线程安全1.5.4. Logging Flow1.5.5. 从配置文件获取loggi...

Python os.walk（） 简介

2017年02月05日 13 阅读

Table of Contents1. os.walk目录遍历1.1. os.walk1.2. 例子1.2.1. 测试topdown1.2.2. 运行时修改遍历目录2. 参考资料os.walk目录遍历每个月都有那么几天想划水，又到划水的日子了，今天分享的是刚在处理遍历目录相关用到的相关方法。os.walkos.walk的参数如下:os.walk（top, topdown=True, onerror=None, followlinks=False）其中：to...

Python locale 多语言模块及遇到问题解决

2017年02月05日 13 阅读

Table of Contents1. locale遇到的问题1.1. locale 简介1.1.1. 什么是locale1.1.2. locale 相关命令1.2. Python locale1.3. 我踩的坑1.3.1. strptime 和 strftime1.3.2. 阿里云oss sdk 使用遇到的问题2. 参考资料locale遇到的问题今天工作上遇到一个 locale 相关的问题，关于字符串格式化的。不过让我们先从 locale 说起。loca...

Python 探测图片文件类型

2017年02月05日 15 阅读

Table of Contents1. 探测图片类型1.1. python magic1.2. imghdr1.3. PIL.Image探测图片类型今天遇到一个小问题，如何探测图片的文件类型。总结如下：python magicmagic 模块的github地址在这， 可以用来方便地探测文件类型，使用示例如下，可以方便地探测一个文件或是字节流文件。>>> import magic>>> magic.from_file（"t...

信号量和互斥量C语言示例理解线程同步

2017年02月05日 13 阅读

Table of Contents1. 线程同步1.1. 用信号量进行同步1.2. 用互斥量进行同步2. 参考资料线程同步了解线程信号量的基础知识，对深入理解python的线程会大有帮助。当两个线程同时执行时，不可避免同时操作同一个变量或者文件等，所以需要有一组机制来确保他们能正确的运行：信号量和互斥量。信号量可以分为最简单的“二进制信号量”和更通用的“计数信号量”。信号量通常用来保护一段代码，使其每次只能被...

Python linecache模块

2017年02月05日 13 阅读

Table of Contents1. linecache1.1. 其它2. 参考资料linecache今天分享一个python的小模块: linecache, 可以用它方便地获取某一文件某一行的内容。而且它也被 traceback 模块用来获取相关源码信息来展示。用法很简单:>>> import linecache>>> linecache.getline（"/etc/passwd", 4）"sys:x:3:3:sys...

Python 有序字典简介

2017年02月05日 13 阅读

Table of Contents1. 有序字典-OrderedDict简介1.1. 示例1.2. 相等性1.3. 注意2. 参考资料有序字典-OrderedDict简介示例有序字典和通常字典类似，只是它可以记录元素插入其中的顺序，而一般字典是会以任意的顺序迭代的。参见下面的例子:import collectionsprint "Regular dictionary:"d = {}d["a"] = "A"d["b"] = "B"d["c"] = "C"d[...

Python 信号处理 signal 模块

2017年02月05日 13 阅读

Table of Contents1. signal模块简介1.1. signal简单示例1.2. signal说明1.2.1. 基本的信号名1.2.2. 常用信号处理函数2. signal使用示例2.1. 示例12.2. 示例23. 参考资料signal模块简介最近在看Linux signal 相关内容，signal可以被用来进程间通信和异步处理。Python标准库提供了signal包可以用来处理信号相关。这里讨论的是Unix系统中Python的sign...

Python os模块进程函数

2017年02月05日 13 阅读

Table of Contents1. 系统进程2. 举例2.1. os.fork2.2. os.exec 和 os.system2.3. os.wait3. 总结系统进程今天在看《Beginning Linux Programming》中的进程相关部分，讲到Linux几个进程相关的系统函数: system, exec, fork, wait. Python的 os 模块实现了对应的函数封装了这些系统调用: os.system, os.exec, os.f...

Python 频繁请求问题: [Errno 104] Connection reset by peer

2017年02月05日 15 阅读

记遇到的一个问题:[Errno 104] Connection reset by peer今天工作上有个需求，数据库有个表有将近3万条url记录，每条记录都是一个图片，我需要请求他们拿到每个图片存到本地。一开始我是这么写的（伪代码）:import requestsfor url in urls:try:r = requests.get（url）.contentsave_image（r）except Exception, e:print str（e）然而在服...

内存映射mmap

2017年02月05日 13 阅读

Table of Contents1. 什么是mmap2. 使用方法2.1. mmap构造器的格式2.2. 例子12.3. 例子23. 其它4. 参考资料什么是mmap通常在Unix系统里有两种操作的数据类型：内存地址和流文件（stream）。通过操作内存地址的方法涉及的操作有:pointers, malloc/free之类，而操作流文件涉及的方法有read/write/seek等系统调用或者send/recv/etc等socket操作。而mmap提供了结...

Python中类的__slots__属性

2017年02月05日 14 阅读

默认情况下，python对象队象的每个实例（instance）都会有一个字典来存储该实例的属性，这样做的好处在于运行时期每个对象可以任意设置新的属性。而相对应的坏处是，当创建成百上千个这样的实例的时候回很浪费内存。所以引入__slots__，用来指定实例只拥有固定的属性，因此python会给每个实例对象分配固定的内存空间，从而减少内存消耗。而且使用__slots__可以加快属性的访问。用法__slots__可以被设置成属性名称的字符串，可遍历的对象或者序列...

Java Queue 使用总结

2017年02月05日 14 阅读

Queue概览如图所示，在并发队列上，JDK提供了2套实现，一个是以ConcurrentLinkedQueue为代表的高性能非阻塞队列，一个是以BlockingQueue接口为代表的阻塞队列，无论哪种都继承自Queue。使用阻塞算法的队列可以用一个锁（入队和出队用同一把锁）或两个锁（入队和出队用不同的锁）等方式来实现，而非阻塞的实现方式则可以使用循环CAS的方式来实现,下面我们来一一分析。ConcurrentLinkedQueue一个适用于高并发场景下的队...

Python检查xpath和csspath表达式是否合法

2017年02月05日 14 阅读

在做一个可视化配置爬虫项目时，需要配置爬虫的用户自己输入xpath和csspath路径以提取数据或做浏览器操作。考虑到用户的有时会输入错误的xpath或csspath路径，后台需要对其做合法性校验。xpath有效性校验对于xpath的有效性检验，使用第三方lxml模块中的etree.XPathEvalError进行校验。不得不说lxml是一个解析爬虫数据的利器，当etree.xpath（）遇到不合法的xpath路径时会抛出XPathEvalError错误。...

Python魔术方法-Magic Method

2017年02月05日 13 阅读

介绍 在Python中，所有以“__”双下划线包起来的方法，都统称为“Magic Method”,例如类的初始化方法 __init__ ,Python中所有的魔术方法均在官方文档中有相应描述，但是对于官方的描述比较混乱而且组织比较松散。很难找到有一个例子。构造和初始化 每个Pythoner都知道一个最基本的魔术方法， __init__ 。通过此方法我们可以定义一个对象的初始操作。然而，当调用 x = So...

Java避免创建不必要的对象

2017年02月05日 16 阅读

最近看到了《Effective Java》这本书，这本书包含的内容非常丰富，这本书我就不多介绍了，只能默默的说一句，作为一名java开发错过了这本书难免会成为一个小遗憾，所以还是建议有时间的小伙伴能够去看看这本书，时间挤挤总还是有的。这本书介绍的很多东西我现在也还看不太明白，很多东西我们在平时的开发中也不见得会用上，所以我不会每个东西都拿来详细解释一遍，只会从中抽取我们平时开发中比较实用的，以及小Alan这个小菜鸟能够看懂的部分，至于一些不实用的以及比较高...

Java异常之自定义异常

2017年02月05日 15 阅读

哎呀，妈呀，又出异常了！俗话说：“代码虐我千百遍，我待代码如初恋”。最近一直在忙着工作，已经很久没有写写东西来加深自己的理解了，今天来跟大家聊聊Java异常。Java异常的体系什么的，理论知识啥的我就懒得去BB太多了，是个搞Java开发的都知道，只是可能理解的不深，这个大家可以自己多看看资料，我就简单的说说。什么是异常？我不知道大家都是怎么去理解的，我的理解很简单，那就是不正常的情况，比如我现在是个男的，但是我却有着女人所独有的东西...

Java基础从数组到集合之间关键字的区别

2017年02月05日 14 阅读

Java基础从数组到集合之间关键字的区别1.&& 和 &区别和联系： 相同点 ： 结果是一样的。 不同点 ：如果使用双&号判断，如果说条件一为false，不会判断条件二，但是单&号会继续判断。2.|| 和 |区别和联系： 相同点 ： 结果一样。 不同点 ： 如果使用||号判断，如果说条件一为true，不会判断条件二，但是单|号会继续判断。3.==和equals（）的区别： ==：比较的是地址（引用...