Python爬虫(七)--Scrapy模拟登录

http://www.jianshu.com/p/b7f41df6202d#

1. Cookie原理

HTTP是无状态的面向连接的协议, 为了保持连接状态, 引入了Cookie机制
Cookie是http消息头中的一种属性，包括：
  • Cookie名字（Name）Cookie的值（Value）
  • Cookie的过期时间（Expires/Max-Age）
  • Cookie作用路径（Path）
  • Cookie所在域名（Domain），使用Cookie进行安全连接（Secure）。
    前两个参数是Cookie应用的必要条件，另外，还包括Cookie大小（Size，不同浏览器对Cookie个数及大小限制是有差异的）。

2. 模拟登陆

首先查看登陆时的表单结果, 依然像前面使用的技巧一样, 故意输错密码, 方面抓到登陆的网页头部和表单(我使用的Chrome自带的开发者工具中的Network功能)
文／Andrew_liu（简书作者）
原文链接：http://www.jianshu.com/p/b7f41df6202d#
著作权归作者所有，转载请联系作者获得授权，并标注“简书作者”。

评论

发表评论

此博客中的热门博文

openflow switch(I)

图片
一、基础概念图： 　　首先我们先看下Open Flow Switch的整体结构，以便有一个初步的感性认识，如下图所示： 从上面架构图中，我们可以看到Open Flow Switch主要是由以下几个部分构成： 1、Remote Controller：我们知道，SDN网络将传统的网络结构划分成了Control Plane和Data Plane两部分，这里的Remote Controller正是Control Plane部分，通过约定的通信协议来远程控制管理OpenFlow Switch，增加、删除或者修改OpenFlow Switch的Flow Entries。 2、OpenFlow Channel：它可以被认为是OpenFlow Switch对外开放的接口，接受来自于Remote Controller的通信协议，进而来操纵OpenFlow Switch。 3、OpenFlow Protocol：一种通信协议规范，用于Remote Controller和OpenFlow Switch之间的消息交换。 4、Flow Table：包含多个Flow Entry记录，控制数据包的流向，具体过程可参考下文。 5、Group Table：相对于Flow Table，控制着数据包更高级的转发特性，比如Flooding、Multipath、Fast Reroute、Link Aggregation等。 6、Pipeline：由多个Flow Table链接而成，控制数据包的一系列行为。 OpenFlow Ports 1、Standard Ports（标准端口）：  　　OpenFlow Standard Ports通常被定义为是 Physical ports, logical ports和支持的 LOCAL Reserved ports （不包括其他的Reserved ports）。它们可被用于 ingress port，也可被用于 output port，同样可以用于 Group 里，它们都有 port counters。 2、Physical Ports（物理端口）： 　　OpenFlow Physical Ports是OpenFlow Switch定义的、 对应于物理交换机的一个硬件接口的port。 比如在一个以太网交...
阅读全文

YANG Tools:YANG to Java Mapping

1   YANG to JAVA mapping 1.1   Package name 1.1.1   Other package names 1.2   Class and interface name 1.3   Getters and setters name 1.4   Module 1.4.1   Data Interface 1.4.2   Service Interface 1.5   Typedef 1.5.1   Type's valid arguments 1.5.1.1   Enumeration's substatement enum 1.5.1.2   Bits's substatement bit 1.5.1.3   Union's substatement type 1.5.2   String mapping 1.6   Container 1.7   Leaf 1.8   Leaf-list 1.9   List 1.10   Choice and case 1.11   Grouping and uses 1.12   Rpc 1.13   Notification 1.14   Augment 1.15   Identity Package name The package name consists from following parts: opendaylight prefix  - every package name starts with prefix  org.opendaylight.yang.gen.v1  which is hardcoded in  BindingGeneratorUtil.moduleNamespaceToPackageName() . YANG version  - is specified through...
阅读全文

OpenDaylight架构简介

图片
在我们跳入代码之前，需要对OpenDaylight控制器进行高级概述。 OpenDaylight是一个模块化平台，大多数模块 reusing  一些常见的服务和接口。 每个模块都是在多供应商子项目下开发的。 你可以在这里找到项目的列表。 在OpenDaylight平台上构建应用程序的想法是利用其他平台包中的功能，每个平台包都通过Java接口导出重要的服务。 许多这些服务是在称为MD-SAL的适应层上在提供者 - 消费者模型中构建的。 在OpenDaylight的核心编程中的MD-SAL数据存储涉及采用用于SDN应用开发的模型 - 视图 - 控制方法： 1. YANG Model for  数据，RPC和通知 （ YANG Model for data, RPC and notifications ） 2.REST API视图通过RESTconf实现自动生成和访问 3.Java编码处理数据更改，通知和RPC回调 （ Java Implementation coded to handle data changes, notifications and RPC call backs） 3.1模型驱动的SAL（MD-SAL） 模型驱动的服务适配层（MD-SAL）是平台的内核，不同的 层和模块通过API互连 。 以下是关于MD-SAL的一些重要注意事项：    1. 每个API都 是在构建期间从 YANG语言中定义的模型生成的 ，并且当模型包（ model bundle ）装入到Karaf平台时 加载到控制器中 。   2.在平台的核心是逻辑集中的数据存储，其将相关状态保持在两个桶中 - 1）配置数据存储，2）操作数据存储。   3.使用MD-SAL映射逻辑， 所有事件调用和数据通过此中央数据存储区从“提供者”到“消费者” 。 3.2  YANG  模型 OpenDaylight大量使用YANG来 建模在不同模块间的数据 ，通知或  remote procedure call  （RPC）。 对于那些不熟悉YANG的学生，我们建议您通过Tail-F系统学习YANG教程。 简而言之，YANG是一种用于描述存储在容器...
阅读全文