本系列：

創(chuàng)新互聯(lián)是一家專(zhuān)注于成都做網(wǎng)站、網(wǎng)站制作、成都外貿(mào)網(wǎng)站建設(shè)和雅安移動(dòng)機(jī)房的網(wǎng)絡(luò)公司，有著豐富的建站經(jīng)驗(yàn)和案例。

• 《手把手教你寫(xiě)網(wǎng)絡(luò)爬蟲(chóng)（1）：網(wǎng)易云音樂(lè)歌單》
• 《手把手教你寫(xiě)網(wǎng)絡(luò)爬蟲(chóng)（2）：迷你爬蟲(chóng)架構(gòu)》
• 《手把手教你寫(xiě)網(wǎng)絡(luò)爬蟲(chóng)（3）：開(kāi)源爬蟲(chóng)框架對(duì)比》
• 《手把手教你寫(xiě)網(wǎng)絡(luò)爬蟲(chóng)（4）：Scrapy入門(mén)》
• 《手把手教你寫(xiě)網(wǎng)絡(luò)爬蟲(chóng)（5）：PhantomJS實(shí)戰(zhàn)》
• 《手把手教你寫(xiě)網(wǎng)絡(luò)爬蟲(chóng)（6）：分布式爬蟲(chóng)》

IPv6編碼地址數(shù)：2^128（約3.4×10^38）

IPv6是IETF設(shè)計(jì)的用于替代現(xiàn)行版本IP協(xié)議（IPv4）的下一代IP協(xié)議，號(hào)稱(chēng)可以為全世界的每一粒沙子編上一個(gè)網(wǎng)址。

 
 
 
 
  
  
  
  
public  boolean put(T object, Funnel funnel, int numHashFunctions, BitArray bits) {  
  
  
  
  
    long bitSize = bits.bitSize();  
  
  
  
  
    long hash64 = Hashing.murmur3_128().hashObject(object, funnel).asLong();  
  
  
  
  
    int hash1 = (int) hash64;  
  
  
  
  
    int hash2 = (int) (hash64 >>> 32);   
  
  
  
  
 
  
  
  
  
    boolean bitsChanged = false;  
  
  
  
  
    for (int i = 1; i <= numHashFunctions; i++) {  
  
  
  
  
        int combinedHash = hash1 + (i * hash2);  
  
  
  
  
        // Flip all the bits if it's negative (guaranteed positive number)  
  
  
  
  
        if (combinedHash < 0) {  
  
  
  
  
            combinedHash = ~combinedHash;  
  
  
  
  
        }  
  
  
  
  
        bitsChanged |= bits.set(combinedHash % bitSize);  
  
  
  
  
    }  
  
  
  
  
    return bitsChanged;  
  
  
  
  
}  
 
 
 

 
 
 
 
  
  
  
  
boolean set(long index) {   
  
  
  
  
    if (!get(index)) {   
  
  
  
  
        data[(int) (index >>> 6)] |= (1L << index);   
  
  
  
  
        bitCount++;   
  
  
  
  
        return true;   
  
  
  
  
    }   
  
  
  
  
    return false;   
  
  
  
  
}     
  
  
  
  
  
  
  
  
  
boolean get(long index) {   
  
  
  
  
    return (data[(int) (index >>> 6)] & (1L << index)) != 0;   
  
  
  
  
}   
 
 
 

02 先get()一下，看看是不是已經(jīng)置為1。

03 index右移6位就是除以64，說(shuō)明data是long型的數(shù)組，除以64就定位到了bit所在的數(shù)組下標(biāo)。1L左移index位，定位到了bit在long中的位置。

分享名稱(chēng)：手把手教你寫(xiě)網(wǎng)絡(luò)爬蟲(chóng)（7）：URL去重
轉(zhuǎn)載源于：http://uogjgqi.cn/article/djcchjp.html