GDS [1] 使用Google桌面搜索构建企业搜索方案

博客园 - Flier Lu

[草稿] 自动下载完整的.NET源代码 Atlas 实现机制浅析 [3] Atlas 实现机制浅析 [2] Atlas 实现机制浅析 [1] [草稿] Managed COM Apartment - ExecutionContext [1] ASP.NET 2.0 异步页面原理浅析 [1] 也评《应用框架的设计与实现——.NET平台》 CLR 调试支持机制原理浅析 [1] 整体结构 [草稿] 咬文嚼字之 Java 版关注企业级服务自身的可管理性享受 .NET 时代的 COM+ 开发感受 COM+ 事务性在 CLR 1.1 中获取 IL 函数体信息基于透明代理的内部类访问抽象 [2] 自动类型转换与封装基于透明代理的内部类访问抽象 [1] 类型与调用的封装 [TIPS] 正确判断当前用户角色使用 FishEye 直观了解 CVS 情况在 .NET 中获取 AD 上帐号密码过期时间用WinDbg探索CLR世界 [10] 透明代理实现原理浅析 - 静态结构

Flier Lu · 2005-04-06 · via 博客园 - Flier Lu

http://www.blogcn.com/User8/flier_lu/blog/20045179.html

最近实在太忙，没空更新blog，只好贴点代码先，呵呵

    在建立企业内容管理服务器时，一个很大的问题是如何处理种类繁多、数量巨大的文件检索和定位问题。虽然大部分关系型数据库提供了 LIKE 语句或面向字段的全文检索支持，但并非所有数据都适合保存在数据库中。例如一个 SharePoint 建立的知识共享服务器上，存在 DOC, PPT, PDF, CHM 等不同格式文档文件，面向内容的全文检索如 Lucene 或 MS Search 都无法提供直接的完善支持。而且对检索内容的更新和历史追述也是大问题，特别是基于文件方式共享时，很难对更新文档的索引实效性和更新的历史做维护。
    好在现在有了 Google 桌面搜索(GDS - Google Desktop Search)，让这些恼人的问题可以告一段落了，呵呵。
     我们所需要做的只是在服务器上安装一套 Google 桌面搜索，配置好允许它索引哪些目录，下载或开发一些特定格式文件的支持。Google 桌面搜索自身就支持 Word, Excel, Pointpoint, Html, Pdf 等常见格式，通过免费的插件还可以支持诸如 CHM 等特定格式，也可以很方便开发支持自己特定格式的索引插件。（本系列文章下一篇将以 foxmail 的索引器为例介绍如何开发索引器）而 Google 桌面搜索会自己处理诸如索引实效性和历史版本（快照）的问题。
    而使用 GDS 结果的最简单方法，莫过于直接访问 localhost:4664 的 Web 搜索界面。可以通过 Apache 的 mod_proxy 或类似功能将之转发到对外的页面上。但一个较大问题是这样返回的搜索结果是较难重用的 HTML 格式，而且路径指向的是服务器上的文件路径，对远程访问不可用。
    好在 GDS 提供了查询服务支持，我们可以通过此接口获取我们感兴趣的查询结果，并翻译成远程可用的地址链接。

    主要流程如下：

    1.检测 GDS 的安装情况，获取其查询请求的key
    2.向 GDS 以特定格式发送查询请求
    3.解析 GDS 返回的 XML 格式查询结果
    4.将查询结果翻译成远程可用形式，并在门户上展示

    第一步检测 GDS 的安装实现很简单，只需要测试特定注册表键的存在与否，以及其指向目录的有效性即可。

以下内容为程序代码:

namespace com.nsfocus.google.search
{
  public class SearchEngine
  {
    private static readonly DirectoryInfo _installDir, _dataDir;
    private static readonly String _url = null;

    static SearchEngine()
    {
      using(RegistryKey reg = Registry.CurrentUser.OpenSubKey(@"Software\Google\Google Desktop"[img]/images/wink.gif[/img])
      {
        try
        {
          _installDir = new DirectoryInfo((String)reg.GetValue("install_dir"[img]/images/wink.gif[/img]);
          _dataDir = new DirectoryInfo((String)reg.GetValue("data_dir"[img]/images/wink.gif[/img]);

if(!_installDir.Exists) _installDir = null;
if(!_dataDir.Exists) _dataDir = null;

          _url = (string)reg.OpenSubKey("API"[img]/images/wink.gif[/img].GetValue("search_url"[img]/images/wink.gif[/img];
        }
        catch(Exception)
        {
          _url = null;
        }
      }
    }

        public static bool IsInstalled
    {
      get
      {
        return _installDir != null && _dataDir != null && _url != null;
      }
    }

    public static DirectoryInfo InstallDirectory
    {
      get
      {
        return _installDir;
      }
    }

    public static DirectoryInfo DataDirectory
    {
      get
      {
        return _dataDir;
      }
    }
  }
}

注意 GDS 处于安全性或某方面的考虑，在安装时会为每台机器生成一个唯一的查询 key，在发送查询请求时必须附带此 key，否则查询会失败。这个 key 的内容可以通过 search_url 获取到，如笔者机器上 search_url 内容如下：

在得到搜索url后，就可以以特定格式组织查询请求，在一个GET请求中提交所有需要查询的内容。一般来说，查询参数可以分为查询字符串、查询标记、起始记录、返回记录数和返回格式。
查询字符串指定你要搜索的内容，如果内容中有空格，需要以 + 号替代；如果希望搜索一个连续匹配，需要用 " 号扩起来，并在发送时编码为 %25。查询字符串的编码支持如下：

以下内容为程序代码:

namespace com.nsfocus.google.search
{
  public class SearchEngine
  {
    public static string EncodeQuery(String query)
    {
      StringBuilder sb = new StringBuilder(query.Length);

      foreach(char ch in query)
      {
        switch(ch)
        {
          case ' ':
          {
            sb.Append('+');
            break;
          }
          case '\"':
          {
            sb.Append("%22"[img]/images/wink.gif[/img];
            break;
          }
          default:
          {
            sb.Append(ch);
            break;
          }
        }
      }

      return sb.ToString();
    }
  }

  [TestFixture]
  public class SearchEngineTester
  {
    [Test]
    public void testEncodeQuery()
    {
      Assert.AreEqual("test", SearchEngine.EncodeQuery("test"[img]/images/wink.gif[/img]);
      Assert.AreEqual("test+test", SearchEngine.EncodeQuery("test test"[img]/images/wink.gif[/img]);
      Assert.AreEqual("%22test+test%22+%22test+test%22", SearchEngine.EncodeQuery("\"test test\" \"test test\""[img]/images/wink.gif[/img]);
    }
  }
}

查询标记则包括要查询哪些类型的数据，以什么方式排序等等，如：

以下内容为程序代码:

namespace com.nsfocus.google.search
{
  [Flags]
  public enum SearchFlags : int
  {
    Default         = 0,
    SortByDate      = 8,
    SortByRelevance = 40,
    Chat            = 128,
    Web             = 256,
    File            = 512,
    Email           = 1024,
  }
}

    起始记录、返回记录数分别定义返回的查询结果从哪条记录开始，一次返回多少条，跟数据库操作中的分页很类似。返回格式则直接指定为便于二次分析处理的 xml 格式。
    具体完成搜索请求的代码如下：

以下内容为程序代码:

namespace com.nsfocus.google.search
{
  public class SearchEngine
  {
    internal XmlDocument Search(SearchQuery query)
    {
      StringBuilder sb = new StringBuilder(_url);

sb.Append(EncodeQuery(query.Query));

if(query.Format != null)
sb.Append("&format="[img]/images/wink.gif[/img].Append(query.Format);

if(query.Start > 0)
sb.Append("&start="[img]/images/wink.gif[/img].Append(query.Start);

if(query.Number > 0)
sb.Append("&num="[img]/images/wink.gif[/img].Append(query.Number);

if(query.Flags != 0)
sb.Append("&flags="[img]/images/wink.gif[/img].Append(query.Flags);

XmlDocument doc = new XmlDocument();

      using(Stream stream = _client.OpenRead(sb.ToString()))
      {
        doc.Load(stream);
      }

      return doc;
    }
  }
}

GDS 会根据搜索请求，返回一段 XML 格式的搜索结果，如

以下为引用：

<?xml version="1.0" encoding="UTF-8" standalone="yes" ?>
<results count="24945">
<result>
<category>file</category>
<id>46384</id>
<title>SDK Developer Documentation</title>
<url>C:\Documents and Settings\me\My Documents\developerguide.html~</url>
<time>127543068856350000</time>
<snippet>SDK Developer Documentation <b>Google</b> Desktop Search SDK Developer Guide For Users Download Plug-ins Desktop Search Forum For Developers</snippet>
<icon>/file.gif</icon>
<cache_url>http://127.0.0.1:4664/... </cache_url>
</result>
...
</results>

我们需要对结果集做解析和整理，分析生成一个完整可用的结果列表。

以下内容为程序代码:

namespace com.nsfocus.google.search
{
  public enum ResultCategory
  {
    Email,
    Chat,
    Web,
    File
  }

  public interface SearchResult
  {
    ResultCategory Category { get; }

int ID { get; }

String Title { get; }

Uri Url { get; }

DateTime Time { get; }

String Snippet { get; }

String Icon { get; }

    Uri CacheUrl { get; }
  }

  public interface SearchResultSet : IEnumerable
  {
    SearchQuery Query { get; }

int Count { get; }

int TotalNumber { get; }

SearchResult this[int idx] { get; }
}
}

然后就可以很方便的使用此封装库进行 GDS 查询，如

以下内容为程序代码:

    [STAThread]
    static void Main(string[] args)
    {
      ShowCopyright();

SearchEngine engine = new SearchEngine();

SearchResultSet results = engine.Search(args[0]);

      Console.Out.WriteLine("共搜索到 {0} 条匹配记录", results.TotalNumber);
      Console.Out.WriteLine();
     Console.Out.WriteLine("其中从第 {0} 条开始的 {1} 条记录为：", results.Query.Start, results.Query.Number);
      Console.Out.WriteLine();

      foreach(SearchResult result in results)
      {
        Console.Out.WriteLine("========================================"[img]/images/wink.gif[/img];
        Console.Out.WriteLine("Title: " + result.Title);
        Console.Out.WriteLine();
        Console.Out.WriteLine("URL: " + result.Url.ToString());
        Console.Out.WriteLine();
        Console.Out.WriteLine(result.Snippet);
      }
    }

对企业搜索服务来说，可以将 URL 转换为远程可用的 Web 地址。

下面是完整的结果集解析代码：

以下内容为程序代码:

namespace com.nsfocus.google.search.desktop
{
  public class SearchResultImpl : SearchResult
  {
    private readonly SearchResultSetImpl _resultSet;

    private readonly ResultCategory _cat;
    private readonly int _id;
    private readonly String _title, _snippet, _icon;
    private readonly Uri _url, _cacheUrl;
    private readonly DateTime _time;

    public SearchResultImpl(SearchResultSetImpl resultSet, XmlNode result)
    {
      _resultSet = resultSet;

      foreach(XmlNode attr in result.ChildNodes)
      {
        String value = attr.InnerText.Trim();

        switch(attr.Name)
        {
          case "category":
          {
            switch(value)
            {
              case "email":
              {
                _cat = ResultCategory.Email;
                break;
              }
              case "chat":
              {
                _cat = ResultCategory.Chat;
                break;
              }
              case "web":
              {
                _cat = ResultCategory.Web;
                break;
              }
              default:
              {
                _cat = ResultCategory.File;
                break;
              }
            }
            break;
          }
          case "id":
          {
            _id = Int32.Parse(value);
            break;
          }
          case "title":
          {
            _title = value;
            break;
          }
          case "url":
          {
            _url = new Uri(value);
            break;
          }
          case "time":
          {
            _time = DateTime.FromFileTime(Int64.Parse(value));
            break;
          }
          case "snippet":
          {
            _snippet = value;
            break;
          }
          case "icon":
          {
            _icon = value;
            break;
          }
          case "cache_url":
          {
            _cacheUrl = new Uri(value);
            break;
          }
        }
      }
    }

    public ResultCategory Category
    {
      get { return _cat; }
    }

    public int ID
    {
      get { return _id; }
    }

    public String Title
    {
      get { return _title; }
    }

    public Uri Url
    {
      get { return _url; }
    }

    public DateTime Time
    {
      get { return _time; }
    }

    public String Snippet
    {
      get { return _snippet; }
    }

    public String Icon
    {
      get { return _icon; }
    }

    public Uri CacheUrl
    {
      get { return _cacheUrl; }
    }
  }

  public class SearchResultSetImpl : SearchResultSet, IEnumerable
  {
    private readonly SearchEngine _engine;
    private readonly SearchQuery _query;

private int _num = 0;
private ArrayList _results = new ArrayList();

    public SearchResultSetImpl(SearchEngine engine, SearchQuery query)
    {
      _engine = engine;
      _query = query;

parse(_engine.Search(_query));
}

    protected void parse(XmlDocument doc)
    {
      _num = Int32.Parse(doc.GetElementsByTagName("results"[img]/images/wink.gif[/img][0].Attributes["count"].Value);

      _results.Clear();

      foreach(XmlNode result in doc.GetElementsByTagName("result"[img]/images/wink.gif[/img])
      {
        try
        {
          _results.Add(new SearchResultImpl(this, result));
        }
        catch(Exception)
        {
          // do nothing
        }
      }
    }

    public SearchQuery Query
    {
      get { return _query; }
    }

    public int Count
    {
      get { return _results.Count; }
    }

    public int TotalNumber
    {
      get { return _num; }
    }

    public SearchResult this[int idx]
    {
      get { return (SearchResult)_results[idx]; }
    }

#region IEnumerable Members

    public IEnumerator GetEnumerator()
    {
      return _results.GetEnumerator();
    }

#endregion
}
}

to be continue... GDS [2] 为 Google 桌面搜索增加 Foxmail 支持

此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。原文来自 — 版权归原作者所有。

推荐订阅源

博客园 - Flier Lu