Mysql Moving Average Query

MySQL Triggers: Gerar automaticamente informações adicionais no banco de dados Os disparadores do MySQL são um dos recursos mais recentes do MySQL que estão ajudando a torná-lo uma alternativa viável para aplicativos de grandes empresas. Não muito tempo atrás, aqueles que fizeram a sua vida usando grandes bancos de dados comerciais como Oracle e DB2 apontou que o MySQL era um banco de dados agradável, rápido pouco, mas faltava recursos importantes como procedimentos armazenados, transações e acionadores. A partir da versão 5.0 do MySQL, esses recursos podem ser eliminados dessa lista. Então, quais são os disparadores do MySQL, e por que a capacidade do MySQL de usá-los torna-o mais atraente para os usuários de bancos de dados sérios. Em outras palavras, os gatilhos são pequenos programas que são armazenados no próprio banco de dados e são ativados por eventos do banco de dados, camada. Esses eventos de banco de dados de precipitação são consultas UPDATE, DELETE ou INSERT. O gatilho propriamente dito pode ser executado antes ou depois da consulta que o inicia. Triggers são freqüentemente usados ​​para manter a integridade dos dados em tabelas de um aplicativo. Quando um usuário em um site faz uma compra, por exemplo, a primeira ação que ocorre no banco de dados pode ser que um crédito é inserido em uma tabela de contabilidade. Por meio de um gatilho, esta ação poderia iniciar uma reação em cadeia de eventos em outras tabelas ao longo da aplicação. A contagem de produto de um item pode ser diminuída em uma tabela de estoque, um débito deduzido de um saldo de conta de clientes em outra tabela, um crédito de loja aplicado a outra tabela. Você pode dizer que você tem feito isso todo o tempo em suas aplicações usando PHP ou Perl ou Python ou código ASP. O que é o grande negócio sobre o uso de gatilhos MySQL Bem, existem algumas vantagens para usar gatilhos sobre o código do aplicativo para manter a integridade dos dados em tabelas. Um gatilho geralmente executa os tipos de tarefas descritas mais rapidamente do que o código do aplicativo e pode ser ativado facilmente e rapidamente nos bastidores e não precisa fazer parte do código do aplicativo. Isso economiza tempo e poupa você de codificação redundante. Se você sempre porta seu aplicativo para outro idioma, é provável que seus gatilhos podem permanecer no lugar sem modificação, juntamente com suas tabelas e outros objetos de banco de dados. Para demonstrar como funciona o MySQL triggers, vamos configurar duas tabelas simples em um banco de dados bem chamar 8220salesrecords8221 que têm dados que são interdependentes. Imagine um banco de dados que rastreia os registros de vendas de três vendedores em uma loja de departamentos. Eles trabalham no departamento de eletrônica vendendo coisas como TVs. Estéreos e MP3 players. Temos a tabela principal que mantém um registro de cada venda feita. Registra o valor da venda (saleamt), a data (data), o nome do vendedor (nome), seu número de identificação (employeeid) e o id do produto (prodid). Bem, chame essa mesa (habilmente o suficiente). Na segunda tabela, queremos manter alguns dados que nos permitirão acompanhar facilmente como cada vendedor está fazendo. Ele incluirá o id de vendedores (employeeid), nome (name), número total de vendas (totalsales) e uma coluna que mantém o valor médio de cada vendedor por venda (avesale). Queremos ver quem está movendo os itens high-end. Bem chamar esta tabela 8220performance8221. Agora vem a parte difícil. Como mencionei, os disparadores são objetos de banco de dados exatamente como tabelas. Triggers, no entanto, são capazes de executar código procedural que modifica dados em suas tabelas. Nesse caso, queremos que nosso disparador ative antes de qualquer instrução INSERT que seja executada na tabela de vendas. Quando um registro de venda é inserido na tabela de vendas, os totais de vendedores devem ser atualizados na tabela de desempenho. O código a seguir pode ser digitado em seu editor de texto favorito e colado em seu konsole no prompt do MySQL. Antes de você fazer isso, porém, você quer executar esta linha: Nosso código procedural usa ponto e vírgula no final das declarações, então precisamos definir um delimitador diferente para permitir que o MySQL saiba quando nosso bloco de código é longo e para que ele não pare de processar Nosso bloco quando bate um ponto e vírgula. Tenha em mente que depois de terminar o bloco você terá que definir o delimitador de volta para o ponto-e-vírgula, ou finalizar quaisquer comandos subseqüentes com o novo delimitador. Por exemplo, se você cometeu erros no seu bloco CREATE TRIGGER e deseja excluí-lo, DROP TRIGGER não funcionará a menos que você defina o delimitador de volta para o ponto-e-vírgula. Aqui está o código para o gatilho: OK, vamos falar sobre o código. Usando a instrução CREATE TRIGGER, weve iniciou o gatilho, nomeando-o salesbitrg. Os disparadores do MySQL podem disparar antes ou depois de um evento INSERT, UPDATE ou DELETE. Este dispara antes de quaisquer dados são inseridos na tabela de vendas. A cláusula FOR EACH ROW significa que o bloco atuará em cada linha que atende aos critérios de nossas instruções SQL. As palavras-chave BEGIN e END encerram as instruções de trigger que serão executadas quando o disparador é acionado. Existem duas variáveis ​​declaradas. O primeiro é numrow que verifica para ver se o funcionário tem que fez a venda que está a ser inserido, teve uma venda entrou na tabela de desempenho anteriormente. Se não houver empregados que correspondam, então esta é a primeira venda dos funcionários, e isso atende a condição ELSE da nossa declaração 8220IF. Esses dados serão inseridos como um inserto na tabela de desempenho em vez de uma atualização. Se o numrow for maior que 0, a tabela de desempenho será atualizada. A segunda variável, totrows, é uma contagem de quantas vendas o empregado tem na tabela de vendas. Esse valor é utilizado para calcular a venda média dos empregados. A contagem está sendo feita antes que a venda seja inserida na tabela de venda, então temos que adicionar uma para ela. Quando a tabela de desempenho é atualizada a venda média totalsales (totrows1). Se o nosso gatilho MySQL estiver funcionando corretamente, a tabela de desempenho manterá um total de cada venda total de vendedores e também o valor médio de suas vendas totais. Ele fará isso independentemente do seu código de aplicativo e será portátil para qualquer plataforma de aplicativo. Para dar um giro, inserir alguns dados na tabela de vendas e monitorar o conteúdo da tabela de desempenho. Aqui está a declaração: Alterar os números e nomes e experimentá-lo algumas vezes. (Lembre-se, um funcionário mantém o mesmo número de empregado para cada uma de suas vendas.) Se você está se sentindo aventureiro, começar a pensar sobre como o gatilho MySQL teria que ser estendido para conta para declarações UPDATE e DELETE na tabela de vendas. Livre eBook Subscreva a meu boletim de notícias e obtenha meu ebook em princípios da modelagem da relação da entidade como um presente livre: Que os visitantes dizem. Eu apenas tropeçou através de seu site à procura de alguma teoria de normalização e tenho de dizer que é fantástico. Eu estive no campo do banco de dados por 10 anos e eu nunca antes deparamos com um site tão útil. Obrigado por tomar o tempo para colocar este site together. PHP oferece três APIs diferentes para se conectar ao MySQL. Estes são o mysql (removido a partir do PHP 7), mysqli. E extensões PDO. As funções mysql costumavam ser muito populares, mas seu uso não é mais encorajado. A equipe de documentação está discutindo a situação de segurança do banco de dados e educar os usuários para que se afastem da extensão extmysql comumente usada faz parte disso (ver php. internals: deprecating extmysql). E a equipe de desenvolvedores PHP mais tarde tomou a decisão de gerar erros EDEPRECATED quando os usuários se conectam ao MySQL, seja através de mysqlconnect (). Mysqlpconnect () ou a funcionalidade de conexão implícita construída em extmysql. O extmysql foi oficialmente obsoleto a partir do PHP 5.5 e foi removido a partir do PHP 7. Quando você entra em qualquer página do manual de funções do mysql, vê uma caixa vermelha, explicando que não deve mais ser usada. Afastar-se do extmysql não é apenas sobre segurança, mas também sobre ter acesso a todos os recursos do banco de dados MySQL. Extmysql foi construído para o MySQL 3.23 e só tem muito poucas adições desde então, mantendo a maior parte da compatibilidade com esta versão antiga que torna o código um pouco mais difícil de manter. Os recursos ausentes que não são suportados pelo extmysql incluem: (do manual do PHP). Razão para não usar a função mysql: Não em desenvolvimento ativo Removido a partir de PHP 7 Falta uma interface OO Doesnt suporte não bloqueio, consultas assíncronas Doesnt suporte declarações preparadas ou consultas parametrizadas Doesnt suporte a procedimentos armazenados Doesnt suporte a várias instruções Doesnt suporte a transações Doesnt suporte a todos A funcionalidade no MySQL 5.1 Falta de suporte para instruções preparadas é particularmente importante, pois fornecem um método mais claro e menos propenso a erros de escapar e citar dados externos do que escapar manualmente com uma chamada de função separada. Supressão de avisos de depreciação Enquanto o código está sendo convertido para o MySQLi PDO. Erros EDEPRECATED podem ser suprimidos definindo errorreporting em php. ini para excluir EDEPRECATED: Observe que isso também ocultará outros avisos de deprecação. Que, no entanto, pode ser para outras coisas além do MySQL. (De PHP manual) E uma maneira melhor é PDO. E agora estou escrevendo um tutorial PDO simples. Um simples e curto PDO tutorial Q. Primeira pergunta em minha mente foi: o que é PDO A. PDO PHP Data Objects é uma camada de acesso ao banco de dados fornecendo um método uniforme de acesso a vários bancos de dados. Conectando ao MySQL Com a função mysql ou podemos dizê-lo da maneira antiga (depreciado em PHP 5.5 e acima) Com o PDO. Tudo o que você precisa fazer é criar um novo objeto PDO. O construtor aceita parâmetros para especificar o construtor do PDO s de origem do banco de dados principalmente leva quatro parâmetros que são DSN (nome da fonte de dados) e opcionalmente nome de usuário. senha . Aqui eu acho que você está familiarizado com todos, exceto DSN isso é novo no PDO. Um DSN é basicamente um conjunto de opções que indicam ao PDO qual driver usar e detalhes de conexão. Para mais referências, verifique PDO MySQL DSN. Nota: você também pode usar charsetUTF-8. Mas às vezes ele causa um erro, então é melhor usar utf8. Se houver qualquer erro de conexão, ele lançará um objeto PDOException que pode ser armazenado em cache para lidar com Exceção ainda mais. Você também pode passar em várias opções de driver como uma matriz para o quarto parâmetro. Eu recomendo passar o parâmetro que coloca PDO no modo de exceção. Porque alguns drivers PDO não suportam instruções preparadas nativas, assim PDO executa a emulação do preparar. Ele também permite ativar manualmente esta emulação. Para usar as instruções preparadas nativas do lado do servidor, você deve configurá-las explicitamente como falsas. O outro é desativar a emulação de preparação que está ativada no driver do MySQL por padrão, mas preparar a emulação deve ser desativada para usar o PDO com segurança. Mais tarde, explicarei por que preparar a emulação deve ser desativada. Para encontrar razões, verifique este post. Só é utilizável se você estiver usando uma versão antiga do MySQL que eu não recomendo. Abaixo está um exemplo de como você pode fazê-lo: Podemos definir atributos após a construção de PDO Sim. Também podemos definir alguns atributos após a construção do PDO com o método setAttribute: Tratamento de erros O tratamento de erros é muito mais fácil no PDO do que no mysql. Uma prática comum ao usar mysql é: OR die () não é uma boa maneira de lidar com o erro, uma vez que não podemos lidar com a coisa em morrer. Ele só vai terminar o script abruptamente e, em seguida, ecoar o erro para a tela que você normalmente não querem mostrar aos seus usuários finais, e deixar hackers sangrentos descobrir o seu esquema. Alternativamente, os valores de retorno de funções mysql podem muitas vezes ser usados ​​em conjunto com mysqlerror () para lidar com erros. O PDO oferece uma solução melhor: exceções. Qualquer coisa que façamos com DOP deve ser envolvido em um bloco try-catch. Podemos forçar o PDO em um dos três modos de erro configurando o atributo de modo de erro. Três modos de tratamento de erros estão abaixo. PDO :: ERRMODESILENT. Sua configuração apenas códigos de erro e atua praticamente o mesmo que mysql onde você deve verificar cada resultado e, em seguida, olhar para db-gterrorInfo () para obter os detalhes do erro. PDO :: ERRMODEWARNING Aumente EWARNING. (Run-time warnings (erros não fatais). A execução do script não é interrompida.) PDO :: ERRMODEEXCEPTION. Atire exceções. Representa um erro levantado pelo PDO. Você não deve lançar uma PDOException do seu próprio código. Consulte Exceções para obter mais informações sobre exceções no PHP. Ele age muito parecido ou morre (mysqlerror ()). Quando não for pego. Mas ao contrário ou morrer (). O PDOException pode ser travado e tratado graciosamente se você optar por fazer isso. E você pode envolvê - lo na tentativa de captura. Como abaixo: Você não tem que lidar com try-catch agora. Você pode pegá-lo a qualquer momento apropriado, mas eu recomendo fortemente que você use try-catch. Também pode fazer mais sentido pegá-lo fora da função que chama o material PDO: Além disso, você pode manipular por ou die () ou podemos dizer como mysql. Mas será realmente variado. Você pode ocultar as mensagens de erro perigosas na produção, desativando displayerrors e apenas ler o log de erros. Agora, depois de ler todas as coisas acima, você provavelmente está pensando: o que diabos é que quando eu só quero começar a inclinação simples SELECT. INSERIR. ATUALIZAR. Ou instruções DELETE Não se preocupe, aqui vamos nós: Selecionando dados Então o que você está fazendo no mysql é: Agora no PDO. Você pode fazer isso como: Nota. Se você estiver usando o método como abaixo (query ()), este método retorna um objeto PDOStatement. Então, se você quiser buscar o resultado, use-o como acima. Em Dados PDO, ele é obtido via - gtfetch (). Um método de seu identificador de instrução. Antes de chamar buscar, a melhor abordagem seria dizer PDO como youd como os dados a serem buscados. Na seção abaixo estou explicando isso. Fetch Modes Observe o uso de PDO :: FETCHASSOC no fetch () e fetchAll () código acima. Isso informa o PDO para retornar as linhas como uma matriz associativa com os nomes dos campos como chaves. Há muitos outros modos de busca também que eu vou explicar um por um. Primeiro de tudo, eu explico como selecionar o modo de busca: No acima, eu tenho usado fetch (). Você também pode usar: PDOStatement :: fetchAll () - Retorna uma matriz contendo todas as linhas do conjunto de resultados PDOStatement :: fetchColumn () - Retorna uma única coluna da próxima linha de um conjunto de resultados PDOStatement :: fetchObject () - Obtém a Próxima linha e retorna como um objeto. PDOStatement :: setFetchMode () - Defina o modo de busca padrão para esta instrução Agora eu venho para buscar o modo: PDO :: FETCHASSOC. Retorna uma matriz indexada pelo nome da coluna como retornada no seu conjunto de resultados PDO :: FETCHBOTH (padrão): retorna uma matriz indexada pelo nome da coluna e pelo número da coluna 0-indexada como retornado em seu conjunto de resultados Há ainda mais opções Ler sobre todos eles Em PDOStatement Fetch documentação. . Obtendo a contagem de linhas: Em vez de usar mysqlnumrows para obter o número de linhas retornadas, você pode obter um PDOStatement e fazer rowCount (). Como: Obtendo a Inserção Inserida Última inserção e Atualizar ou Excluir declarações O que estamos fazendo na função mysql é: E em pdo, essa mesma coisa pode ser feito por: Na consulta acima PDO :: exec executa uma instrução SQL e retorna o número Das linhas afetadas. Inserir e excluir será coberto mais tarde. O método acima só é útil quando você não estiver usando variável na consulta. Mas quando você precisa usar uma variável em uma consulta, nunca tente como o acima e lá para instrução preparada ou instrução parametrizada é. Instruções preparadas P. O que é uma instrução preparada e por que eu preciso delas A. Uma instrução preparada é uma instrução SQL pré-compilada que pode ser executada várias vezes enviando apenas os dados para o servidor. O fluxo de trabalho típico de usar uma instrução preparada é como segue (citado da Wikipedia três 3 ponto): Prepare. O modelo de instrução é criado pelo aplicativo e enviado para o sistema de gerenciamento de banco de dados (SGBD). INSERT INTO PRODUCT (nome, preço) VALUES (.) O DBMS analisa, compila e executa a otimização de consulta no modelo de instrução e armazena o resultado Sem executá-lo. Executar. Em um momento posterior, o aplicativo fornece (ou vincula) valores para os parâmetros eo DBMS executa a instrução (possivelmente retornando um resultado). O aplicativo pode executar a instrução quantas vezes quiser com valores diferentes. Neste exemplo, ele pode fornecer Pão para o primeiro parâmetro e 1,00 para o segundo parâmetro. Você pode usar uma instrução preparada incluindo espaços reservados em seu SQL. Existem basicamente três sem espaços reservados (não tente isso com a variável acima), um com espaços reservados sem nome e um com espaços reservados nomeados. P. Então agora, o que são chamados de espaços reservados e como usá-los A. Marcadores de nome nomeados. Use nomes descritivos precedidos por dois pontos, em vez de pontos de interrogação. Nós não nos preocupamos com positionorder de valor no titular de lugar de nome: Você também pode vincular usando uma matriz de executar também: Outra característica agradável para amigos OOP é que os marcadores nomeados têm a capacidade de inserir objetos diretamente em seu banco de dados, assumindo as propriedades coincidem com o nome Campos. Por exemplo: P. Então, agora, o que são espaços reservados sem nome e como usá-los A. Vamos ter um exemplo: No acima, você pode ver aqueles. Em vez de um nome como em um titular de lugar de nome. Agora, no primeiro exemplo, atribuímos variáveis ​​aos vários espaços reservados (stmt-gtbindValue (1, name, PDO :: PARAMSTR)). Em seguida, atribuímos valores a esses marcadores de posição e executamos a instrução. No segundo exemplo, o primeiro elemento de matriz vai para o primeiro. E o segundo ao segundo. NOTA . Em espaços reservados sem nome, devemos cuidar da ordem adequada dos elementos na matriz que estamos passando para o método PDOStatement :: execute (). SELECT. INSERIR. ATUALIZAR. DELETE preparou consultas Amine, não, não é. Enquanto NullPoite realmente fez um grande trabalho de escrevê-lo, este é certamente isn39t uma boa leitura, porque é maneira de longo. I39m certeza, que 8 dos 10 visitantes simplesmente ignorá-lo. E você também tem explicação, porque esta resposta não foi votada. Uma parte tldr no início seria uma boa idéia, eu acho. Ndash trejder Jul 4 14 at 11:00 Primeiro, vamos começar com o comentário padrão que damos a todos: Por favor, não use mysql funções em novo código. Eles não são mais mantidos e são oficialmente obsoletos. Veja a caixa vermelha. Aprenda sobre declarações preparadas em vez disso, e use o PDO ou MySQLi - este artigo irá ajudá-lo a decidir qual. Se você escolher PDO, aqui está um bom tutorial. Vamos percorrer isso, frase por sentença, e explicar: Eles não são mais mantidos, e são oficialmente obsoletos Isso significa que a comunidade PHP está gradualmente caindo suporte para essas funções muito antigas. É provável que eles não existam em uma versão futura (recente) do PHP O uso contínuo dessas funções pode quebrar seu código no futuro (não tão) distante. Mais recente extmysql foi removido em PHP 7 Em vez disso, você deve aprender de declarações preparadas - extensão mysql não suporta declarações preparadas. Que é (entre outras coisas) uma contramedida muito eficaz contra SQL Injection. Ele corrigiu uma vulnerabilidade muito séria em aplicativos dependentes do MySQL, que permite aos atacantes obter acesso ao seu script e executar qualquer consulta possível em seu banco de dados. Quando você entra em qualquer página de manual de funções do mysql, vê uma caixa vermelha, explicando que não deve mais ser usada. Use o PDO ou MySQLi Existem alternativas melhores, mais robustas e bem construídas, PDO - Objeto de banco de dados PHP. Que oferece uma abordagem OOP completa para interação de banco de dados e MySQLi. Que é uma melhoria específica do MySQL. Facilidade de uso As razões analíticas e sintéticas já foram mencionadas. Para os recém-chegados, existe um incentivo mais significativo para parar de usar as funções datadas do mysql. As APIs de banco de dados contemporâneas são apenas mais fáceis de usar. Sua principalmente os parâmetros vinculados que podem simplificar o código. E com excelentes tutoriais (como visto acima) a transição para PDO isnt excessivamente árduo. Reescrever uma base de código maior de uma vez leva tempo. Raison dtre para esta alternativa intermediária: Funções pdo equivalentes no lugar de mysql Usando lt pdomysql. php gt você pode mudar das antigas funções mysql com o mínimo de esforço. Ele adiciona wrappers de função pdo que substituem suas contrapartes do mysql. Basta includeonce (pdomysql. php) em cada script de chamada que tem de interagir com o banco de dados. Remova o prefixo da função mysql em todos os lugares e substitua-o por pdo. Mysql () torna-se pdo connect () mysql () torna-se pdo () mysql () torna-se pdo Pdo fetchassoc () mysql realescapestring () se torna pdo realescapestring () e assim por diante. Seu código funcionará da mesma forma e ainda mais parece o mesmo: Et voil. Seu código está usando o PDO. Agora é hora de realmente utilizá-lo. Os parâmetros vinculados podem ser fáceis de usar Você só precisa de uma API menos pesada. Pdoquery () adiciona suporte muito fácil para parâmetros vinculados. A conversão de código antigo é direta: Mova suas variáveis ​​para fora da seqüência SQL. Adicione-os como parâmetros de função delimitados por vírgula para pdoquery (). Coloque pontos de interrogação. Como espaços reservados onde as variáveis ​​foram antes. Livrar-se de aspas simples que previamente incluídas string valuesvariables. A vantagem torna-se mais óbvia para código mais longo. Muitas vezes as variáveis ​​de string não são apenas interpoladas em SQL, mas concatenadas com chamadas de escape entre elas. Com. Espaços reservados aplicados você não tem que se preocupar com isso: Lembre-se que pdo ainda permite ou ou. Apenas não escape uma variável e ligá-lo na mesma consulta. O recurso de espaço reservado é fornecido pelo PDO real por trás dele. Assim, também permitida: lista de marcadores nomeados posteriormente. Mais importante ainda, você pode passar as variáveis ​​PEDIR de forma segura por trás de qualquer consulta. Quando submetidos campos ltformgt coincidir com a estrutura do banco de dados exatamente o seu ainda mais curto: Tanta simplicidade. Mas vamos voltar a alguns mais reescrever aconselha e razões técnicas sobre por que você pode querer se livrar do mysql e escapar. Corrigir ou remover qualquer função oldschool sanitize () Depois de ter convertido todas as chamadas mysql para pdoquery com params vinculados, remova todas as chamadas pdorealescapestring redundantes. Em particular, você deve corrigir qualquer desinfetar ou limpar ou filterThis ou funções cleandata como anunciado por tutoriais datados de uma forma ou outra: O bug mais flagrante aqui é a falta de documentação. Mais significativamente a ordem de filtragem estava exatamente na ordem errada. Ordem correta teria sido: deprecated stripslashes como a chamada mais interna, em seguida, aparar. Depois striptags. Htmlentities para o contexto de saída, e somente finalmente o escapestring como seu aplicativo deve diretamente preceder o SQL intersparsing. Mas como primeiro passo apenas se livrar da chamada realescapestring. Você pode ter que manter o resto de sua função sanitize () por enquanto se seu banco de dados e fluxo de aplicativos esperam seqüências HTML-context-safe. Adicione um comentário que aplica apenas o HTML que escapa doravante. A manipulação de Stringvalue é delegada ao PDO e suas instruções parametrizadas. Se houver qualquer menção de stripslashes () em sua função desinfetar, pode indicar uma supervisão de nível superior. Que era comumente lá para desfazer danos (dupla escapar) a partir da magia depreciado. Que no entanto é melhor fixado centralmente. Não seqüência de caracteres por seqüência de caracteres. Use uma das estratégias de reversão do userland. Em seguida, remova o stripslashes () na função sanitize. Nota histórica sobre magicquotes. Esse recurso é corretamente reprovado. Muitas vezes, incorretamente retratado como falha recurso de segurança no entanto. Mas magicquotes são tanto um recurso de segurança falhado como bolas de tênis falharam como fonte de nutrição. Isso simplesmente não era seu propósito. A implementação original em PHP2FI introduzido explicitamente com apenas aspas será automaticamente escapado tornando mais fácil para passar dados do formulário diretamente para consultas msql. Notavelmente foi acidentalmente seguro usar com mSQL. Como que suportado apenas ASCII. Então PHP3Zend reintroduziu magicquotes para MySQL e misdocumented-lo. Mas originalmente era apenas uma característica de conveniência. Não pretende segurança. Como as declarações preparadas diferem Quando você codifica variáveis ​​de seqüência de caracteres nas consultas SQL, não fica apenas mais complicado para você seguir. Seu esforço também estranho para MySQL segregar código e dados novamente. As injeções de SQL simplesmente são quando os dados sangram em contexto de código. Um servidor de banco de dados cant mais tarde local onde PHP originalmente coladas variáveis ​​inbetween cláusulas de consulta. Com parâmetros vinculados, você separa o código SQL e os valores de contexto SQL no código PHP. Mas ele não get shuffled novamente atrás das cenas (exceto com PDO :: EMULATEPREPARES). Seu banco de dados recebe os comandos SQL não variáveis ​​e valores de variável 1: 1. Enquanto esta resposta salienta que você deve se preocupar com as vantagens de legibilidade de soltar mysql. Há ocasionalmente também uma vantagem de desempenho (INSERTs repetidos com apenas valores diferentes) devido a esta separação visível e técnica do datacode. Tenha cuidado que a ligação de parâmetros ainda não é uma solução mágica de uma única parada contra todas as injeções SQL. Ele lida com o uso mais comum para datavalues. Mas não podem ser identificados na tabela de nomes de colunas da lista de permissões, ajuda com a construção de cláusulas dinâmicas ou apenas listas de valores de matriz simples. Uso de PDO híbrido Estas funções de wrapper pdo fazem uma API de interoperabilidade de codificação amigável. (É praticamente o que MYSQLI poderia ter sido se não fosse para o deslocamento idiossincrático de assinatura de função). Eles também expõem o PDO real na maioria das vezes. A reescrita não precisa parar de usar os novos nomes das funções pdo. Você poderia uma por uma transição cada pdoquery () em uma simples pdo-prepare () - execute () chamada. Seu melhor para começar a simplificar novamente no entanto. Por exemplo, o resultado comum de busca: Pode ser substituído por apenas uma iteração foreach: Ou melhor ainda uma recuperação de matriz direta e completa: Youll obter avisos mais úteis na maioria dos casos do que o PDO ou mysql geralmente fornecem após as consultas falhadas. Outras opções Então, este espero visualizado algumas razões práticas e um caminho worthwile para soltar mysql. Basta mudar para pdo doesnt bastante cortá-lo. Pdoquery () também é apenas um frontend sobre ele. A menos que você também introduzir parâmetro vinculativo ou pode utilizar alguma outra coisa a partir da API mais agradável, é um interruptor inútil. Espero que seu retratado simples o suficiente para não mais o desânimo para os recém-chegados. (Educação geralmente funciona melhor do que proibição.) Embora ele se qualifica para a mais simples-que-poderia-possivelmente-trabalho categoria, o seu código ainda muito experimental. Eu só escrevi no fim de semana. Há uma infinidade de alternativas no entanto. Apenas google para abstração de banco de dados PHP e navegar um pouco. Sempre houve e haverá muitas bibliotecas excelentes para essas tarefas. Se você quiser simplificar sua interação de banco de dados ainda mais, mapeadores como ParisIdiorm valem a pena tentar. Assim como ninguém usa o DOM suave em JavaScript mais, você não tem que babysit uma interface de banco de dados em bruto hoje em dia. Respondeu 24 de dezembro 13 às 23:30 Falando de razões técnicas, há apenas alguns, extremamente específico e raramente usado. Provavelmente você nunca vai usá-los em sua vida. Pode ser eu sou muito ignorante, mas nunca tive a oportunidade de usá-los coisas como não-bloqueio, consultas assíncronas procedimentos armazenados retornando vários resultados Encryption (SSL) Compressão Se você precisar deles - estas são sem dúvida razões técnicas para se afastar do mysql Extensão para algo mais elegante e moderno-olhando. No entanto, existem também algumas questões não técnicas, que podem tornar a sua experiência um pouco mais difícil de usar estas funções com versões modernas do PHP irá elevar avisos de nível depreciado. Eles simplesmente podem ser desligados. Em um futuro distante, eles podem ser possivelmente removidos da compilação PHP padrão. Não é um grande negócio também, como mydsql ext será transferido para PECL e cada hoster será feliz para complie PHP com ele, como eles não querem perder clientes cujos sites estavam trabalhando por décadas. Forte resistência da comunidade Stackoverflow. Muito tempo você menciona estas funções honestas, você sendo dito que eles estão sob tabu estrito. Sendo um usuário php médio, mais provável a sua idéia de usar essas funções é propenso a erro e errado. Só por causa de todos esses inúmeros tutoriais e manuais que lhe ensinam maneira errada. Não as funções em si - eu tenho que enfatizá-lo - mas a maneira como eles são usados. Esta última questão é um problema. Mas, na minha opinião, a solução proposta também não é melhor. Parece-me demasiado idealista um sonho que todos os usuários de PHP vai aprender a lidar com consultas SQL corretamente de uma só vez. Provavelmente eles simplesmente mudariam mysql para mysqli mecanicamente, deixando a abordagem a mesma. Especialmente porque mysqli faz uso de declarações preparadas incrível doloroso e incômodo. Sem mencionar que as instruções preparadas nativas não são suficientes para proteger das injeções de SQL, e nem o mysqli nem o PDO oferecem uma solução. Então, em vez de lutar contra esta extensão honesta, eu prefiro lutar contra práticas erradas e educar as pessoas da maneira correta. Além disso, existem algumas razões falsas ou não significativas, como Doesnt suporte a Stored Procedures (estávamos usando mysqlquery (CALL myproc) para idades) Doesnt suporte Transações (mesmo que acima) Doesnt suporte Múltiplas declarações (que precisam deles) Não em desenvolvimento ativo (O que isso afeta você de alguma maneira prática) Falta uma interface OO (para criar uma é uma questão de várias horas) Não suporta Declarações Preparadas ou Consultas Parametrizadas Um último é um ponto interessante. Embora mysql ext não suportam declarações preparadas nativas, elas não são necessárias para a segurança. Podemos facilmente falsificar declarações preparadas usando espaços reservados manualmente manipulados (assim como o PDO faz): voila. Tudo é parametrizado e seguro. Mas ok, se você não gosta da caixa vermelha no manual, surge um problema de escolha: mysqli ou PDO Bem, a resposta seria a seguinte: Se você entender a necessidade de usar uma camada de abstração de banco de dados. E à procura de uma API para criar um, mysqli é uma ótima escolha, pois de fato suporta muitos recursos específicos do mysql. Se, como a maioria dos PHP pessoas, você está usando API prima chamadas direito no código do aplicativo (que é essencialmente prática errada) - PDO é a única escolha. Como esta extensão pretende ser não apenas API, mas sim um semi-DAL, ainda incompleto, mas oferece muitas características importantes, com dois deles faz distinção crítica do mysqli: ao contrário do mysqli, PDO pode vincular marcadores de posição por valor. Que torna dinamicamente construídas consultas viáveis ​​sem várias telas de código bastante confuso. Ao contrário do mysqli, o PDO sempre pode retornar o resultado da consulta em um array usual simples, enquanto o mysqli pode fazê-lo apenas em instalações do mysqlnd. Portanto, se você é um usuário médio de PHP e quer economizar uma tonelada de dores de cabeça ao usar instruções preparadas nativas, o PDO - novamente - é a única opção. No entanto, PDO não é uma bala de prata também, e tem suas dificuldades. Assim, eu escrevi soluções para todas as armadilhas comuns e casos complexos no tag PDO wiki No entanto, todos falando de extensões sempre faltando os 2 fatos importantes sobre Mysqli e DOP: Declaração preparada isnt uma bala de prata. Existem identificadores dinâmicos que não podem ser vinculados usando declarações preparadas. Existem consultas dinâmicas com número desconhecido de parâmetros que torna a construção de consultas uma tarefa difícil. Nem funções mysqli nem PDO devem ser exibidas no código do aplicativo. There ought to be an abstraction layer between them and application code, which will do all the dirty job of binding, looping, error handling, etc. inside, making application code DRY and clean. Especially for the complex cases like dynamical query building. So, just switching to PDO or mysqli is not enough. One have to use an ORM, or a query builder, or whatever database abstraction class instead of calling raw API functions in their code. And contrary - if you have an abstraction layer between your application code and mysql API - it doesnt actually matter which engine is used. You can use mysql ext until it goes deprecated and then easily rewrite your abstraction class to another engine, having all the application code intact. Here are some examples based on my safemysql class to show how such an abstraction class ought to be: Compare this one single line with amount of code you will need with PDO . Then compare with crazy amount of code you will need with raw Mysqli prepared statements. Note that error handling, profiling, query logging already built in and running. Compare it with usual PDO inserts, when every single field name being repeated six to ten times - in all these numerous named placeholders, bindings and query definitions. You can hardly find an example for PDO to handle such practical case. And it will be too wordy and most likely unsafe. So, once more - it is not just raw driver should be your concern but abstraction class, useful not only for silly examples from beginners manual but to solve whatever real life problems. How is Not under active development only for that made-up 390.0139 If you build something with this stand-still function, update your mysql-version in a year and wind up with a non-working system, I39m sure there are an awful lot of people suddenly in that 390.0139. I39d say that deprecated and not under active development are closely related. You can say that there is quotno worthy reasonquot for it, but the fact is that when offered a choice between the options, no active development is almost just as bad as deprecated I39d say ndash Nanne Feb 1 13 at 10:21 ShaquinTrifonoff: sure, it doesn39t use prepared statements. But neither does PDO. which most people recommend over MySQLi. So I39m not sure that has a significant impact here. The above code (with a little more parsing) is what PDO does when you prepare a statement by default. ndash ircmaxell Feb 4 13 at 12:44 This answer is written to show just how trivial it is to bypass poorly written PHP user-validation code, how (and using what) these attacks work and how to replace the old MySQL functions with a secure prepared statement - and basically, why StackOverflow users (probably with a lot of rep) are barking at new users asking questions to improve their code. First off, please feel free to create this test mysql database (I have called mine prep): With that done, we can move to our PHP code. Lets assume the following script is the verification process for an admin on a website (simplified but working if you copy and use it for testing): Seems legit enough at first glance. The user has to enter a login and password, right Brilliant, not enter in the following: The output is as follows: Super Working as expected, now lets try the actual username and password: Amazing Hi-fives all round, the code correctly verified an admin. Its perfect Well, not really. Lets say the user is a clever little person. Lets say the person is me. Enter in the following: And the output is: Congrats, you just allowed me to enter your super-protected admins only section with me entering a false username and a false password. Seriously, if you dont believe me, create the database with the code I provided, and run this PHP code - which at glance REALLY does seem to verify the username and password rather nicely. So, in answer, THAT IS WHY YOU ARE BEING YELLED AT. So, lets have a look at what went wrong, and why I just got into your super-admin-only-bat-cave. I took a guess and assumed that you werent being careful with your inputs and simply passed them to the database directly. I constructed the input in a way tht would CHANGE the query that you were actually running. So, what was it supposed to be, and what did it end up being Thats the query, but when we replace the variables with the actual inputs that we used, we get the following: See how I constructed my password so that it would first close the single quote around the password, then introduce a completely new comparison Then just for safety, I added another string so that the single quote would get closed as expected in the code we originally had. However, this isnt about folks yelling at you now, this is about showing you how to make your code more secure. Okay, so what went wrong, and how can we fix it This is a classic SQL injection attack. One of the simplest for that matter. On the scale of attack vectors, this is a toddler attacking a tank - and winning. So, how do we protect your sacred admin section and make it nice and secure The first thing to do will be to stop using those really old and deprecated mysql functions. I know, you followed a tutorial you found online and it works, but its old, its outdated and in the space of a few minutes, I have just broken past it without so much as breaking a sweat. Now, you have the better options of using mysqli or PDO. I am personally a big fan of PDO, so I will be using PDO in the rest of this answer. There are pros and cons, but personally I find that the pros far outweigh the cons. Its portable across multiple database engines - whether you are using MySQL or Oracle or just about bloody anything - just by changing the connection string, it has all the fancy features we want to use and it is nice and clean. I like clean. Now, lets have a look at that code again, this time written using a PDO object: The major differences are that there are no more mysql functions. Its all done via a PDO object, secondly, it is using a prepared statement. Now, whats a prepred statement you ask Its a way to tell the database ahead of running a query, what the query is that we are going to run. In this case, we tell the database: Hi, I am going to run a select statement wanting id, userid and pass from the table users where the userid is a variable and the pass is also a variable.. Then, in the execute statement, we pass the database an array with all the variables that it now expects. The results are fantastic. Lets try those username and password combinations from before again: User wasnt verified. Awesome. Oh, I just got a little excited, it worked: The check passed. We have a verified admin Now, lets try the data that a clever chap would enter to try to get past our little verification system: This time, we get the following: This is why you are being yelled at when posting questions - its because people can see that your code can be bypassed wihout even trying. Please, do use this question and answer to improve your code, to make it more secure and to use functions that are current. Lastly, this isnt to say that this is PERFECT code. There are many more things that you could do to improve it, use hashed passwords for example, ensure that when you store sensetive information in the database, you dont store it in plain text, have multiple levels of verification - but really, if you just change your old injection prone code to this, you will be WELL along the way to writing good code - and the fact that you have gotten this far and are still reading gives me a sense of hope that you will not only implement this type of code when writing your websites and applications, but that you might go out and research those other things I just mentioned - and more. Write the best code you can, not the most basic code that barely functions. answered Sep 18 13 at 12:28 Because (amongst other reasons) its much harder to ensure the input data is sanitized. If you use parametrized queries, as one does with PDO or mysqli you can entirely avoid the risk. As an example, some-one could use enhzflep) drop table users as a user name. The old functions will allow executing of multiple statements per query, so something like that nasty bugger can delete a whole table. If one were to use PDO of mysqli, the user-name would end-up being enhzflep) drop table users The old functions will allow executing of multiple statements per query - no, they won39t. That kind of injection is not possible with extmysql - the only way this kind of injection is possible with PHP and MySQL is when using MySQLi and the mysqlimultiquery() function. The kind injection that is possible with extmysql and unescaped strings is things like 39 OR 39139 391 to extract data from the database that was not meant to be accessible. In certain situations it is possible to inject sub queries, however it is still not possible to modify the database in this way. ndash DaveRandom Dec 30 12 at 20:58 The MySQL extension is the oldest of the three and was the original way that developers used to communicate with MySQL. This extension is now being deprecated in favor of the other two alternatives because of improvements made in newer releases of both PHP and MySQL. MySQLi is the improved extension for working with MySQL databases. It takes advantage of features that are available in newer versions of the MySQL server, exposes both a function-oriented and an object-oriented interface to the developer and a does few other nifty things. PDO offers an API that consolidates most of the functionality that was previously spread across the major database access extensions, i. e. MySQL, PostgreSQL, SQLite, MSSQL, etc. The interface exposes high-level objects for the programmer to work with database connections, queries and result sets, and low-level drivers perform communication and resource handling with the database server. A lot of discussion and work is going into PDO and its considered the appropriate method of working with databases in modern, professional code. answered Sep 2 15 at 7:20 I find the above answers really lengthy, so to summarize: The mysqli extension has a number of benefits, the key enhancements over the mysql extension being: Object-oriented interface Support for Prepared Statements Support for Multiple Statements Support for Transactions Enhanced debugging capabilities Embedded server support As explained in the above answeres, the alternatives of mysql are mysqli and pdo. API supports server-side Prepared Statements. Supported by MYSQLi and PDO API supports client-side Prepared Statements. Supported only by PDO API supports Stored Procedures. Both MySQLi and PDO API supports Multiple Statements and all MySQL 4.1 functionality - Supported by MySQLi and mostly also by PDO Both MySQLi and PDO where introduced in PHP5.0, whereas MySQL was introduced prior to PHP3.0. A point to note is MySQL is included in PHP5.x though deprecated in later versions. A full-text index in MySQL is an index of type FULLTEXT. Full-text indexes can be used only with InnoDB or MyISAM tables, and can be created only for CHAR. VARCHAR. or TEXT columns. As of MySQL 5.7.6, MySQL provides a built-in full-text ngram parser that supports Chinese, Japanese, and Korean (CJK), and an installable MeCab full-text parser plugin for Japanese. Parsing differences are outlined in Section 13.9.8, ngram Full-Text Parser. and Section 13.9.9, MeCab Full-Text Parser Plugin. A FULLTEXT index definition can be given in the CREATE TABLE statement when a table is created, or added later using ALTER TABLE or CREATE INDEX. For large data sets, it is much faster to load your data into a table that has no FULLTEXT index and then create the index after that, than to load data into a table that has an existing FULLTEXT index. Full-text searching is performed using MATCH(). AGAINST syntax. MATCH() takes a comma-separated list that names the columns to be searched. AGAINST takes a string to search for, and an optional modifier that indicates what type of search to perform. The search string must be a string value that is constant during query evaluation. This rules out, for example, a table column because that can differ for each row. There are three types of full-text searches: A natural language search interprets the search string as a phrase in natural human language (a phrase in free text). There are no special operators. The stopword list applies. For more information about stopword lists, see Section 13.9.4, Full-Text Stopwords. Full-text searches are natural language searches if the IN NATURAL LANGUAGE MODE modifier is given or if no modifier is given. For more information, see Section 13.9.1, Natural Language Full-Text Searches. A boolean search interprets the search string using the rules of a special query language. The string contains the words to search for. It can also contain operators that specify requirements such that a word must be present or absent in matching rows, or that it should be weighted higher or lower than usual. Certain common words (stopwords) are omitted from the search index and do not match if present in the search string. The IN BOOLEAN MODE modifier specifies a boolean search. For more information, see Section 13.9.2, Boolean Full-Text Searches. A query expansion search is a modification of a natural language search. The search string is used to perform a natural language search. Then words from the most relevant rows returned by the search are added to the search string and the search is done again. The query returns the rows from the second search. The IN NATURAL LANGUAGE MODE WITH QUERY EXPANSION or WITH QUERY EXPANSION modifier specifies a query expansion search. For more information, see Section 13.9.3, Full-Text Searches with Query Expansion. For information about FULLTEXT query performance, see Section 9.3.4, Column Indexes. For more information about InnoDB FULLTEXT indexes, see Section 15.8.10, InnoDB FULLTEXT Indexes. The myisamftdump utility dumps the contents of a MyISAM full-text index. This may be helpful for debugging full-text queries. See Section 5.6.2, myisamftdump Display Full-Text Index information. Posted by Dyfed Lloyd Evans on October 21, 2002 Hyphen 039-039 characters break literals at the moment. A search for something like quotGATA-D22S690quot finds all entries containing GATA and not the full hyphenated text. The 039-039 character is treated as a word stop even within literals. The same is true if any of the special text search modifiers are used (eg found with full text searches. Posted by Patrick O039Lone on December 9, 2002 It should be noted in the documentation that IN BOOLEAN MODE will almost always return a relevance of 1.0. In order to get a relevance that is meaningful, you039ll need to: ltBRgtltBRgt SELECT MATCH(039Content039) AGAINST (039keyword1 keyword2039) as Relevance FROM table WHERE MATCH (039Content039) AGAINST(039keyword1 keyword2039 IN BOOLEAN MODE) HAVING Relevance gt 0.2 ORDER BY Relevance DESC ltBRgtltBRgt Notice that you are doing a regular relevance query to obtain relevance factors combined with a WHERE clause that uses BOOLEAN MODE. The BOOLEAN MODE gives you the subset that fulfills the requirements of the BOOLEAN search, the relevance query fulfills the relevance factor, and the HAVING clause (in this case) ensures that the document is relevant to the search (i. e. documents that score less than 0.2 are considered irrelevant). This also allows you to order by relevance. ltBRgtltBRgt This may or may not be a bug in the way that IN BOOLEAN MODE operates, although the comments I039ve read on the mailing list suggest that IN BOOLEAN MODE039s relevance ranking is not very complicated, thus lending itself poorly for actually providing relevant documents. BTW - I didn039t notice a performance loss for doing this, since it appears MySQL only performs the FULLTEXT search once, even though the two MATCH clauses are different. Use EXPLAIN to prove this. Posted by Nathan Ostgard on April 14, 2003 An easy solution to correct for spelling errors for small search items like the name of the city is to build a column that contains the SOUNDEX of each. I039ve found that using a 4 character SOUNDEX works the best. An example: ALTER TABLE cities ADD citysoundex VARCHAR(4) NOT NULL UPDATE cities SET citysoundexLEFT(SOUNDEX(cityname),4) And then to query against: SELECT FROM citites WHERE citysoundexLEFT(SOUNDEX(039Some City Name039),4) Posted by Jim Nguyen on June 18, 2003 The full-text search is slow when there are a lot of rows in the table. I have more than 2 million rows with text and multiple word searches (3 or more) take about 30 seconds to a minute or longer. I am running a Athlon 2.2 Ghz with 512 MB DDR RAM 400 Mhz. Hard drive has seek time of 9 ms. Posted by Alan Riley on July 14, 2003 We too have a database with close to 6 million rows in it. We would like to use the fulltext search, but it is painfully slow. The sad thing is that any one query we need to run only needs to be run on a subset of the rows (think of those 6 million rows as being divided between about 80 different categories, with results only needed to be returned from within a category). It is a shame that there isn039t some way for us to have a fulltext index within the rows of another column which is also indexed. Our next shot at this is going to be to create 80 different tables, one for each category (yuck), just to try to get decent performance on the within-category fulltext search. I would think there is enough interest in fulltext search for there to be an email list dedicated to it where those of us who need to use it on real-world web sites could interact with the developers to try to tune it for the good of the community at large. Posted by Donal McMullan on September 24, 2003 The nature of fulltext indexing is such that the more 039words039 (of greater than the minimum length) that appear in the columns you index, the greater will be size of the index, and the time it takes to create and search that index. 4 Million rows x 6 words per row 24 Million entries 4 Million rows x 30 words per row 120 Million entries If you index intelligently, you may well find that the feature meets your needs, despite what some users may have remarked above. quotNumber of rowsquot is useless as a benchmarking statistic on its own. Posted by Erlend Strmsvik on October 23, 2003 I039ve got a webshop running with mysql. We have 1.6 million booktitles in our database, and our fulltext index is from title and 039extra039 title. Maybe around 5-7 words on average per record. Any fulltext search in our database takes around 1-5ms. A three word search can take a few seconds but still faster than anything else. Even Amazon. This is from our main server which has several thousand hits every day. We are one of the biggest booksellers in my country. - This was in 039reply039 to someone posting earlier about poor performance in 039real world situation039. Posted by Jerome C on December 3, 2003 We have a vast database of products (totaling 3 million rows). The rebuild of the full-text index took 21 minutes to complete. As for the search, a multiple word search on the full-text index of 1 field is as follows: 20 rows returned Query took 1.0263 sec The size of the index is very big though. Index 449,529 KB We are going to eliminate unnecessary words which should make the index smaller. Posted by Ben Margolin on December 19, 2003 The indexing process definitely depends on your machine config. I indexed the same dataset, same mysql version (4.0.16, - standard on Linux, - nt on XP). First machine: a 512M Athlon 2100 running WinXP on a RAID1 array, and it took 9 mins 20 sec. Second machine: 1G RAM P4-2.0ghz, running Linux 7.3 (2.4.20-13.7 kernel), one-spindle (but fast) IDE disk, and it took 29 mins 11 sec. The query was quotalter table msgbodies add fulltext ftibodies (subject, body)quot, and the dataset is about 550M, 1.3 million rows. Both machines were mostly idle when the indexing occurred. I know it039s just anecdotal, but if you run a big alter as I did, don039t be surprised if it takes a while. oh yeah, and then be prepared for MUCH longer than normal insert times when you add large data to the FT indexed columns. This makes sense of course, but, at least on my dataset and hardware, is positively NOT neglible. FYI. Posted by Jeffrey Yuen on February 2, 2004 Full text searching in 4.1.1 For Chinese charset in UTF-8 encoding. It needed to set ftminwordlen 1 Posted by Eric Jacolin on February 4, 2004 (MySQL 4.1) To make FULLTEXT MATCH work with Japanese UTF-8 text, be careful that words from your Japanese text be separated by the ASCII space character, not Japanese UTF-8 (or other) spacing characters. (when using phpMyAdmin to manage data write a SQL query, you must switch away from your Japanese IME to insert a space char. ) Posted by Tom Cunningham on February 5, 2004 Tom039s fulltext tips: To get MySQL searching well for me I did: 1. Have a normalized versions of the important columns: where you039ve stripped punctuation and converted numerals to words (0391039 to 039one039). Likewise normalise the search string. 2. Have a combined fulltext index on your searchable columns to use in your 039WHERE039 clause, but then have separate fulltext indexes on each column to use in the 039ORDER BY039 clause, so they can have different weights. 3. For the scoring algorithm, include the independent importance of that record, and include a match of the inclusive index against stemmed versions of the search words (as: quotweddingquot gt quotwedquot, quotweddingsquot). 4. If there039s exactly one result, go straight to that record. 5. If you get no results, try matching against the start of the most important column (WHERE column LIKE 039term039), and put a 5-character index on that column. This helps if someone is searching on a very short word or a stopword. 6. Reduce minimum word length to 3, and make a new stopwords list just using quota an and the is in which we you to on this by of withquot. Use quotREPAIR TABLE xxx QUICKquot to rebuild the index and make a note of the index-file (xxx. MYI) size before and after you make changes. Then use ftdump to tune. Posted by Attila Nagy on April 19, 2004 More about performance: Fulltext search in MySQL isn039t slow really. It039s slower than normal index selects, but that039s not noticable. I039m playing tables that each contains ca 4million records, about 6GB of text that needs to be indexed. The problem lies in the optimization of the queries, that use the MATCH() and AGAINST() functions. So far as I found out MySQL can use in a query only one index. The optimizer looks for the index that will possibly give the smallest amount of rows, then goes trough all of these, and removes those records, that fall out because of the other WHERE statements. When you enter a fulltext search, the server has to use that index. Any other statments could be applied only to the rows that were returned by the search. If you have lots of records, most of the searches will return lots of results. The rest of your query will be executed like if you were executing it against a table that contains the results, and no indexes - obviously that will be processed sequentially. Same thing applies when you use the SQLCALCFOUNDROWS, or LIMIT with high offset values: first the server has to load all the results, then the limit could be applied. If you have to use the fulltext, these are some hints how you could get quite good results: - Try to avoid any group, where, order and any statements for what it039s necessary to get all the results. I know, usually this is impossible. - If you need to show the results on a web page, try to find other methods to get the total number of results than using SQLCALCFOUNDROWS. Better if you don039t tell the user at all how many results there are ) - If indexing text that is in other language than english, before doing anything create a stopword file for your language (That could reduce index size about 30) But most important: think a lot, before you decide to use fulltext search Posted by Peter Dunham on April 22, 2004 We are doing fulltext searches of around 200 tables of 14 -12 million rows each. Upgrading a twin cpu 2Ghz linux machine (running ES 3) from 1GB to 3GB RAM and increasing keybuffersize from 384MB to 512MB has seen load averages go from 1.5-2 to around 0.5, with same usage. Posted by Peter Grigor on May 29, 2004 I039m not sure I agree with your comment that Mysql always uses a fulltext index if you include match. against. I tried a sample query where I used match. against and another value in the where clause (on the primary keyed field) and Mysql039s optimizer picked the primary key index. The statement looked like quotselect something from sometable where match(col1, col2) against (039some text here039) and pkcol 44 Posted by JT Johnston on July 1, 2004 dev. mysqldocmysqlenFulltextBoolean. html states you cannot do a full-text search in Boolean Mode by relevancy. You can, but you need mysql version 4. Take note of quotORDER BY relevancy DESCquot. Here is my codeexample: SELECT, MATCH (YR, AU, ST, SD, SC, BT, BD, BC, AT, AD, AC, JR, KW, AUS, GEO, AN, RB, CO, RR) AGAINST (039Margaret Atwood039 IN BOOLEAN MODE) AS relevancy FROM cclmain WHERE MATCH (YR, AU, ST, SD, SC, BT, BD, BC, AT, AD, AC, JR, KW, AUS, GEO, AN, RB, CO, RR) AGAINST (039Margaret Atwood039 IN BOOLEAN MODE) ORDER BY relevancy DESC Posted by James Day on August 19, 2004 See The Full-Text Stuff That We Didn039t Put In The Manual at dev. mysqltech-resourcesarticlesfull-text-revealed. html for more information about full-text search. Posted by James R on August 31, 2004 Thought some benchmarks for a very large data set might be useful to people. I created a full-text index on a 100 gig database, where the index was on a column where the data totals 3 gig. The index added 2 gig to the database. The database has 2,741,000 records. The textual content is technical literature in US English. Machine: The machine is an Athlon XP 3200 w 1 gig RAM, one drive for the OS, and another 250GB EIDE drive for the MySQL data. OS is Redhat 9. Index creation: 3 hours 5 min. Most of that time was probably copying the table (since MySQL copies the table before it modifies it). The process was definitely disk-limited -- CPU usage was never regularly above 50. I believe that were it not for the excess data to copy, the index creation would have taken about 45 minutes. Queries were chosen to compare rare words, common words, and words of different lengths. All queries seemed to be disk-limited (CPU utilization hardly moved off baseline), which makes sense given that there is not enough RAM to hold the index in memory. All queries were done mutiple times and the average time reported. Results follow. Word, Rows, Seconds, SecondsRow ---------------------------------------- bilobed, 4, 0.15, 0.0375 mends, 4, 0.19, 0.0475 nanotechnology, 23, 0.64, 0.0278 bioluminescent, 53, 1.53, 0.0289 photosynthesis, 81, 2.21, 0.0273 graphite, 5070, 123.00, 0.0243 bicycle, 5385, 122.00, 0.0227 titanium, 13503, 350.00, 0.0259 (titanium, graphite), 18423, 425.00, 0.0231 metal, 151095, 4020.00, 0.0266 This is just a small test on the way to indexing the full 100 gig in the database that I am working on for freepatentsonline. I039ll post results for that once I have a new server built. Posted by noel darlow on September 3, 2004 In reply to Patrick O039Lone039s post, above: The first, non-boolean MATCH can039t keep pace with the second, boolean one since it does not recognise the boolean operators. A search for foo might turn up rows with foo, foobar, foofighters, etc but the non-boolean, relevance MATCH can039t quotcountquot anything except foo. Same problem with a phrase search. Since effectively you can039t use boolean operators in the second, boolean MATCH, it039s rendered pointless. Results could be post-processed with your own ranking algorithm but it039s kind of odd that you can039t do a boolean search AND rank results in the query. Posted by Dave M on September 12, 2004 Those looking to simply match a search phrase in a large group of words, try this: SELECT FROM data WHERE haystack LIKE (039needle039) AND haystack RLIKE 039:lt:needle:gt:039 This query will produce the same result as the following query, but is roughly 20X faster. SELECT FROM data WHERE haystack RLIKE 039:lt:needle:gt:039 For more than one word use: haystack LIKE (039word1word2039) AND haystack RLIKE 039:lt:word1:gt:.:lt:word2:gt:039 Posted by James Day on September 26, 2004 The Wikipedia encyclopedia uses MySQL boolean full text search and MySQL 4.0.20. You can assess the speed yourselves. About 350,000 articles rows in the English language version, roughtly 5GB total. For all languages, one million articles and 10GB of text. It039s very important to have a sufficiently large keybuffersize. Get much of the index in RAM and searches are typically very fast. Because we use InnoDB tables and can039t share cache between InnoDB and MyISAM, we039re moving to a setup which will use a dedicated and MyISAM tuned search server. We run a slow query killer which will kill queries once their allowed time expires. That time depends on server load (active thread count). Documented at wp. wikidevQuerybane It turns out that our current search often spends most time on things other than full text search - an improved version which is much more efficient is pending. Remember that you can use a self join to get around the one index per query limit of MySQL. Search remains our most problematic load feature, requiring a couple of quite capable slaves to keep up at busy time. If we039re working on the servers and the remainder can039t handle the load, we switch to Google or Yahoo search. This is from one of the top few hundred sites on the net, so it039s scaling pretty well for our application. One server was sufficiently fast to take us to the top 1,000. Posted by Andrew Panin on October 7, 2004 Hi all I had a problem with FULLTEXT search and after I solved it, I want to try to help you. I thought that FULLTEXT search is slow. That was. But I did a simple trick: 1. For example, we have 4 tables with fulltext index. We need to perform fast search on them. 2. Do the following: CREATE TEMPORARY TABLE xxx SELECT id, name, MATCH(name) AGAINST (039searchstring039) AS relevancy FROM table1 INSERT INTO xxx SELECT id, name, MATCH(name) AGAINST (039searchstring039) AS relevancy FROM table2. 3. Then, when the temporary table is filled with the data, do the simple select from it: SELECT id, name FROM xxx ORDER BY relevancy DESC I think, it is the optimal way to make a VERY FAST fulltext search from a number of tables. I hope, this will be helpful. Posted by Dennis van den Ende on December 27, 2004 Allthough my fulltext serach works fine, i still have problems with it. i compare products with there prices. i used the quotrelevancequot idea (written above). But it will not recognize it correctly. Heres my query: SELECT , MATCH( field ) AGAINST (039blabla039) as relevance FROM table WHERE MATCH( field ) AGAINST (039blabla039 IN BOOLEAN MODE ) HAVING relevance gt 0.2 for example it finds 18 rows. to increase the rows, i checked (manuelly) the relevance. 3 above 18 (all 18.xxx) and the rest about 10.3 or lower. If i increase the quothavingquot to 15, it finds only 2 of 3. The field i use is the only index-field and ofcourse a fulltext specific field. it seems that the relevance is taking part of the search results. i am still looking for another idea but the relevance would cover my needs 100 update I just updated the mysql version from 4.0.15 to 4.1.8 and it works perfectly. Posted by Mauricio Wolff on February 4, 2005 to set up minlen and stopwordfile in windows (win2k or xp): 1. run services. msc to check what. ini your mysql is reading (in my case, quotC:MySQLbinmysqld-ntquot --defaults-filequotC:MySQLmy. iniquot MySQL) 2. change your my. ini like this: mysqld ftminwordlen3 ftstopwordfilequotC:MySQLstop. txtquot 3. restart your mysqld at services. msc 4. reindex your table using REPAIR TABLE tblname QUICK Posted by Peter Laursen on April 28, 2005 it is legal to use two different arguments with the quotdouble match constructionquot, i. e. select . match (artist, album, title) against (039blues in orbit039) from musicfiles where match (artist, album, title) against (039ellington039) will FIND all records with 039ellington039 as substring of artist, album or title, but will RATE them as the search match039es 039blues in orbit039 You can even. ORDER BY or GROUP BY MATCH (kunstner, albumtitel, titel) AGAINST (039prelude to a kiss039). or against anything else Posted by Grant Harrison on June 9, 2005 Maybe a little off topic here. Alternatively, instead of doing all full-text search within MySql database, you can pull data out and create an index on it. It039s a much faster search. I am using DBSight to search on 1.7million records of 1.2G data, on a P3 450MHz, 256MRam, with sub-second performance. Taking search out of database also give you capability to customize stemmer and query parser. Posted by Erik Petersen on July 13, 2005 When using FULLTEXT queries on large set data sets it039s critical to LIMIT your results. Doing some experimentation has made this very clear. Using a data set of 5.5 million rows of forum message posts indexed with a single FULLTEXT index: select id, match(post) against(039foo039) as score from messages where match (body) against( 039foo039 ) . 155323 rows in set (16 min 7.51 sec) select id, match(post) against(039foo039) as score from messages where match (body) against( 039foo039 ) limit 100 . 100 rows in set (1.25 sec) I ran a number of other tests on various terms known to be in the text with similar results. These were run in reverse order shown. Make sure you return only the rows you need or you will suffer. For a search engine application returning pages of results keep in mind that nobody is going to ever see page 74 Cap the results to a reasonable maximum trading response time for completeness where possible. Posted by kim markegard on August 25, 2005 In regards to Dyfed Lloyd Evans comment, I believe that quot. quot will also cause this which is unfortunate because we have product name acronyms we039d like to seach. Posted by Nathan Huebner on October 29, 2005 After tons of hours today working on this, I HAVE FINALLY MASTERED THE TECHNIQUE OF USING THIS THING. This query is what you send to your MySQL to return the results. I put the LIMIT so that you don039t overflow. queryretquotSELECT ProductID, Title, Description, Price, RetailPrice, MATCH (Title) AGAINST (039keyword039) AS score FROM server. book HAVING score gt 0 LIMIT start, maxretquot This query will COUNT the number of rows it found. (I believe that039s correct), I don039t believe it counts occurrences, just rows. I saw that if you pull back without a LIMIT above, and count that way, it039s 100000x slower. So do your count like this: querycountquotSELECT count(MATCH(Title) AGAINST(039keyword039)) AS score FROM server. book WHERE MATCH (Title) AGAINST (039keyword039) HAVING score gt 0quot Make sure you have your Primary Key setup, your Title and Description as SEPARATE FULLTEXT INDEXES. I spent a few hours boggling over this. Posted by Saqib Aziz on November 24, 2005 There is no way to perdict what maximum relevance rank could be. While working with full text searches one may want to show percentages as the criteria for indicating how close a particular record was to the search query. To achieve this, one way is to select the maximum relevance rank or score and then use it( as a denominator ) with every single record score to get percentage equivalent of score. For the sake of example, consider we have 6 as maximum rank and 2,3,4.234 are scores for three different records. Now to get percentage we have to do simple maths i. e. we can divide each score by 6(max rank) and then mulitply the result with 100. Hope this helps someone. Posted by Nathan Huebner on January 12, 2006 Tips on how to maximize performance, and minimize return time. Let me guess: you have a lot of data, and you went ahead and FULLTEXT indexed a column within that large pile of data. To put it in simple words: not cool. How long does your data take to return from a FULLTEXT search. 5 seconds More If you039re returning data under 3 seconds, then you039re ok, but if you want it to return in 1.3 seconds, here039s what I did. 1. Dont fulltext index a column within a huge table. Instead, take a Unique Identifier, and the text you039re searching, and copy it to another table. Use this to export your columns: SELECT uniquecolumn, mytextsearchcolumn FROM mydatabase. mytable INTO OUTFILE quotc:pathoutfile. txtquot That will export your data to a file in Tab Delimited format. Now, create a new table somewhere, and call it fulltextengine or something, with only 2 columns (less is better), you could add one more if you need to. Now import your data: LOAD DATA INFILE quotc:pathoutfile. txtquot IGNORE INTO TABLE mydatabase. fulltextengine Now, create your FULLTEXT index on your search field. Great. Now you have a separate table for searching. So if you want to try it out, go into MySQL, and try this, or PHPmyAdmin: SELECT SQLCALCFOUNDROWS uniquecolumn, searchcolumn, MATCH (searchcolumn) AGAINST (039Keyword Goes Here039) AS score FROM mydatabase. fulltextengine HAVING score gt 0 Hope this helps It may add extra maintenance, but I will give up my soul to increase search speeds by 6x. Posted by Joe Soap on July 11, 2006 Not sure if this is useful for people trying to reduce their search dataset. But what I039m doing is preprocessing the text before I add it to the database. So I add the full text to my FileData column, but I also preprocess the text and put this processed text into a Keywords column. Then I search only the keywords column and never the full text. This technique obviously (you039ll see why) doesn039t work for phrase matching but it may speed up the search time by reducing the size of the dataset to search. Here039s the algorithm I use. 1. extract the text 2. count each word of 2 or more characters in the text and record the frequency that each occurs 3. from this list of words 2 or more characters long, remove the k (k currently 500) most common words in the english dictionary 4. sort the list so that the most frequently occurring words appear first 5. take the first n words as the final keywords, where n gt 0 and n lt the total number of remaining words Posted by Tasuku SUENAGA on July 30, 2006 If you have performance problems on fulltext search, Please try Senna, fulltext search engine that can be embedded in MySQL. qwik. jpsenna Original MySQL fulltext search is slow for query SELECT COUNT() or SELECT FROM xx LIMIT largenumber, x. These queries are very fast with Senna039s 2ind patch. Posted by Gary Osborne on August 19, 2006 I039m not convinced that stop-words are of great value. Sure, they might reduce the size of the index and speed-up queries for some kinds of databases. But there are two fundamental flaws with quotmandatoryquot stop-words. Firstly, without knowing in advance the nature of the data, how can any programmer proclaim to know which words should be excluded because they have no value Secondly, if a user includes any stop word in a search query, then by definition that word039s value can not be zero. If the word039s value was zero, then why would the user use it in a search query If you need to disable stop-words without re-compiling, consider appending a character to the end of each word in your text before inserting your text into the database. I used quotqquot. I also right-padded all words shorter than 4 characters to a length of 4 characters by appending quotqquots. And I appended a quot quot to the end of my text string before inserting into the database. After retrieving my text from the database, I did a global replace on my text. I changed quotqqqquot to quotquot, quotqqquot to quotquot, and quotq quot to quot quot - in that order - to restore the text to it039s original form. That was not the best solution but it worked. Luckily for me, my text was simply a space delimited list of words without and punctuation. Otherwise, my quotqquot encoding and decoding would have been more difficult. Posted by Sebastian Alberoni on September 27, 2006 Combining MATCH with MAX, GROUP BY and ORDER BY can be of a lot of help when retrieving results in the correct order regarding relevance. For example, using this I could solve a problem with one table called 039Professional039, which had a many-to-many reference to another table 039Profession039. Although I was using DISTINCT I was getting duplicate results because of different relevance values that MATCH was giving to the different entrances in 039Professions039. Here I am copying the final query that worked OK (it039s a bit simplified): select distinct p. idProfessional, MAX(MATCH (pssion. name, pssion. description) AGAINST (039string to search039)) as professionRanking FROM professional p, professionalprofession pp, profession pssion WHERE pp. ProfessionalidProfessional p. idProfessional AND pp. ProfessionidProfession pssion. idProfession and ( MATCH (pssion. name, pssion. description) AGAINST (039string to search039) GROUP BY p. idProfessional ORDER BY professionRanking DESC Posted by Miguel Velilla meucat on May 20, 2007 The truth behind fulltext search, is that MySql first split text into single words, then indexes isolated words pointing to records. These are logical steps that many of us previously had tried before MySql fulltext commands creation. I created a PHP program some years ago to perform exactly the same split-and-index task. This is the reason MATCH command allows prefixed wildcards but not postfixed wilcards. Since single words are i ndexed, a postfix wildcard is impossible to manage in the usual way index does. You can039t retrieve 039nited states039 instantly from index because left characters are the most important part of index. Even so, I hope MySql developers some day implement postfix wildcars, because for many of us, it is important to perform a truly 039full text039 search. To say something, if I have a record with the word 039database039. I want retrieve this record when searching by 039tabas039, an impossible task for actual fulltext search command. It039s easy to see that such a command can gain lot of performance, even when MySql developers be obliged to search byte to byte into the indexed words. If you have a big table with text descriptions. to say 1 GB size, it is possible that quantity of different words into text will not pass from 500.000, maybe 1.000.000 words, averaging 8 bytes each, total 8 MB of data to be browsed, instead the 1 GB you should seek byte to byte to find what you want. This is a 1 GB 8 MB 125. or two orders of magnitude lower in terms of processing. Posted by Sergejzr Zr on July 27, 2007 Unfortunately it is not possible to combine Fulltext field and normal (i. e integer) field into one index. Since only one index per query can be used, that seems be a problem Table: id(integer primary key)content(text fulltext indexed)status(integer key) Note that executing folowing query, mysql will use only one index. Either fulltext, or status (Depending on intern statistics). Q1: SELECT FROM table WHERE MATCH(content) AGAINST(039searchQuery039) AND status 1 However it is still possible to use both indexes in one query. You will need a new index on id, status pair and use join. Thus mysql will be able to use one index for each table. Q2: SELECT t1. from table t1 LEFT JOIN table t2 ON(t1.idt2.id) WHERE MATCH(t1.content)AGAINST(039searchQuery039) AND status1 Q2 will run significantly faster than Q1 at least in my case :) Note the overhead: You will need an id for each row and a key wich is spanned over needed fields strating with id. Posted by Phoebe Bright on August 14, 2007 Using this for the first time I picked an unfortunate test and took a while before I worked out why it wasn039t working. In the hopes of saving other newbies some time: This will work: SELECT FROM myfile WHERE description LIKE 039sea039 But this will return nothing: SELECT FROM myfile WHERE MATCH (description) AGAINST (039sea039) BECAUSE THE DEFAULT MIN LENGTH IS 4 need to set ftminwordlen to 3 in the configuration file if you want it to work. Posted by Mohamed Mahir on September 28, 2007 To get the first exact matching record of the Full text search i wrote like this.. SELECT MATCH (column) AGAINST (039keyword039) relevancy FROM t1 WHERE MATCH (column) AGAINST (039keyword039) ORDER BY relevancy DESC LIMIT 1 Posted by Neil Delargy on October 19, 2007 One solution to find a word with a dashes or hyphens in is to use FULL TEXT SEARCH IN BOOLEAN MODE, and to enclose the word with the hyphen dash in double quotes. Posted by Derek Foreman on October 31, 2007 I use Mediawiki that makes use of the FullText searching and was not getting results I knew were in the database. After reading this page I realized that mysql won039t index words 3 characters or less by default. The solution is detailed clearly in this page Change the ftminwordlen setting. You can find what the server is using by running: SHOW VARIABLES LIKE 039ft039 Then you039ll have to rebuild the indexes on the tables that have FULLTEXT indices, because the server I039m using had several databases I needed a quick way to identify which tables these were. SELECT DISTINCT TABLESCHEMA, TABLENAME FROM COLUMNS WERE COLUMNKEY 039MUL039 I could then rebuild the tables. Posted by Jane Doe on November 28, 2007 Very fast and flexible, and works nice with MySQL. Eliminates many of the issues mentioned here in the comments, also ) MATCHAGAINST didn039t work how I intended. Here039s how I finally solved what I thought MATCHAGAINST should have been doing from the beginning: Posted by Carlos Dias on August 8, 2011 Basically this approach makes me think twice because of the next logical steps: 1- If your working in one table with a lot of records. each time the records are updated or new lines inserted the index must be (obviously)recreated. if it039s myisam. writing operations the table is locked. 2- I guess that the best approach towards this it039s probably the logic of: when tables are huge. not creating indexes for text search. create cachesql. (cachesql is one index). Somehow anticipating these problems. like i write are not problems to ignore. Why this is the best option. because if people use one file to log the last writing operations and compare it with the file that contains the results cache(best approach. cronjob). it039s only necessary to point to the file that contains the resultscache. The logic of:If there are 500 000 000 of conjugations of wordsphrases, etc what039s the need of indexing everything if only 50 000 conjugations are usedseeked, etc. Posted by Bradley Smith on February 21, 2012 Alan, instead of creating 80 different tables, one for each category, why not partition the table by the category so the records with that category would be grouped together within the partition and then your only searching within the specific category and more direct and faster route to the data you want to search Posted by Nasser W on September 2, 2013 MySQL fulltext search works well for Arabic. Just make sure of the following where needed: 1. COLLATION utf8unicodeci amp CHARACTER SET utf8. (Databases, Tables, and Columns). 2. Index words of 3 letters and more. This is Very Important for Arabic, ftminwordlen 3 (see show variables like quotftquot) 3. Check the version of MySQL (5.5 or 5.6), and Engine (InnoDb or MyIsam) Sign Up Login You must be logged in to post a comment.